您當前的位置:首頁 > 書法

理解Graph-BERT中的圖親密度矩陣(Graph intimacy matrix)

作者:由 whistle 發表于 書法時間:2020-11-03

1。 定義

在圖上,已有很多方法評估兩個節點的親密度[1, 2, 3]。

Jiawei et al。[4]基於pagerank演算法定義了圖親密矩陣:

\mathbf{S}=\alpha \cdot(\mathbf{I}-(1-\alpha) \cdot \overline{\mathbf{A}})^{-1} \\

\alpha \in[0,1]

, 一般設為0。25。

\overline{\mathbf{A}}=\mathbf{A} \mathbf{D}^{-1}

,是對列向量進行歸一化。

\mathbf{A}

是輸入圖的鄰接矩陣,

\mathbf{D}

是輸入圖的度矩陣,

\mathbf{D}(i, i)=\sum_{j} \mathbf{A}(i, j)

2。 用處

為什麼

\mathbf{S}

能夠衡量節點之間的親密度分數呢?

我們從公式上入手

\mathbf{S}=\alpha \cdot(\mathbf{I}-(1-\alpha) \cdot \overline{\mathbf{A}})^{-1} =\alpha\cdot(\mathbf{I}+(1-\alpha)\cdot \overline{\mathbf{A}} + (1-\alpha)^2\cdot \overline{\mathbf{A}}^2 + ...+(1-\alpha)^n\cdot \overline{\mathbf{A}}^n)

\lim_{n\rightarrow\infty}(1-\alpha)^n=0

,並且由於矩陣中的元素都是小於等於0的,所以後面的項都近似為0,

\overline{ \mathbf A}^k

可以看作是k-hop鄰接矩陣,前面乘上係數

(1-\alpha)^k

說明跳數越大,影響會越小。所以,一跳鄰居的親密度分數會比較高的。

[4]中提出親密度矩陣,用它來選取節點

v_i

的context nodes,

\Gamma\left(v_{i}\right)=\left\{v_{j} \mid v_{j} \in \mathcal{V} \backslash\left\{v_{i}\right\} \wedge\right.\left.\mathbf{S}(i, j) \geq \theta_{i}\right\}

\theta_i

表示親密度分數的閾值。

\Gamma\left(v_{i}\right)

表示前k個親密度最高的節點,

\Gamma\left(v_{i}\right)

不僅能選取到local neighbors也能選取到nodes which are far away。

3。 References:

[1] Paul Jaccard。 Etude´ comparative de la distribution florale dans une portion des alpes et des jura。 Bulletin del la Soci´et´e Vaudoise des Sciences Naturelles, 37:547–579, 1901。

[2] Eytan Adamic and Lada A。 Adar。 Friends and neighbors on the web。 (3):211–230, July 2003。

[3] Leo Katz。 A new status index derived from sociometric analysis。 Psychometrika, 18(1):39–43, Mar 1953。

[4] Zhang J, Zhang H, Sun L, et al。 Graph-Bert: Only Attention is Needed for Learning Graph Representations[J]。 arXiv preprint arXiv:2001。05140, 2020。

標簽: ET  密度  矩陣  節點  des