图神经网络——【KDD 2018】PinSage

Dear 丶 2023-01-21 05:24 251阅读 0赞

可以先参阅[《图神经网络——【NIPS 2017】GraphSAGE》][NIPS 2017_GraphSAGE]。本文将基于GraphSAGE来讲讲PinSage

# Convolve #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]  
Convolve算法相当于GraphSage算法的聚合阶段过程，是PinSage中的单层图卷积算法，实际执行中，对K层邻居的每一层都执行一遍图卷积以得到不同阶邻居的信息。主要操作包括：

*  聚合邻居： 所有的邻居节点都经过一层dense层，再由聚合器或池化函数 （如元素平均，加权和等）将所有邻居节点的信息聚合成一个vector
 *  更新当前节点的embedding：将目标节点的当前embedding与聚合后的邻居向量拼接后再经过一层dense层
 *  归一化：对目标节点embedding归一化

# minibatch #

*  首先，与GraphSage一样的是，邻居采样阶段，PinSage这里创新的一点是将GraphSage的随机采样改为重要性采样。利用节点 u 开始随机游走，并计算基于随机游走访问到的节点次数，并将访问次数最高的 K 个节点作为邻域。这样做的优点在于，聚合节点的数量固定有助于控制训练的内存；其次在聚合邻居节点时可以进行加权聚合。
 *  然后，进行Convolve算法操作
 *  最后，与GraphSage不同的，目标节点与各自邻居聚合之后的embedding并不是直接替换目前节点的当前embedding，而是经过一层dense层后再替换。

# 有监督训练 #

训练损失使用的是max-margin ranking loss，即最大化正例之间的相似性，同时保证与负例之间相似性小于正例间的相似性：  
![在这里插入图片描述][20210514174001509.png]

[NIPS 2017_GraphSAGE]: https://blog.csdn.net/u011239443/article/details/116784240?spm=1001.2014.3001.5501
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTEyMzk0NDM_size_16_color_FFFFFF_t_70]: /images/20221020/d0b8930796d5413e829c0f34e7960d01.png
[20210514174001509.png]: /images/20221020/0a1bfc8ea7c24ceebb89c892015abf2d.png