网络表示学习（NRL: network representation learning）和网络嵌入研究领域（NE: network embedding）必读论文清单

淩亂°似流年 2022-05-24 13:04 301阅读 0赞

近日，Cunchao Tu 和 Yuan Yao 两位研究者在 GitHub 上总结发表了一份关于网络表示学习（NRL: network representation learning）和网络嵌入研究领域（NE: network embedding）必读论文清单。这份清单共包含 5 篇综述论文和 64 篇会议期刊论文。同时两位研究者在 GitHub 上发布了 NE / NERL 的开源工具包 OpenNE。该库提供了标准的 NE / NRL（网络表示学习）培训和测试框架，目前在 OpenNE 中实现的模型包括 DeepWalk，LINE，node2vec，GraRep，TADW 和 GCN。

**五篇必读Survey Papers**

*  **Representation Learning on Graphs: Methods and Applications.**

> 作者：William L. Hamilton, Rex Ying
> 
> 论文地址：https://arxiv.org/pdf/1709.05584.pdf

**论文摘要**：在不同图（Graph）上的机器学习是一项重要且无处不在的任务，其应用范围从药物设计到社交网络中的好友推荐。该领域的主要挑战是找到一种方法来表示或编码图结构，以便机器学习模型可以轻松利用它。传统的机器学习方法依赖于用户定义的启发式方法来提取编码关于图的结构信息的特征（例如，度数统计或内核函数）。然而，近年来，使用基于深度学习和非线性降维的技术，自动学习将图结构编码为低维嵌入的方法出现了激增。在这里，我们提供了关于图形表示学习领域进展的关键概念回顾，包括基于矩阵分解的方法，基于随机游走的算法和图形卷积网络。文中回顾了嵌入单个节点的方法以及嵌入整个（子）图的方法。为此，制定了一个统一的框架来描述这些最新的方法，并且强调了未来工作的一些重要应用和方向。

*  **Graph Embedding Techniques, Applications, and Performance: A Survey**

> 作者：Palash Goyal ， Emilio Ferrara
> 
> 论文地址: https://arxiv.org/pdf/1705.02801.pdf

**论文摘要**：社交网络，词语共现网络和通信网络等图（Graph）出现在现实世界的应用中。在过去，研究人员已经通过很多方法分析它们用来洞察社会结构，语言以及不同的交流模式。最近，在向量空间中使用图节点表示的方法得到了研究团队的关注。在这次调查中，我们对文献中提出的各种图嵌入技术进行了全面和结构化分析。我们首先介绍嵌入任务及其可扩展性，维度选择，以及要保留的功能等挑战及其可能的解决方案。然后，我们基于因式分解方法，随机游走和深度学习，提出了三类方法，并给出了每个类别中具有代表性算法的例子以及各种任务的表现分析。我们在几个常见数据集上评估这些最先进的方法，并比较它们的性能。我们最终呈现了我们开发的开源 Python 库，名为 GEM（图嵌入方法，可在 https://github.com/palash1992/GEM 上获得），它提供了所有在统一界面中提到的算法。

*  **A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications.**

> 作者：Hongyun Cai, Vincent W. Zheng, Kevin Chen-Chuan Chang
> 
> 论文地址：https://arxiv.org/pdf/1709.07604.pdf

**论文摘要**：图是一种重要的数据表示形式，它出现在各种各样的现实场景中。有效的图分析为用户提供了对数据背后知识更深入的了解，从而可以使许多有价值的应用程序受益，如节点分类，节点推荐，链接预测等。然而，大多数图分析方法仍遭受高计算和空间成本的限制。图嵌入是解决图分析问题的有效且高效的方法，它将图形数据转换为低维空间，其中图形结构信息和图形属性得到最大限度地保留。在这次调查中，我们对过去关于图嵌入的文献进行了全面的回顾。我们首先介绍图形嵌入的正式定义以及相关的概念。之后，我们提出了两种图嵌入分类法，它们对应于不同图嵌入问题设置中存在的挑战以及现有工作如何解决其解决方案中的这些挑战。最后，我们总结了图嵌入的应用，并提出了四个有前景的未来研究方向，包括计算效率，问题设置，技术和应用场景。

*  **Network Representation Learning: A Survey.**

> 作者：Daokun Zhang, Jie Yin，Xingquan Zhu， Chengqi Zhang
> 
> 论文地址：https://arxiv.org/pdf/1801.05852.pdf

**论文摘要**：随着信息技术的广泛使用，捕捉社交网络，引文网络，电信网络和生物网络等各种学科网络之间的复杂关系变得越来越流行。分析这些网络揭示了社会生活的不同方面，如社会结构，信息传播和不同的交流模式。然而，大规模的信息网络往往使网络分析任务计算成本昂贵且棘手。最近，网络表示学习被提出作为一种新的学习范式，通过保留网络拓扑结构，顶点内容和其他边信息将网络顶点嵌入低维向量空间。这有助于在新的向量空间中轻松处理原始网络以供进一步分析。在这次调查中，我们对数据挖掘和机器学习领域中的网络表示学习的当前文献进行了全面的回顾。我们提出了一种新的分类方法，根据他们所使用的方法和他们保存的网络信息来分析和总结最先进的网络表示学习技术。最后，为了便于研究这一主题，我们总结了基准数据集和评估方法，并讨论了该领域的未来研究方向。

*  **Network Representation Learning: An Overview.**

> 作者:Cunchao Tu, Cheng Yang, Zhiyuan Liu, Maosong Sun
> 
> 论文地址：http://engine.scichina.com/publisher/scp/journal/SSI/47/8/10.1360/N112017-00145?slug=full%20text

**论文摘要**：网络是表示对象及其关系的重要方式。网络研究中的一个关键问题是如何正确表示网络信息。随着机器学习的发展，网络顶点的特征学习已成为一个重要的研究领域。网络表示学习算法将网络信息转换为密集的低维实值向量，可用作现有机器学习算法的输入。例如，顶点的表示可以被馈送到分类器，例如用于顶点分类的支持向量机（SVM）。另外，通过将表示作为欧几里德空间中的点，可以将表示用于可视化。网络表征学习的研究引起了许多研究者的关注。在这篇文章中，介绍和总结了近期关于网络表示学习的研究工作。

**六十四篇期刊会议论文**

*  **DeepWalk: Online Learning of Social Representations. KDD 2014.**

> 论文地址：https://arxiv.org/pdf/1403.6652.pdf；
> 
> 代码地址：https://github.com/phanein/deepwalk

*  **Learning Latent Representations of Nodes for Classifying in Heterogeneous Social Networks. WSDM 2014.**

> 论文地址：http://webia.lip6.fr/%7Egallinar/gallinari/uploads/Teaching/WSDM2014-jacob.pdf

*  **Non-transitive Hashing with Latent Similarity Componets. KDD 2015.**

> 论文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/KDD-NonTransitiveHashing.pdf

*  **GraRep: Learning Graph Representations with Global Structural Information. CIKM 2015.**

> 论文地址：https://www.researchgate.net/publication/301417811\_GraRep；
> 
> 代码地址：https://github.com/ShelsonCao/GraRep

*  **LINE: Large-scale Information Network Embedding. WWW 2015.**

> 论文地址：https://arxiv.org/pdf/1503.03578.pdf；
> 
> 代码地址：https://github.com/tangjianpku/LINE

*  **Network Representation Learning with Rich Text Information. IJCAI 2015.**

> 论文地址：http://thunlp.org/%7Eyangcheng/publications/ijcai15.pdf
> 
> 代码地址：https://github.com/tangjianpku/LINE

*  **PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks. KDD 2015.**

> 论文地址：https://arxiv.org/pdf/1508.00200.pdf
> 
> 代码地址：https://github.com/mnqu/PTE

*  **Heterogeneous Network Embedding via Deep Architectures. KDD 2015.**

> 论文地址：http://www.ifp.illinois.edu/%7Echang87/papers/kdd\_2015.pdf

*  **Deep Neural Networks for Learning Graph Representations. AAAI 2016.**

> 论文地址：https://pdfs.semanticscholar.org/1a37/f07606d60df365d74752857e8ce909f700b3.pdf

*  **Asymmetric Transitivity Preserving Graph Embedding. KDD 2016.**

> 论文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/hoppe.pdf

*  **Revisiting Semi-supervised Learning with Graph Embeddings. ICML 2016.**

> 论文地址：http://proceedings.mlr.press/v48/yanga16.pdf

*  **node2vec: Scalable Feature Learning for Networks. KDD 2016.**

> 论文地址：http://www.kdd.org/kdd2016/papers/files/rfp0218-groverA.pdf
> 
> 代码地址：https://github.com/aditya-grover/node2vec

*  **Max-Margin DeepWalk: Discriminative Learning of Network Representation. IJCAI 2016.**

> 论文地址：http://thunlp.org/%7Etcc/publications/ijcai2016\_mmdw.pdf
> 
> 代码地址：https://github.com/thunlp/mmdw

*  **Tri-Party Deep Network Representation. IJCAI 2016.**

> 论文地址：https://www.ijcai.org/Proceedings/16/Papers/271.pdf

*  **Discriminative Deep RandomWalk for Network Classification. ACL 2016.**

> 论文地址：http://www.aclweb.org/anthology/P16-1095

*  **Structural Deep Network Embedding. KDD 2016.**

> 论文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/SDNE.pdf

*  **Structural Neighborhood Based Classification of Nodes in a Network. KDD 2016.**

> 论文地址：http://www.kdd.org/kdd2016/papers/files/Paper\_679.pdf

*  **Community Preserving Network Embedding. AAAI 2017.**

> 论文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/NE-Community.pdf

*  **Semi-supervised Classification with Graph Convolutional Networks. ICLR 2017.**

> 论文地址：https://arxiv.org/pdf/1609.02907.pdf
> 
> 代码地址：https://github.com/tkipf/gcn

*  **CANE: Context-Aware Network Embedding for Relation Modeling. ACL 2017.**

> 论文地址：http://thunlp.org/%7Etcc/publications/acl2017\_cane.pdf
> 
> 代码地址：https://github.com/thunlp/cane

*  **Fast Network Embedding Enhancement via High Order Proximity Approximation. IJCAI 2017.**

> 论文地址：http://thunlp.org/%7Etcc/publications/ijcai2017\_neu.pdf
> 
> 代码地址：https://github.com/thunlp/neu

*  **TransNet: Translation-Based Network Representation Learning for Social Relation Extraction.IJCAI 2017.**

> 论文地址：http://thunlp.org/%7Etcc/publications/ijcai2017\_transnet.pdf
> 
> 代码地址：https://github.com/thunlp/transnet

*  **metapath2vec: Scalable Representation Learning for Heterogeneous Networks. KDD 2017.**

> 论文地址：https://www3.nd.edu/%7Edial/publications/dong2017metapath2vec.pdf
> 
> 代码地址：https://ericdongyx.github.io/metapath2vec/m2v.html

*  **Learning from Labeled and Unlabeled Vertices in Networks.KDD 2017.**

> 论文地址：https://dl.acm.org/citation.cfm?id=3098142

*  **Unsupervised Feature Selection in Signed Social Networks. KDD 2017.**

> 论文地址：http://www.public.asu.edu/%7Ejundongl/paper/KDD17\_SignedFS.pdf

*  **struc2vec: Learning Node Representations from Structural Identity. KDD 2017.**

> 论文地址：https://arxiv.org/pdf/1704.03165.pdf
> 
> 代码地址：https://github.com/leoribeiro/struc2vec

*  **Label Informed Attributed Network Embedding. WSDM 2017.**

> 论文地址：http://people.tamu.edu/%7Exhuang/Xiao\_WSDM17.pdf
> 
> 代码地址：https://github.com/xhuang31/LANE

*  **Accelerated Attributed Network Embedding. SDM 2017.**

> 论文地址：http://www.public.asu.edu/%7Ejundongl/paper/SDM17\_AANE.pdf
> 
> 代码地址：https://github.com/xhuang31/AANE\_Python

*  **Inductive Representation Learning on Large Graphs. NIPS 2017.**

> 论文地址：https://arxiv.org/pdf/1706.02216.pdf
> 
> 代码地址：https://github.com/williamleif/GraphSAGE

*  **Variation Autoencoder Based Network Representation Learning for Classification. ACL 2017.**

> 论文地址：http://aclweb.org/anthology/P17-3010

*  **Preserving Proximity and Global Ranking for Node Embedding. NIPS 2017.**

> 论文地址：https://papers.nips.cc/paper/7110-prune-preserving-proximity-and-global-ranking-for-network-embedding.pdf

*  **Learning Graph Embeddings with Embedding Propagation. NIPS 2017.**

> 论文地址：https://arxiv.org/pdf/1710.03059.pdf

**CIKM 2017**

*  **Name Disambiguation in Anonymized Graphs using Network Embedding.**

> 论文地址：https://arxiv.org/pdf/1702.02287.pdf

*  **Enhancing the Network Embedding Quality with Structural Similarity.**

> 论文地址：http://www.cis.pku.edu.cn/faculty/system/zhangyan/papers/CIKM2017-lts.pdf

*  **Attributed Signed Network Embedding.**

> 论文地址：http://www.public.asu.edu/%7Eswang187/publications/SNEA.pdf

*  **Attributed Network Embedding for Learning in a Dynamic Environment.**

> 论文地址：https://arxiv.org/pdf/1706.01860.pdf

*  **HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning.**

> 论文地址：http://shichuan.org/hin/topic/Embedding/2017.%20CIKM%20HIN2Vec.pdf

*  **From Properties to Links: Deep Network Embedding on Incomplete Graphs.**

> 论文地址：https://dl.acm.org/citation.cfm?id=3132975&dl=ACM&coll=DL

*  **An Attention-based Collaboration Framework for Multi-View Network Representation Learning.**

> 论文地址：https://arxiv.org/pdf/1709.06636.pdf

*  **On Embedding Uncertain Graphs.**

> 论文地址：http://i.cs.hku.hk/%7Ezphuang/pub/CIKM17.pdf

*  **Multi-view Clustering with Graph Embedding for Connectome Analysis.**

> 论文地址：https://www.cs.uic.edu/%7Eclu/doc/cikm17\_mcge.pdf

*  **Learning Node Embeddings in Interaction Graphs.**

> 论文地址：https://web.cs.wpi.edu/%7Exkong/publications/papers/cikm17.pdf

*  **Learning Community Embedding with Community Detection and Node Embedding on Graphs.**

> 论文地址：http://sentic.net/community-embedding.pdf
> 
> 代码地址：https://github.com/andompesta/ComE

**WSDM 2018**

*  **Network Embedding as Matrix Factorization: Unifying DeepWalk, LINE, PTE, and node2vec.**

> 论文地址：https://arxiv.org/pdf/1710.02971.pdf

*  **Exploring Expert Cognition for Attributed Network Embedding.**

> 论文地址：http://people.tamu.edu/~xhuang/Xiao\_WSDM18.pdf

*  **SHINE: Signed Heterogeneous Information Network Embedding for Sentiment Link Prediction.**

> 论文地址：https://arxiv.org/pdf/1712.00732.pdf

*  **Multidimensional Network Embedding with Hierarchical Structures.**

> 论文地址：http://cse.msu.edu/~mayao4/downloads/Multidimensional\_Network\_Embedding\_with\_Hierarchical\_Structure.pdf

*  **Curriculum Learning for Heterogeneous Star Network Embedding via Deep Reinforcement Learning.**

> 论文地址：https://dl.acm.org/citation.cfm?id=3159711&dl=ACM&coll=DL

**AAAI 2018**

*  **Adversarial Network Embedding.**

> 论文地址：https://arxiv.org/pdf/1711.07838.pdf

*  **COSINE: Community-Preserving Social Network Embedding from Information Diffusion Cascades.** 
 *  **Dynamic Network Embedding by Modeling Triadic Closure Process.**

> 论文地址：http://yangy.org/works/dynamictriad/dynamic\_triad.pdf

*  **Multi-facet Network Embedding: Beyond the General Solution of Detection and Representation.**
 *  **RSDNE: Exploring Relaxed Similarity and Dissimilarity from Completely-imbalanced Labels for Network Embedding.** 
 *  **Link Prediction via Subgraph Embedding-Based Convex Matrix Completion.** 
 *  **Generative Adversarial Network based Heterogeneous Bibliographic Network Representation for Personalized Citation Recommendation.** 
 *  **DepthLGP: Learning Embeddings of Out-of-Sample Nodes in Dynamic Networks.**

> 论文地址：http://media.cs.tsinghua.edu.cn/%7Emultimedia/cuipeng/papers/DepthLGP.pdf

*  **Structural Deep Embedding for Hyper-Networks.** 
 *  **TIMERS: Error-Bounded SVD Restart on Dynamic Networks.** 
 *  **Community Detection in Attributed Graphs: An Embedding Approach.** 
 *  **Bernoulli Embeddings for Graphs.**

> 论文地址：http://sumitbhatia.net/papers/aaai18.pdf

*  **Distance-aware DAG Embedding for Proximity Search on Heterogeneous Graphs.** 
 *  **GraphGAN: Graph Representation Learning with Generative Adversarial Nets.**

> 论文地址：https://arxiv.org/pdf/1711.08267.pdf

*  **HARP: Hierarchical Representation Learning for Networks.**

> 论文地址：https://arxiv.org/pdf/1706.07845.pdf
> 
> 代码地址：https://arxiv.org/pdf/1706.07845.pdf

*  **Representation Learning for Scale-free Networks.**

> 论文地址：[https://arxiv.org/pdf/1711.10755.pdf][https_arxiv.org_pdf_1711.10755.pdf]

[https_arxiv.org_pdf_1711.10755.pdf]: https://arxiv.org/pdf/1711.10755.pdf