新闻详情

2022最新综述：从算法到系统的大规模图神经网络挑战与总结

发表时间：2022-04-26 12:51

图片


图神经网络（GNN）是一种基于深度学习的处理图域信息的方法，它通过将图广播操作和深度学习算法结合，可以让图的结构信息和顶点属性信息都参与到学习中，在顶点分类、图分类、链接预测等应用中表现出良好的效果和可解释性，已成为一种广泛应用的图分析方法。然而现有主流的深度学习框架（如TensorFlow、PyTorch等）没有为图神经网络计算提供高效的存储支持和图上的消息传递支持，这限制了图神经网络算法在大规模图数据上的应用。


来自东北大学最新《大规模图神经网络系统》综述论文


图神经网络概述


深度学习在对象检测[1,2]、机器翻译[3,4]、语音识别[5]、物理系统[6,7]等领域取得了革命性的成功，推动了对模式识别和数据挖掘的研究。现有的深度学习方法能够处理欧式空间表示下的规则数据，例如图像数据可以表示为欧几里得空间中的规则网络，而现实中的很多应用的数据以图的形式来表示。比如在社交网络中，可以通过图来表示对象之间的关联关系，从而能够进行社区发现、聚类等算法。在生物领域 ，可以通过图来表示蛋白质分子之间的关系，从而能够对蛋白质进行分类。在引文网络领域，可以用图来表示论文之间的引用关系，从而能够对论文按领域进行分组。在电子商务领域，可以用图来表示用户和商品之间的交互关系，从而能够对用户进行商品的推荐。由于图数据的不规则性和稀疏性，每个顶点可能具有不同数量的邻居，并且图数据之间具有依赖性，图中每个顶点的计算依赖于其他的顶点，所以导致很多深度学习方法无法直接应用在图数据中。例如，卷积只能对图像或文本这样的欧几里德数据进行操作，无法直接应用于图数据，限制了深度学习方法在图领域的发展。


随着图领域深度学习方法逐渐受到广泛关注，近些年出现了很多图神经网络算法，这些方法通过在传统深度学习模型中添加图操作，应用图的结构信息和属性信息，来处理图数据的复杂性，成为解决图学习问题的有效方法。比较典型的工作有 Structure2Vec、GCN、FastGCN、AS-GCN、GraphSAGE等。


图神经网络算法将传统深度学习的方法，如卷积，扩展到了图数据领域，并结合数据传播的思想形成了在图上的深度学习算法，其在社交网络、推荐系统、知识图谱、链接预测等领域都取得了良好的效果。图神经网络受到广泛关注的原因如下：首先，现有标准神经网络无法正确处理图数据的输入，因为其按照特定顺序处理节点特征，而图中的顶点没有自然顺序。图神经网络算法采用在顶点上传播信息的计算方式，忽略顶点的输入顺序解决了这个问题。第二，在标准神经网络中，图中顶点的依赖关系仅能作为顶点特征输入，而图神经网络算法根据图中顶点的依赖关系进行信息传播，保留了图结构的信息，为下游深度学习任务提供了更加完整的信息。第三，推理是高级人工智能的一个重要研究课题，图神经网络强大的表示能力，为进一步生成强大的神经模型提供了基础。


现有的深度学习框架如 TensorFlow、PyTorch、MXNet以及 CNTK ，和图处理框架 PowerLyra、 PowerGraph、Garaph、Pregel、TuX2都不能很好地支持图神经网络的计算，这阻碍了图神经网络的进一步发展，也限制了图神经网络在大规模数据中的应用。因此突破现有框架限制，开发专用于图神经网络训练的系统，对于充分发挥图神经网络的潜力十分重要。



大规模图神经网络训练的挑战


随着图神经网络在不同领域的应用越来越广，对训练图神经网络系统的性能要求也越来越高。结合对图嵌入以及图神经网络的分析，本文对设计开发神经网络训练系统存在的挑战进行如下总结。

（1） 现有深度学习系统不能很好地抽象表述图传播过程。 现有的深度学习系统处理的是规则数据，规则数据中每个样本的计算图是独立的，与其他样本无关，而图神经网络是将深度神经网络和迭代图传播结合起来进行计算的，图数据的每个样本（即图顶点）之间具有依赖性，所以现有系统不能自然地表达和有效地支持图传播模型。如何突破现有框架的局限，设计一种适用于图神经网络的系统架构是发展图神经网络的重要问题；

（2） 训练大规模图神经网络的计算、存储复杂度高。真实世界中的尺寸都非常大，而且由于顶点之间具有复杂的依赖性，随着图神经网络层数的增加，计算成本和内存空间需求呈指数级增长。 设计计算和存储策略以利用有限的资源来使系统达到理想的性能也是发展图神经网络系统的一大挑战；

（3） 图计算局部性差导致系统开销问题。 真实世界图的稀疏性会导致非常差的空间局部性，在单机系统中这会导致Cache命中率降低。而在分布式系统中，这会导致频繁的跨节点访问，进而产生大量的消息传递开销。所以如何针对图的特殊性质减少系统开销是提高系统性能的一大挑战；

（4） 图的幂律分布导致分布式计算负载均衡问题。 对于具有数亿个顶点的大型图，通常需要对图进行分布式处理，图神经网络算法不同于传统的图算法，平衡的图分区不仅依赖于分区内的顶点数量，还依赖于分区内顶点邻居的数量，多层图神经网络模型中不同顶点多阶邻居的数量可能相差极大，并且这些分区之间需要频繁的数据交换，如何对图数据进行合理的分区来保证分布式训练的性能是对于分布式系统的重大挑战；

（5） 异构计算架构中的任务划分和负载调度的合理性问题。GPU的广泛应用为训练深度学习模型带来了很多机会和挑战。在利用GPU加速神经网络的训练时，通常将数据存储在主机内存中，在计算时需要将数据传输到GPU，由于图神经网络算法在反向传播阶段的复杂性，需要频繁的在主机和GPU之间进行数据传输，如何设计合理的调度方案来最大程度地减少数据传输成本也是提高系统性能的一大挑战。

为了应对这些挑战，出现了很多针对图神经网络的训练框架，其中单机系统如PyTorch Geomertic、DGL、NeuGraph。图神经网络通常处理非常大且不规则的图，这些大图无法存储在单个设备中，因此必须以分布式方式进行分区和处理，其中分布式图神经网络框架如Euler、AliGraph、Roc、AGL。

图神经网络系统总结


目前的图神经网络系统从多个维度进行了综合分析，对这些系统的共同特性进行提取，并总结归纳，见表1。


经过论文分析与总结，发现现有图神经网络系统仍存在以下问题，同时也是未来的研究方向：首先，目前系统所采用的架构仍依赖于现有数据流框架，现有数据流框架针对深度神经网络的运算做了一系列优化，但缺少针对图操作的优化尤其是高效分布式图操作，与这些框架结合起来搭建系统，制约了分布式图神经网络系统的进一步发展。第二，目前系统所采用的小批量并行计算方式，并不适用于基于谱方法的图卷积网络，本文通过实验发现，采用这种并行计算方式会对基于谱方法图卷积网络的训练精度产生影响。第三，图的分区操作和通信管理是影响系统性能的关键因素，尽管目前的系统已经在这两方面提出多种优化，减少了内存消耗和通信开销，但这两者仍存在非常大的优化空间。

图片

关于慧维智能

    慧维智能医疗科技有限公司成立于2019年6月，专业从事智能医疗产品的研发、生产与销售。我们的核心成员，均来自全球顶尖的科研机构和世界五百强企业。慧维智能以在“人工智能”和“边缘计算”领域的自主核心技术为驱动力，致力于为全球医疗机构提供“高水准、低成本、好体验”的医疗产品与服务，最大程度地帮助医生提高诊疗水平与效率。

图片

参考文献

[1] Redmon J,Divvala S, Girshick R, Farhadi A. You only look once: Unified, real-time object detection. In: Proc. of the 2016 IEEE Conf. on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016. 779–788. [doi: 10.1109/CVPR.2016.91]
[2] Ren SQ, He KM, Girshick R, Sun J. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. [doi:10.1109/TPAMI.2016.2577031]
[3] Luong MT, Pham H, Manning CD. Effective approaches to attention-based neural machine translation. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics, 2015. 1412–1421. [doi: 10.18653/v1/D15-1166]
[4] Wu YH, Schuster M, Chen ZF, et al. Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv: 1609.08144, 2016.
[5] Hinton G, Deng L, Yu D, Dahl GE, Mohamed AR, Jaitly N, Senior A, Vanhoucke V, Nguyen P, Sainath TN, Kingsbury B. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups. IEEE Signal Processing Magazine, 2012, 29(6): 82-97. [doi:10.1109/MSP.2012.2205597]
[6] Sanchez-Gonzalez A, Heess N, Springenberg JT, Merel J, Riedmiller M, Hadsell R, Battaglia P. Graph networks as learnable physics engines for inference and control. In: Proc. of the 35th Int’l Conf. on Machine Learning. Stockholm: PMLR, 2018. 4470–4479.
[7] Battaglia PW, Pascanu R, Lai M, Rezende DJ, Kavukcuoglu K. Interaction networks for learning about objects, relations and physics. In: Proc. of the 30th Int’l Conf. on Neural Information Processing Systems. Barcelona: NIPS, 2016. 4509–4517. [doi: 10.5555/3157382.3157601]


分享到：