显着方法 – 繁忙的 GPU 和 GNN 加速深度学习

ummefatimabinte

图表无处不在。无论是金融交易、社会关系、学业成绩、分子相互作用还是广告营销统计——几乎所有有形的东西都可以用图形形式表达。这些图表可用于描绘不同对象之间的关系和相互依赖关系。 但并不是每个人都喜欢图表！ 饼图、柱形图、气泡图、散点图和维恩图——这些仍然是许多企业的祸根。这是极其令人困惑的，因为这些都是简单、直接的二维表示——用技术术语来说就是欧几里得数据。 然而，还有其他一些与数据相关的闷烧问题吗？ 那么非欧几里得数据呢？不同对象（节点）之间映射的具有复杂关系和相互依赖关系的数据？数据远远超出了3D表示的限制？这些数据也可以用图形形式表示吗？这不仅让人类（包括数学研究人员）感到困惑，甚至让先进的计算系统感到困惑。 目录 立即尝试超快速、安全的云 GPU！ 现有ML/DL模型的图解分析和缺点 图神经网络 (GNN) 简介 显着的方法 多 GPU 缩放 – 立即尝试超快速、安全的云 GPU！ 获得免费300 美元积分 报名 现有ML/DL模型的图解分析和缺点 在最简单的层面上，图有两个基本组成部分——一组两个对象（节点）以及它们之间映射的关系（图边）。当画面中引入多个主题时，场景会变得更加复杂，每个主题都会影响另一个主题，引入相互依赖关系并编织出一个巨大而复杂的关系蜘蛛网。

例如，家庭中不同成员（对象）之间的关系可以很容易地以图形形式描述，包括映射一个成员的行为和情绪如何影响其他成员的行为和情绪。但当大家庭、远房表兄弟姐妹、朋友和同事的行为、情感和相互依赖关系以及他们自己的家人等也被引入到矩阵中时，所形成的网格开始变得难以辨认。 从此类图形表示中出现的庞大数据集非常复杂，以至于即使是先进的机器学习算法也开始犹豫并无法理解这些数据。这主要是因为两个原因—— 机器学习/深度学习模型 (ML/DL) 经过训练可  俄罗斯 WhatsApp 号码列表  以识别模式并检测/预测异常。这在个性化产品推荐、网络安全和未经授权的访问预防、卫星测绘等领域有多种应用。如果不存在可辨别的模式，这些模型就会失败。 此外，ML/DL 模型可以映射一对一的关系，这使得它们非常适合图像识别和分类、流量预测等。但它们通常没有经过适当的训练来映射一对多和多对的关系。一种关系，尤其是在可能涉及数百万个对象的情况下。 图神经网络 (GNN) 简介 GNN 是一类特殊的人工神经网络 (ANN)。为了改善传统 ML/DL 模型的缺点，以连贯地破译巨大的图结构，GNN 已成为处理可以表示为图的看似任意数据的不可或缺的工具。它们已被部署用于无监督、半监督、自监督和强化学习（RL），并在以下领域找到了广泛的应用： 节点分类——半监督机器学习模型，经过训练，通过检查邻居的标签来确定未标记的单个节点的标签，例如，通过检查广泛的交易历史来检测欺诈性金融交易。 图分类 –与 (1) 类似，但应用于整个图，例如，根据自然语言处理 (NLP) AI 模型的内容和上下文对文本文档进行分类。



图形可视化——以视觉形式描述大量信息，以突出显示结构并检测异常/异常值。 链接预测 –用途广泛，包括社交媒体上的朋友推荐、垃圾邮件识别和流行病预测。一个总体用例涉及犯罪执法，预测个人的犯罪关联。 图聚类——基于边权重或边距离，以图的形式对密集数据进行基于相似性的聚类。目前被用于许多图像识别和视觉认知应用。 开发用于推理的 GNN 需要 – 将大量输入数据转换为小批量数据以进行训练，以及 在分布式多 GPU 环境中以这些小批量进行邻域采样。 这会产生大量的计算负载，因为每个数据点（图节点）的位置也取决于其邻居（邻域聚合）的位置，并且即使在小批量中，这也可能很快导致过大的邻域。当考虑到具有数百万个节点以及它们之间数十亿个关系的惊人数据集时，这一点会急剧增加！ 除了计算成本之外，在这个巨大的邻域中表示如此多的单独数据点也会消耗大量内存，甚至经常超过 GPU 的内存容量，并且需要将整个相应的子图和特征向量传输到 GPU 本身。 因此，抑制 GNN 性能的两个主要瓶颈是小批量准备和大规模 CPU 到 GPU 数据传输。结果表明，在整个 GNN 训练过程中，令人惊讶的是，实际上只有约 28% 的时间花在 GPU 训练上，其余时间都用在了小批量准备和向 GPU 传输数据上。