作者:CHEONG AI
来源:机器学习与知识图谱
本文分享一篇ICLR 2021的文章AdaGCN:Adaboosting Graph Convolutional Networks into Deep Models,AdaGCN模型的核心思想是将传统机器学习中AdaBoost的思想引入到图神经网络中,另外,与之前深层图模型直接堆叠多个卷积层不同,AdaGCN在所有网络层之间共享相同的神经网络架构,然后进行递归优化,类似于RNN。
Paper:https://arxiv.org/abs/1908.05081
Github:https://github.com/datake/AdaGCN
一、摘要
深度图模型仍是一个有待研究的问题,关键之处在于如何有效地汇聚来自多跳邻居节点的特征信息。在本文中,通过将AdaBoost融入到图网络中提出了一个类似于RNN的深度图模型AdaGCN,能够以Adaboost的方式高效的抽取多跳邻居特征信息,不同于之前的深度图模型直接堆叠多个卷积层,AdaGCN在所有网络层之间共享相同的神经网络架构。另外,从理论角度分析了AdaGCN和现有的GCN模型的关联,最后,通过大量的实验,证明了我们的方法在不同的标签率和计算优势下始终保持最先进的性能。
二、模型
首先,最简单的两个卷积层的GCN模型公式如下
其中输入是节点的Raw Features,输出是经过两个卷积层的最终表征。ReLU是一个非线性激活函数。但是,我们认为对于多层GCN网络不需要太多的非线性变化,原因在于节点特征是简单的一维向量而不是多维的。这个想法在SGC模型也已经提出过,直接将非线性变化ReLU函数去除的SGC模型的汇聚公式如下所示
在SGC模型中,将RuLU操作去除后确实在一定程度上缓解了深度图模型常出现的Over-Smoothing问题,并且计算效率也更快;但是,我们认为,对于这种多层堆叠的GCN网络来说,没有了ReLU操作的多层堆叠线性变换也会很大程度降低模型的表征能力,同时也通过实验证明了这个想法。
因此,在本文中,我们提出了一个新的非线性函数来替换没有激活函数的线性变换,公式如下所示
那么,如何使用AdaBoost?其实就是把深度模型的每一层输出的结果放到一个弱分类器中计算,并使用了SAMME(Stagewise Additive Modeling using a Multi-class Exponential Loss function)算法将多个弱分类器结合起来
如上图所示,我们直接使用基分类器f函数来抽取特征信息,当前层的加权错误概率以及基分类器的权重以如下方式计算
为了得到一个正的权重,需要保证
同时,在传播过程中向错误的节点增加权重以保证其的值减少,也就是对性能差的分类器给予较少的权重
然后,利用Adaboost方法将不同层的预测结果进行组合,得到最终的预测结果
我们也提供了AdaGCN的简化形势
三、实验
我们是在Cora,Citeseer,Pubmed,MS Academic和Reddit五个数据集上进行了实验,通过run 100次实验取平均来保证结果的置信度,取得了SOTA效果,
并且,如下图所示,随着模型深度增加,模型性能不会因为Over-Smoothing问题而下滑
数据分析咨询请扫描二维码
CDA持证人已遍布在世界范围各行各业,包括世界500强企业、顶尖科技独角兽、大型金融机构、国企事业单位、国家行政机关等等,“CDA数据分析师”人才队伍遵守着CDA职业道德准则,发挥着专业技能,已成为支撑科技发展的核心力量。 ...
2022-03-18CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01