KDD最佳论文奖首次独立颁给中国内地机构!达摩院开源工作获奖,面向联邦图学习

组委会:该研究推动了联邦图学习的发展

明敏 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

刚刚,KDD 2022所有奖项正式对外公布!

作为数据挖掘、知识发现领域的最高学术会议,每年KDD奖项花落谁家都会引发学界热烈讨论。

今年,中国团队的表现依旧令人瞩目。

清华裘捷中获得博士论文奖亚军,成为亚洲高校首位获得者。

阿里巴巴达摩院智能计算实验室,获得应用数据科学方向最佳论文奖,是中国工业界研究团队首次独立获得这一奖项。

论文提出了一个面向联邦图学习的库FederatedScope-GNN。

主办方SIGKDD评价其“推动了联邦图学习的发展”。

在此,量子位找到论文一作王桢、通讯作者李雅亮,一起聊了聊他们关于论文研究及背后的更多事儿~

在图数据上发挥联邦学习能力

本次获奖论文的核心,聚焦在联邦图学习方面。

简单来说,它就是将图学习和联邦学习的优势合璧。

近年来,随着越来越多应用场景对隐私保护的需求增高,联邦学习愈发火热。

它能让用户在数据始终都停留在本地的基础上,通过交换模型参数或中间结果的方式,在云端联合训练,最终让多方用户都能完成模型训练。

也就是常说的让“数据可用不可见”,从而避免“数据孤岛”问题。

目前,如谷歌的Tensorflow Federated(TFF)、微众银行的FATE等,都是目前大热的开源联邦学习框架。

不过,现有的联邦学习工作,更多关注视觉和自然语言领域,对图的支持相对有限

要知道,图(graph)在表示复杂关系方面,具有很大优势。

它是由节点(node)和边(edge)两部分组成的一种数据结构,用来描述对象间关系。

日常生活中,你可以把每个社交账户看作一个节点。预测两个账户是不是有好友关系,就是预测这俩节点之间是否存在连边,从而给你推荐“可能认识的人”。

但是传统神经网络,都是接受几何空间的数据作为输入,无法处理图这种数据结构。

针对这种情况,图神经网络被提出。它能利用神经网络来图进行深度特征抽取等操作,从而实现更好的推理预测效果。

常用的场景有电子商务、药物研发、金融、互联网社交等。而这些场景,对数据保护的需求往往也会很大。

比如银行反洗钱场景下,需要预测每个账户是否为风险账户,但各个银行的账户信息不能相互公开。

△银行反洗钱场景

还有药物研发过程中,不同厂商只掌握了分子图中的一部分,大家需要共享信息以完成研发任务,但各自的数据还要相互保密。

上述种种,让大家对联邦图学习算法非常渴望。

这样的背景下,达摩院在本次研究中,把图学习用在联邦学习上。

FederatedScope-GNN(以下简称FS-G)基于达摩院已开源的联邦学习框架FederatedScope(以下简称FS)提出。

首先,FS-G提供了一个统一视图,灵活支持异构数据的交换。

得益于底层框架FS事件驱动(event-driven)的编程范式,多种多样的消息交换和参与者的丰富行为得以模块化进行拆分实现——FS-G允许灵活丰富的模块化行为。

其次,FS-G针对图学习提供了DataZooModelZoo

前者为用户提供丰富多样的联邦图数据集,后者提供相应的模型与算法。

此外,DataZoo还实现了大量不同类型的splitters,即便在单机场景里,通过FS-G提供的注册机制,开发者也能轻松把单机代码搬到联邦场景复用。

再者,针对联邦图学习对超参数敏感的现象,FS-G还实现了高效的模型调优(model tuning)组件。

其中包括多保真度的Successive Halving Algorithm和新近提出的联邦超参优化算法FedEx,以及针对联邦异质任务的个性化。

△一个个性化图神经网络示例

因为各个参与者被允许使用独立的特有神经架构,只聚合共享部分,FS-G允许开发者根据实际情况,采用不同的异步训练策略。

最后,FS-G还提供了丰富的隐私评估算法,对算法在隐私保护方面的能力进行检验。

春节加班提交论文

对于这次拿下大奖,论文一作王桢说道,“开心是肯定的,感觉自己的工作得到了认可”。

通讯作者李雅亮则表示,因为看到了团队为此付出了多少努力,所以觉得这一切更像是一种水到渠成。

实际上,这项工作的筹备时间要从一年多以前算起。

当时,团队洞察到了隐私保护计算行业的发展趋势。作为技术人员,自然而然想到从工具入手,推动这股研究浪潮更快前进。

所以,FederatedScope被提上了日程,FS-G则是其中非常重要的部分之一。

前面也有提到,联邦图学习的工作可以满足应用场景中更为广泛的需求,但是复杂程度也更高。

刚好,王桢博士非常擅长图学习方面的研究。

引用量超过2500次的知识图谱补全算法TransH,正是他以一作身份完成的工作。

当时,他还正在中山大学数据科学与计算机学院攻读博士学位,通过微软亚研院联合培养项目,完成了这篇论文。

博士毕业后,王桢就加入了阿里巴巴,曾任阿里云高级算法工程师。

作为主要开发者,王桢参与了阿里机器学习平台PAI中A3gent强化学习组件的研发,并将其开源为EasyRL项目。

同期还参与了伯克利大学Ray RLLib项目共建,并被社区认可为项目committer。

之后,王桢加入达摩院,开始专注联邦图领域的研究。多次在KDD Cup比赛中取得高排名成绩,在ICLR、WWW等国际顶会发表多篇论文。

但即便有优秀学者坐镇,由于联邦图学习是一个十分前沿的领域,领域内一些基础性工作都还没有搭建完整,联邦图学习算法本身也会比普通联邦学习算法难,所以研发FS-G的难度并不小。

王桢提到,最初他们甚至连一个可用的数据集都没有。

加之,图数据相较于其他数据类型,在异质消息交换上会存在更多风险;联邦学习的每个参与者也会有更丰富的行为,去处理这些信息。

因此,研究团队需要在图联邦算法上使用一个与以往不同的编程范式,并设计方案使其在图联邦中发挥最大功效,这是有别于常规开发的。

这背后,都需要更多人力、时间的投入。

论文通讯作者李雅亮回忆,今年KDD论文提交的时间,刚好在大年初十。

当时整个团队都在兴奋地忙碌着论文的提交工作,过年几乎都没有休息。

而这些精力的投入,最终也在论文成果中得以显现。

可以看到,FS-G中包含了丰富的联邦图数据集和相应的模型与算法。并且让没有联邦学习背景的开发者,也能自如使用FS-G。

这为后续研究做了大量的基础性工作,可以说是为联邦图学习建立了新基准

李雅亮在交谈中也表示,基础性工作的完成,能够吸引更多研究人员参与联邦图学习的研究。

我觉得,这是我们工作能够获得组委会认可的一大原因。

值得一提的,李雅亮作为本次成果的通讯作者,还曾负责FederatedScope的开源工作。

他现在是达摩院智能计算实验室的高级算法专家。

2017年从纽约州立大学布法罗分校博士毕业,研究领域覆盖数据融合、因果推断、自动机器学习、隐私保护计算等领域。

曾担任NeurIPS’21、NeurIPS’21、AAAI’22的领域主席,在IJCAI和NeurIPS上三次组织workshop,在CIKM’22上组织了AnalytiCup比赛,并在KDD、AAAI上多次做了Tutorial。

据他透露,FederatedScope现在已经开源0.2.0版本。

新版本可以更好支持大规模下的异步联邦学习,对用户的友好度也更高。

One More Thing

最后是福利时刻~

在聊完获奖论文的相关内容后,我们还找两位大佬问了问AI研究方面的学习经验,大家赶紧来抄作业!

首先,两位学者都表示,想学好AI,数学非常关键

李雅亮提到,自己观察到这几年很多学生、实习生的数学能力都有些下降,这其实非常值得关注。

现在很多工具变得好用后,大家开始更追求短平快的东西,忽略了更为深入、本质的知识学习。其实数学作为基础能力,和代码这种工程方面的能力,二者缺一不可。

其次,是大家都关心的怎么读论文的问题。

王桢表示,读好的论文才是关键所在。

自己要先学会去甄别什么是好的论文,然后把时间花在刀刃上。

而且相较于读论文,李雅亮更鼓励大家去多读书。因为书会帮助大家更好去建立知识体系。

现在,即便他们都已经毕业很多年了,在达摩院智能计算实验室也经常组织读书活动。

推荐大家读一下《Fundation of Machine Learning》!我相信无论是小白还是行家,都会从这本书中得到更多新的见解。

除了学习经验,我们还问了问大佬们有啥业余爱好。

结果他们都表示,他们做研究就是靠兴趣驱动的,所以平常也很爱钻研。

这点你学废了吗?

版权所有,未经授权不得以任何形式转载及使用,违者必究。