北航成AAAI 2021最大赢家,两篇一作斩获最佳论文及提名
迁移学习带头人杨强任大会主席
杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI
当地时间2月4日,AAAI 2021最佳论文奖出炉!
由AAAI 2021程序委员会主席Mausam在开幕式上宣布,共有3篇论文获得了最佳论文奖。
以及3篇获得最佳论文提名(Runners Up奖)。
值得注意的是,在这6篇获奖论文中,有两篇均是北航学子担任第一作者,单从标题就可看出,研究均与Transformer相关。
△Best Papers
△Best Papers Runners Up
北航成最大赢家
首先,获得最佳论文奖的是“Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting”。
第一作者来自北航的Haoyi Zhou,由北航、UC伯克利、罗格斯大学以及北京国网富达公司共同协作完成。
本文设计了一种专为LSTF(长序列时间序列预测)设计的基于Transformer模型Informer,来解决Transformer在应用于LSTF时存在一些严重的问题。
比如二次时间复杂度、较高的内存使用量和编解码器结构的固有限制等。
Informer具有三个显著特点:采用ProbSparse自关注机制、自注意力提炼、生成式解码器。
△Informer模型
除此之外,还有两篇论文获得了最佳论文奖。
其中一篇是来自华人团队,名为“Mitigating Political Bias in Language Models Through Reinforced Calibration”。
第一作者是来自达特茅斯学院计算机科学系的Ruibo Liu,主要研究是通过强化校准来减轻语言模型中政治偏见问题。
以及来自新加坡科技设计大学的论文,叫做Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory。
研究了一个Q-learning的平滑模拟,以灾难理论与博弈理论相结合,加强Exploration-Exploitation这一工具在多代理学习(MAL)中的理解。
而获得最佳论文Runners Up奖的三篇论文中,“Self-Attention Attribution:Interpreting Information interactions inside transformer”的一作Yaru Hao同样来自北航 。
二作是来自微软亚洲研究院的董力。
本文提出了自注意力归因算法,来解释Transformer内部的信息交互,并以BERT为例进行了广泛的研究。
首先,提取各层中最突出的依赖关系,构建归因图,揭示Transformer内部的层次交互关系。
此外,还应用自注意力归因法来识别重要的注意力头,而其他的注意力头被修剪,而性能仅有边际下降。
最后,归因结果作为对抗性模式来实现对BERT的非目标攻击。
此外,还有来自加州大学伯克利分校、德克萨斯大学奥斯汀分校等团队的“Learning From Extreme Bandit Feedback”论文,研究了在极度大的动作空间环境下,从Bandit Feedback中进行批量学习的问题。
以及,来自哈佛大学、卡内基梅隆大学的团队的论文“Dual-Mandate Patrols: Multi-Armed Bandits for Green Security”。
第一作者是来自哈佛大学的Lily Xu,探究了如何利用强化学习的Multi-armed Bandit算法,来避免偷猎者伤害野生动物。
AAAI 2021开幕
本届AAAI大会以线上会议的形式召开,大会主席由微众银行首席人工智能官、香港科技大学教授、迁移学习带头人杨强担任。
杨强教授是 AAAI 大会历史上第二位大会主席,也是担任此职位的首位华人。
本次会议共接收了1696篇,接收率近21.4%,其中有70.6%是学生论文。
中国大陆论文总数仍然占据榜首,共提交了3319篇论文,其中627篇论文被接收,接收率为19.0% 。
在各个奖项上,华人表现出色,斩获四项大奖。
包括北航的两篇在内,共有4个华人团队的论文获得了最佳论文、最佳论文亚军的奖项。
还有来自深圳市计算机视觉与模式识别重点实验室、南方科技大学等团队的论文获得了杰出论文奖。
此外,还有来自微软亚洲研究院的两位学者Xiting Wang和吴方照获得了杰出SPC奖。
大会将一直持续到2月9日结束,想了解更多细节可戳下方链接哦~
大会链接:
AAAI-21: Thirty-Fifth AAAI Conference on Artificial Intelligence
最佳论文/亚军链接:
https://arxiv.org/pdf/2012.03083.pdf
https://arxiv.org/pdf/2009.12947.pdf
https://arxiv.org/pdf/2004.11207.pdf
https://arxiv.org/pdf/2012.07436.pdf
https://arxiv.org/abs/2009.06560
https://www.aaai.org/AAAI21Papers/AISI-8076.LiuR.pdf
- 突发!OpenAI CTO离职,同日奥特曼被曝将获得股权2024-09-26
- 支付宝进军大模型医疗应用,技术一号位:我们有4个切入点2024-09-28
- o1规划能力首测!已超越语言模型范畴,preview终于赢mini一回2024-09-28
- 重庆特斯联冲刺AIoT第一股!3年29亿营收,超六成来自AI产业数智化2024-09-26