NeurIPS 2019最佳论文出炉,今年增设“新方向奖”,微软华人学者获经典论文奖

UW Madison和CMU获最佳论文

晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI

第32届神经信息处理系统大会(NeurIPS 2019)今天在加拿大温哥华正式召开。

据大会官方介绍,今年的参会人数达到了空前的1.3万人。另外大会的投稿数量、接收论文数量也创下了历史新高,总共有1428篇文章被收录。

在NeurIPS 2019召开的第一天,大会评委公布了杰出论文奖经典论文奖

大会评委还希望能够避免一些效率低下、过于复杂的论文,推荐一些趋势性的杰出文章,为此增设了杰出新方向论文奖,以表彰那些为未来研究提出新方向的杰出工作。

此外,大会还推荐了另外4篇获得最佳论文提名的文章。

最佳论文

今年分别各有一篇文章获得杰出论文奖和杰出方向论文奖,另外各有两篇获得相应提名。

杰出论文奖

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

论文地址:
https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

这是来自威斯康星大学麦迪逊分校、马克斯·普朗克研究所的研究。

推荐理由:

本文研究了在训练数据中存在未知、有界标签噪声的情况下,用于二元分类线性阈值函数的学习。

通过推导一种有效的学习算法,这篇论文解决了一个长期存在的根本性问题。本文在机器学习核心长期存在的开放性问题上取得了巨大进展,即在Massart噪声下有效地学习半空间。

举个简单的例子,在1%的Massart噪声下,即使是弱学习析取(误差为49%)也是开放的。本文展示了如何有效地实现等于Massart噪声水平加上epsilon的超额风险。该算法方法复杂,结果难以确定。

杰出新方向论文奖

Uniform convergence may be unable to explain generalization in deep learning

论文地址:
https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

这篇文章是来自CMU和博世AI中心的研究。

推荐理由:

本文提出了本质上是负面的结果,表明许多现有的(基于规范的)深度学习算法的性能边界无法达到他们要求的结果。

作者进一步说,当其他研究者继续依靠双边一致收敛的机制时,他们将无法达到自己宣称的结果。虽然本文没有解决(也不假装解决)深层神经网络中的泛化问题,但是将该算法“钉死在十字架上”(培根原话“An Instance of the Fingerpost”),指出机器学习领域应该关注另一个不同的地方。

最佳论文提名

除了以上两篇论文外,大会委员会还推荐了4篇获得最佳论文。

杰出论文奖提名

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

论文地址:
https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

推荐理由:

本文以严格的理论方法表明,在密度估计方面,就收敛速度而言,GAN的性能优于线性方法。利用先前关于小波收缩的结果,本文为GAN的表示能力提供了新的见解。

具体而言,作者在大型函数类别(Besov空间)中的一大类损失(即所谓的积分概率度量)下,得出了用于非参数密度估计的极小极大收敛速度。

审稿人认为,这篇论文将对从事非参数估计和GAN的研究人员产生重大影响。

Fast and Accurate Least-Mean-Squares Solvers

论文地址:
https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

推荐理由:

最小均方求解器是许多机器学习算法的核心,从线性和套索回归到奇异值分解和弹性网络,都要用到这种算法。

本文展示了如何将它们的计算复杂度降低一到两个数量级,而且没有精度损失,并改善了数值稳定性。该方法依赖于Caratheodory定理,建立了一个核心集(d维中d2 +1个点的集合)足以表征凸包中的所有n个点。

这篇论文的新奇之处在于提出的分治算法,该算法可提取具有可承受复杂性的核心集(O(nd + d5 log n),d<<n。

审稿人强调了该方法的重要性,因为相关研究人员可以轻松实现该方法以改进现有算法,并且可以扩展到其他算法,因为该方法的递归划分原理使其易于推广。

杰出新方向论文提名

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

论文地址:
https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

开源代码:
https://github.com/loeweX/Greedy_InfoMax

推荐理由:

本文使用从van Oord等人得到的自监督标准,重新审视了深度网络的分层架构,特别是当前输入表示和输入在空间或时间上接近的共有信息。

正如评审人所指出的那样,这种感知网络中的自组织可能会在算法观点(避开端到端优化,因其巨大的内存占用和计算问题)和认知观点(利用所谓的慢速功能的概念,转向生物学上更合理的学习过程)的十字路口上提供新的思考。

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

论文地址:
https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

推荐理由:

这篇论文提出了CV中两种广泛方法——多视图几何和深层表示的合成。具体来说,本文做出了三点贡献:

1)每个体素的神经渲染器,它能以3D感知的方式实现不受分辨率影响的场景渲染;

2)可微分的光线步进算法,解决了沿着相机投射的光线寻找表面相交的难题;

3)潜在场景表示,使用自动编码器和超网络来回归场景表示网络的参数。

经典论文奖

和往年一样,大会评委会评选出了10年前在NeurIPS上发表的论文,表彰该论文在人工智能领域产生了特别重大而持久的影响。

评审从NeurIPS 2009选取了18篇被引用次数最多的论文,考察了这些论文的持续影响力,即最近是否有论文仍在借鉴参考这些论文中的工作。

最终,评委将今年的经典论文奖颁给了微软研究院高级首席研究院Lin Xiao的论文Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文地址:
https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

这篇文章研究了正则化的随机学习和在线优化问题,提出了一种新的算法——正规化双重平均法。与标准随机梯度法类似,该方法可达到最佳收敛速度,并且每次迭代通常具有较低的复杂度。

今年投稿盛况

今年NeurIPS一共收到6743篇论文投稿,创下历史新高,其中总共有1428篇论文接收入选,入选率21.1%。其中华人一作的论文占到了接受总论文数量的1/3。

今年总共有5大组织入选论文数超过100篇。其中工业界的是Google+DeepMind和微软,学术界则是MIT、斯坦福和CMU。

中国方面排名最靠前的是清华大学,总榜排名13,共有33篇入围;北大位列第二,总榜排名22,共有23篇入选。

今年在加拿大举办的NeurIPS还经历了一场小风波,因为举办地加拿大拒签了很多北美之外的学者参会,导致这些学者他们将无法参加大会。

即使这些人的论文已经被接收,甚至连大会活动的组织者也被拒之门外。

Jeff Dean、Yoshua Bengio等行业大佬出面批评加拿大移民局的行为,认为此举会阻碍学术交流,不过问题并未得到实际解决。

明年的NeurIPS将继续在加拿大温哥华举办,后年将转移到澳大利亚悉尼市举办,不知情况是否会有所改善。

最后附上本届NeurIPS所有被接收的论文:
https://papers.nips.cc/book/advances-in-neural-information-processing-systems-32-2019

参考链接:
https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e

版权所有,未经授权不得以任何形式转载及使用,违者必究。