NeurIPS 2019投稿规则大变化!必须回答研究可复现问题,倡导提交论文代码

直指AI社区争议

乾明 发自 凹非寺

量子位 报道 | 公众号 QbitAI

NeurIPS 2019马上就要接受投稿了!但规则有了两点重大变化。

一是这一AI顶级学术会议宣布,本届所有投稿论文都要回答关于研究可复现的问题。

与此同时,他们也发出倡议,希望所有能够提交代码的论文都提交代码,但不强制执行。

在不少人看来,这些变化对于AI社区来说是一个大好事。

谷歌研究员hardmaru评论称,虽然不强制执行,但也给了评审依据,来快速拒绝那些不承诺披露代码的论文。

NeurIPS 2019大变化!必须回答研究可复现问题,倡导提交论文代码

此外,除了这两大变化之外,还有其他三项变化,分别涉及投稿截止日期、论文作者以及附加材料。

直指AI社区争议

研究不可复现,现在已经被人称为飘浮在AI上空的幽灵,导致相关研究的可信度大大降低。

2016年,《Nature》发起的一项相关调查显示,有52%的科学家认为存在重大的可复现性危机。

AAAI Fellow、加拿大计算机科学家Joelle Pineau一直在强调可复现性对AI带来的负面影响。

NeurIPS 2019大变化!必须回答研究可复现问题,倡导提交论文代码

在2018年的AAAI和NeurIPS会议上,研究的可复现问题讨论和关注度到了近年来的顶点。

NeurIPS 2019决定直面这一问题,任命Joelle Pineau为“复现主席”(Reproducibility Chair)来协调这方面工作。

所有提交论文的作者,都需要回答关于可复现问题的问卷。

问卷中,一共有13个问题,涉及模型、算法、理论声明以及研究结果等方面。

NeurIPS 2019大变化!必须回答研究可复现问题,倡导提交论文代码

此外,是否提交代码,也是影响研究可复现性的一个重要因素。

关于这一问题,NeurIPS 2019也表达了态度:希望作者提交代码

并制定了相关的细则来规范这一流程:

  • 1、这一规定只适用于贡献和提出一个新算法(或对现有算法提出修改)的研究。
  • 2、这一规定只是期望,并不强制执行。
  • 3、接受作者重新实现时使用的代码,而不是最初运行的代码。
  • 4、接受因为硬件、数据集等等问题而不可执行的代码。
  • 5、只适用于已被会议接受的论文,要在10月27日前提交完成。

此外,NeurIPS 2019也指出,虽然这只是一个倡议,但其结果将会作为后续几年政策制定的参考。

同时,他们也在考虑引入更多的激励措施,来鼓励研究者披露代码。

论文提交截止日期有变

5月1日,NeurIPS 2019开始接受投稿,全文提交截止日期到北京时间5月23日中午12点

与之前不同的是,在全文提交截止时间之前,NeurIPS 2019有设置了一个摘要提交截止日期,比全文提交截止日期早一周:北京时间5月16日中午12点

只有在这一时间节点之前提交摘要,才被允许在5月23日之前提交完整论文。

不过,摘要和标题提交之后,后续还能修改。如果只是“占坑”提交标题或者摘要,将会被删除。

在论文全文提交截止日期之后,将无法修改论文作者。

此外,提交论文的作者,也需要在会议开始之前,必须提供下面三种材料中的一种:3分钟视频总结、PDF版本的总结PPT、会议PDF海报。(给链接就行)

NeurIPS 2019将在12月8日到14日在加拿大温哥华举行。

官方公告传送门:

https://neurips.cc/Conferences/2019/CallForPapers

关于代码披露倡议细则:

https://docs.google.com/document/d/1SBCfisdLU2A_vb7K7wI8oRBin8ZA4cA1BbasqfQr5m0/edit

研究可复现调查问卷:

https://www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。