ML顶会论文都可复现吗?来挑战一下,还能拿500美元补贴

网友:挑战成功还能自己发论文

月石一 发自 凹非寺
量子位 报道 | 公众号 QbitAI

Paper with Code发起了第5届机器学习再现性挑战(MLRC)。

这一次不仅支持的会议有所增加,挑战者还能获得500美元的资金支持!

接受挑战的论文,来自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多个会议,挑战者通过DAGsHub进行复现。

举办方发起此次挑战的目的,是为了鼓励发布和共享可靠和可重复的科学成果。

如何参与呢?一起来看。

流程与要求

挑战者需要从所支持会议的论文列表中获取论文,但是显示“已领取”的论文除外,而且每人最多只能复现2篇论文。

此外,挑战者还需加入Discord社区的#ml-reproducibility频道。

接着就到了复现这一步,挑战者用作者发布的现有代码,或设计一个执行程序,来验证论文的观点和结论。

并且要使用DAGsHub存储来托管数据、模型等,确保所有东西都是开源和可重复的。

然后,将发现和消融研究的内容,总结成DAGsHub页面。其中要涵盖这些内容:

这篇论文是否可复现?

是否发现了任何关键性的见解?

描述数据集(如果适用):来源、数据类型、分布等。

描述数据处理方法(如果适用)。

描述模型:架构、性能等。

此外,挑战者需确保符合ML可重复性检查表的标准,符合要求的参与者将获得每篇论文500美元的支持。

最后,将结果提交到挑战活动,并作为DAGsHub项目,链接到这个项目的问题上,举办方将对DAGsHub项目进行审查。

作者有可能被选中,在DAGsHub社区和主页上进行介绍,也可能被邀请在专门的活动中分享工作。

网友:可发论文?

这项复现论文的活动在Reddit上引起了网友们的关注。

不少网友表示:想参加!

很想参加。如果复制一篇论文,然后结果在相同的超参数条件下不匹配,会发生什么:D?

一位网友回复说:那你就能发论文了……

我喜欢这个,很想参加。有没有可能计入博士学位的学分呢?

有网友表示,如果大学有这样的课程学分,那将是一个好主意,它可能比ML研究生的许多课程更有用。

不过,对于500美元的资金支持,也有人提出了不同观点。

一篇好的论文,不就是应该提供代码和数据,支持一键重新运行吗?这样(复现)很难成为一个项目。

这些提供高质量代码和数据的论文,难道该激励的不是它们吗?而不是那些承担作者责任的第三方。

不过大部分网友认为这项活动很有意义,其中一些人表示,机器学习领域的确有不少“无用论文”。

总是有论文说“相信我们这是有效的”,我们需要更多的论文来说明它们的失败。

根据我的经验,大多数度量学习深度模型都非常无用。

你怎么看?

时间安排

挑战现已开启,在截止时间2021年7月15日太平洋夏令时间23:59)之前,挑战者可以随时提交报告。

考虑到编写报告和改进结果需要时间,因此在挑战截止日期后两周内,举办方将接受最终提交。

期刊特刊作者通知的截止日期为2021年9月30日。

想报名的小伙伴要抓紧时间啦~

参考链接:
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读