ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

这个机器学习论文大众评审网站,要让每篇arXiv论文都得到讨论

研究机器学习的人类们,通常喜欢把研究成果发上ArXiv。

不过,ArXiv上面没有讨论板,公开讨论场所多集中在Reddit和推特上。而社交平台又无法提供纯粹的学术环境,讨论过程中很容易歪楼。

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

现在,纽约大学的小伙伴们,建起了一个公开的ArXiv论文同行评审网站,叫GroundAI

他们希望,给机器学习领域的研究,带来一些更有价值的学术探讨。从事AI研究的人类,可以分享对某篇论文的看法和建议,促进研究;

还希望,GroundAI未来能够为各种会议的论文评审提供一些依据。

标语是:每一篇ArXiv论文,都需要被讨论

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

这个平台什么样?

GroundAI平台会比较及时地更新ArXiv论文,以列表形式呈现,可以直接按时间顺序观察。当然,也可以选择具体的研究领域来浏览,比如视觉、语言、机器人……

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

点进一篇论文,就可以发表自己的意见,探讨论文的研究方法、实验和数据等等。

遇到有意义的讨论,还可以追踪一波,关注后续进展。

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

现在的人类,讨论研究成果的场所,通常是Reddit和推特这样的社交平台。

不过,纽约大学数据科学中心 (CDS) 的小伙伴们觉得,这些现有的社区都不是很纯粹,讨论容易歪楼。

比如,说着说着重点就转移到“美女科学家”之类的奇怪话题上面。

团队认为,机器学习的研究人员需要一个更专注的环境,支持各种学术观点的表达。目的是促进学术讨论

除了让更多的人,深入了解某项研究的细节之外,团队也希望志同道合 (比如研究方向相似) 的人类,可以在讨论中互相提供灵感,推动研究的进展。

当然,这里也不是只能讨论AI研究,像统计、医疗健康、物理等等研究领域,只要是能和AI发展产生关联的研究,都是欢迎的。

GroundAI的利弊在哪里?

不过,人们选择在Reddit、推特这样的社交网络上讨论研究成果,自然也有他们的道理:

在用户众多的成熟平台上,更加容易吸引其他人来发表看法,或者答疑解惑。

如果改用GroundAI,存在感可能就没有那么强,说了话也不一定有人听得到。

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

△清冷的世界,有乌鸦飞过

毕竟,这是一个很年幼的讨论平台,不会在短时间内就变得很热闹,还需要时间成长。

不过,GroundAI团队说,牺牲一些存在感,或许可以换来高质量的学术讨论。原因有二:

一是,这个平台只面向学术圈,并且实行严格的内容政策:规定怎样才算是有价值的贡献 (Valuable Contributions) 。

二是,讨论内容与预印本一同存储,并且所有人都可以访问,保障了透明度。至于透明度是针对哪个层面讲的,请往下看。

能改善同行评审的现状?

目前,机器学习领域的许多会议,都使用同行评审。但高质量的同行评审比较稀缺,会议论文的评审也时常引起争议。

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

上周,人工智能顶会AAAI 2019放榜,国内某知名高校的博导论文被拒,实名投诉至组委会,质疑同行评审不专业。

Ian GoodFellow也曾经嘲讽同行评审机制不靠谱:

对于难以区分客观阐述和猜想、难以判断论文效果好的原因、数学语言混淆等等现状,同行评审会让这些缺陷变本加厉。

而如果GroundAI里面的互动,可以成为学术记录的一部分,这样就可能为论文评审提供一些依据。

ArXiv同行评审网站建起来了,能让同行评审更靠谱么?

上文所说的“透明度”,针对的就是这一潜在功能。

听上去路还很长,不知道能不能走通。

不过,想让同行评审更科学,这样的愿望倒是近在眼前。

GroundAI传送门:

https://www.groundai.com/project/temporal-regularization-in-markov-decision-process/

版权所有,未经授权不得以任何形式转载及使用,违者必究。