社交媒体和arXiv存在,让双盲评审形同虚设 | Reddit热议
双盲评审机制真的双盲吗?
白交 发自 凹非寺
量子位 报道 | 公众号 QbitAI
双盲评审机制真的双盲吗?
最近,Reddit上有这样一个讨论:社交媒体与arXiv是否损坏了顶会双盲的机制?
13个小时,热度超过300…
起因是一位研究人员分享了他的经历:
NeurIPS 2020会议提交截止之后,他在Twitter上看到有人分享他们的arXiv研究成果,并得到了很好的反馈。
关键是,这些人一般都是Twitter上的大V,大多都来自谷歌、Facebook等著名机构的研究人员。
一旦发出,就会一呼百应,受到大家的点赞和转发。
比如,就像这位Facebook AI研究员。
甚至还有一些机构直接下场发推——DeepMind的新研究,自监督模型BYOL刷新ImageNet记录。
而此时,这些大会的评审工作还没有完全结束。这样做不仅会给双盲评审人员巨大压力,还损坏了顶会双盲评审机制。
还没有通过同行评审就放arXiv和社交媒体上,那双盲岂不是在搞笑?
影响力or接收,哪个更重要?
先不论双盲机制是否真的双盲。
对于一个研究团队而言,每年顶会放榜,论文会被录用?录用几篇?都是他们关注的问题。
毕竟这意味着你们这个团队在领域有多大的影响力,还有利于之后的研究进行。
就像这位来自小型研究室的成员说的那样,几年前在ML和CV领域的认可度几乎为0,而被这些大会接收以后,原本毫不起眼的实验室也就有了一定的影响力。
这样来看,影响力与论文接收其实并不冲突。
但是对于一些团队而言,却有一个谁在前在后的问题,尤其是对于那些已经在领域内有一定影响力的人。
被更多人认可、讨论、运用似乎就比被一个会议接收来的更重要。
就像这位网友提到的那样:
现实情况是,社交媒体上宣传对一篇论文的成功,远比是否被会议接收更重要。
等到会议真正放榜的时候,大部分的论文已经过时不受关注了。它只是为了让你的简历更加好看。
但是对于一般的团队而言,是否要提前发布在arXiv,甚至发表在社交媒体上呢?
有的人作为一个旁观者的角度,认为自己从arXiv了解到很多棒的idea,当一篇论文还在审核的时候,就已经读过了,而最终是否会被会议录用,与我们毫无关系。
这样来看,arXiv确实能够提供了更为广泛的交流机会。
但是林子大了,什么样的论文也就有了,arXiv论文鱼龙混杂也不是一天两天的事情了。
那么对于一些没那么大影响力的团队而言,担心自己的idea被人窃取,也估计收不到那么多的关注,也就不会提前在arXiv上发表,更别说在Twitter上发表了。
同行评审也一直饱受争议
而落回会议的同行评审制,其实也一直饱受争议。最关键的原因,就在于它的不透明性。
如何审?有多少人审?这些审稿人的身份是什么?
仅仅因为少数人甚至可能只有3-4人的评审观点,就能判断这个论文的好坏?
GAN的发明人,现为苹果AI负责人Ian Goodfellow 就曾炮轰同行评审机制,认为是这一制度导致了如今AI会议论文下降。其中,「评审人质量参差不齐」是主要原因,浮夸的论文被选中,真正的好论文反而被埋没。
那么如何解决这个问题呢?
既然如此,arXiv和社交媒体会一直存在,审稿也会继续,那么该如何解决这个问题呢?
此前,就曾有过一个会议解决这个问题,KDD 、ACL就曾要求,在论文结果出炉之前不允许发表在arXiv上。
在这里,有一些网友提供了自己的建议:
- arXiv可以为正在审阅的论文添加匿名模式,发布的同时不会透露其身份。
- 修改会议规则,取消可以通过合理方式(比如,互联网搜索)识别作者的论文的资格。
而如果在审稿途中,已经知晓了论文作者是谁,该如何做呢?
有这样一个建议:
启动一个关于论文的Reddit线程,或者问问朋友们对论文的arxiv版本有什么看法。
如果你已经在Twitter上知道了论文作者,那么为何不更进一步,利用Twitter寻找论文的缺陷—这反而还会抵消知道作者很有名的偏见。
你觉得呢?有什么更好的建议吗?欢迎与我们分享~
参考链接:
https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/
- ChatGPT新玩法火了: 一句话画出你的真实生活,大神Karpathy玩上了2024-11-11
- 多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案2024-11-11
- 大模型重构生命科学!最大基础模型面世,解锁DNA超长序列,参数规模达2100亿2024-11-06
- 蚂蚁集团前端技术团队分享:AI 浪潮下,前端开发将迎来怎样的机遇与变革?2024-11-08