纽大副教授炮轰NeurIPS、AAAI等顶会:无聊、就不该继续存在

“主题散乱,重在参与”

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

“像IJCAI、AAAI和NeurIPS这样的大型‘选择性’顶会,就不应该继续存在……”

说这话的不是别人,正是纽约大学的计算机系副教授Julian Togelius

他在谷歌学术上显示的论文引用量达14330,H因子62,是名副其实的AI大牛。

怎么回事?

原来,他在自己的博客上发表了一篇新文章“Rethinking large conferences”,反思了大型顶会的现状。

同时,也提出了对应的解决方法。

大型顶会哪里不好?

Julian表示,因为大型顶会“很无聊”:

要不是担心学生的职业前途,我可能更愿意参加一些小型、与自身专业(Julian的研究方向是AI+游戏)相关的学术会议,如FDG、AIIDE和IEEE CoG。

为什么会这样?

原因之一,主题散乱。

AI这门学科,可以研究的内容实在太多了。

Julian表示,自己随便参加一个“AI会议”的话,只有20%的概率能搞懂它的主题,10%的概率觉得它有点意思。

更别提像AAAI这种大型顶会,什么样的研究主题都有,但大部分研究者真正关心的,可能只有自己研究的方向。

这就导致一个会议失去了它本来的意义:让更多人的研究,在专业领域内得到更好的传播(通过会议演讲等形式)。

原因之二,重在参与。

Julian对此吐槽:

现在这些大型会议的重点,是参加这些会议,而不是接收论文后的作品展示环节。

没错,就是所谓的论文接收率。

他表示,许多大型顶会都存在着“选择性会议(selective conferences)”的问题,论文接受率通常在20%左右、甚至更低。

之所以存在这种现象,是因为大型顶会需要声望来维持运转。

也就是说,在大型顶会上发表文章,成了学术界晋升、招聘等行为的重要判断依据。

然而,那些没有被接收的论文,有相当一部分也进行了完善研究、没有错误且对学术界有一定贡献。

原因之三,评审标准混乱。

微软纽约研究院的一项研究表明,在NeurIPS 2014上,论文接收的随机性甚至达到了60%

Julian个人认为,大部分大型顶会论文被评审选中的原因,是因为“熟悉感”。

如果一篇论文看起来更符合评审人期望,就更可能被选中。

这意味着这些论文可能更保守、枯燥、平庸。

也就是说,论文是否有趣并不重要。

没错,Julian认为,除非评审人与投稿者,恰好处在同一个专业领域,否则评估是非常困难的。

原因之四,无效交流过多。

Julian认为,大型会议的参会者太多了,难以形成交流的小圈子和社区。

如果是一个小型专业会议,人们更容易互相建立认知,彼此进行交谈,大型会议却难以做到。

奔向小型会议

难道,大型会议就真的没有存在的理由了吗?

Julian Togelius认为,还是有的。

不过这些大型顶会存在的理由只有一个:

让学术界了解AI各个领域的进展情况。

在这种情况下,作者们不直接向大型会议提交论文,而是提交给更小型、更专业的会议来进行评审。

在论文发表后,组织者、专业评审再选择最佳论文,提交给大型会议发表。

对此,有网友表示:

不过即使是小型会议,也应该抛弃个人演讲+讨论的形式,而是让每个人提前录好音,并在开会一周前就放到网上、提前了解内容,让大家在会议上真正自由讨论。

也有网友表示:

大型顶会存在还是有它们的理由的。组织者应该回归初心,看看他们最初设计会议的理由是什么。

当然,还有网友提出了自己的建议:

补充一点,即使是跨领域也可能组成一些会议,例如研究Semantic Web(语义网络)的人,就可以包括研究开放数据、知识表征等不同领域的专业人员。

原文地址:
http://togelius.blogspot.com/2021/05/rethinking-large-conferences.html

参考链接:
[1]https://cacm.acm.org/blogs/blog-cacm/181996-the-nips-experiment/fulltext
[2]http://togelius.blogspot.com/2013/12/against-selective-conferences.html

版权所有,未经授权不得以任何形式转载及使用,违者必究。