EMNLP官方:不要因为没超越SOTA就拒人家的稿子

郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI

你的论文可能更容易发顶会了。

EMNLP官方,今天给出了一些审稿建议,反对审稿人一刀切拒绝论文,没超过SOTA、方法太简单、主题太新或太老……都不是拒稿的理由。

官方还专门强调,如果论文不是英文的NLP也不能作为拒稿理由,或许研究中文NLP有了更多发布的机会。

EMNLP拒稿八不准

EMNLP官方给出了8条不能作为拒稿理由的情况:

1.语言风格问题。

审稿人应该把重点放在论文内容上,而不是语言风格上。有时候论文作者的语言表达太差让审稿人没法理解,这种时候可以拒绝,但是要努力理解这篇论文之后才可以拒稿。

2.论文不是英文NLP

EMNLP关心任何语言的NLP,即使不是英文也不应当以此为理由拒稿。

3、没超过SOTA

不能单纯以SOTA论英雄,因为SOTA也会受到外部版本更迭的影响,很多时候SOTA要求的高算力会劝退搞不到海量计算资源的研究者,此外,目前的benchmark也不一定十全十美。

而且,除了SOTA之外,模型大小、训练需要的数据量、预训练时间等都是有效的改进。

4.没有使用特定方法

不能因为一篇论文中没有使用深度学习的方法就拒稿,完成一项好的工作不需要特定的某种方法,相比方法,论文本身的贡献更重要。

5.方法太简单

论文的重点在于贡献和发现,大家写论文也不是为了追求设计一个最复杂的方法。很多时候,方法越简单的论文,被引用的次数越多。如果一个简单的方法做到了比之前复杂方法更好的效果,这种时候一般是一个重要的发现。

6.主题太窄或过时

EMNLP不希望成为一个追热点的社区,希望审稿人思想开放,多想想论文的贡献和影响。

7.主题太新,没法跟别的论文比

如果一篇论文的主题是全新的,没有现成的技术做参考比对,或者该主题已经在其他领域完成了,那不应该以此为理由拒稿。

8.是个资源帖

在NLP、监督学习领域,数据集和模型一样重要。

那要怎么审稿

那么,有这么多条条框框,审稿人究竟要如何审稿呢?

EMNLP官方引述了马里兰大学Philip Resnik教授的观点:

我认为,鼓励评审人员明确地思考贡献的性质,以及需要提出什么问题,这将具有重大价值。首先考虑:

这项研究有没有科学贡献? 如果有的话,作者在努力提高我们对这个世界什么现象的理解?关于这个现象,我们现在知道了什么以前不知道的事?>这项研究有没有工程学贡献?如果有的话,这项研究解决的是现实世界的什么问题?或者如果这项研究针对的不是目前现实世界的问题,它能帮助现实世界中的哪些问题得到解决?

这项研究有没有理论贡献?如果有的话,我们知道了什么以前不知道的事?这项理论进步如何与科学或工程目标联系起来?

计算机语言学可能包括科学、工程或理论的贡献,不仅仅是其中之一。不过我建议,如果一份论文你没有对上述任何方面做出贡献,你就要考虑它是否应当被发在这个会议上。

另外,EMNLP官方还建议,评审论文、写评论的时候需要注意:

1.论文的主张是什么,如何支撑这一主张,检查一下效果的提升是否真的和这一主张有关系。

2.评论写得具体一点,写具体一点可以帮助作者更好的改进。比如你觉得作者忽略了引用某关键论文,那就直接在评论中把这些论文给出来,因为你可能对这些论文如数家珍,作者就不一定了。

3.提出的建议要有建设性,不要光说某方面做的不好,最好给出可以怎么做的建议。

4.组织语言的时候友善一点,即使是批评也保持体面不要说脏话。

议论纷纷

看到EMNLP官方的这一则博客,有些人觉得非常支持:

真棒!这种规则应该在更多领域适用。

希望看到简单有效的解决方案,另外请不要总觉得所有论文都应该是超越SOTA的,毕竟搞研究不是打架非得赢不可,而是解决挑战。

也有人觉得,官方这个语调哪里不对?

不是审稿人审稿、然后领域主席决定接受或拒稿的吗?这写得就好像是审稿人在做出接受/拒稿决定一样。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读