陈丹琦带着清华特奖学弟发布新成果:打破谷歌BERT提出的训练规律!这个庆祝方式太学神了吧

进一步挖掘NLP大模型潜力

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

新晋斯隆奖得主如何庆祝?

公开最新研究成果算不算?

就在斯隆奖宣布当天,陈丹琦团队展示了最新的研究成果。

团队发现,经典NLP模型BERT提出的预训练“15%掩蔽率”法则,是可以被打破的!

“15%掩蔽率”,指在一项预训练任务中,随机遮住15%的单词,并通过训练让AI学会预测遮住的单词。

陈丹琦团队认为,如果将掩蔽率提升到40%,性能甚至比15%的时候还要更好:

不仅如此,这篇文章还提出了一种新的方法,来更好地提升40%掩蔽率下NLP模型训练的效果。

一位抱抱脸(Hugging Face)工程师对此表示:

关于BERT有个很有意思的事情,它虽然是一项开创性的研究,然而它的那些训练方式都是错误或不必要的。

这篇论文的共同一作高天宇,也是清华特奖获得者,本科期间曾发表过四篇顶会论文。

那么,论文究竟是怎么得出这一结论的呢?

“大模型更适合高掩蔽率”

陈丹琦团队先是从掩蔽率、迭代次数和模型大小三个方向,验证了这一结论。

他们先是用了一系列不同的掩蔽率来训练NLP模型,参数如下:

结果发现,除了小部分数据集以外,模型在包括MNLI、QNLI、QQP、STS-B、SQuAD等数据集上的训练效果,40%掩蔽率都比15%都要更好

为了进一步测试迭代次数 (training step)受掩蔽率的影响效果,作者们同样记录了不同迭代次数下模型的效果。

结果显示,随着迭代次数的增加,40%掩蔽率基本都表现出了比15%更好的性能:

不仅如此,作者们还发现,更大的模型,更适合用40%掩蔽率去训练。

结果显示,大模型在40%掩蔽率的情况下,性能比中等NLP模型要更好:

这么看来,只将掩蔽率设置为15%,确实没有40%的训练效果更好,而且,更大的NLP模型还更适合用40%的掩蔽率来训练。

团队猜测,任务难一些能促使模型学到更多特征,而大模型正是有这种余裕。

为了探究其中的原理,作者们又提出了一个新的评估方法。

将掩蔽率拆分为2个指标

具体来说,就是将掩蔽率拆分为破坏率 (corruption rate)和预测率 (prediction rate)2个指标。

其中,破坏率是句子被破坏的比例,预测率是模型预测的比例。

例如,“我喜欢打篮球”语料可能被破坏成“我[MASK][MASK][MASK]”提供给模型,但模型却只需要预测第一个[MASK]是不是“喜欢”。

这样一来,就可以用破坏率来控制预训练任务的难度,用预测率来控制模型的优化效果

论文进一步针对破坏率(mcorr)和预测率(mpred)进行了研究,发现了一个新规律:

预测率高,模型效果更好;但破坏率更高,模型效果更差:

这样就能用更精准的方式来评估各种预训练任务了。

最后,作者们在这种指标下,测试了多种掩码,观察在更高掩蔽率的情况下,哪些掩码的效果更好。

结果显示,随着掩蔽率的提升,随机均匀掩码的效果(Uniform)的表现还会比Span Masking、相关区间原则性掩码(PMI-Masking)更好。

然而,在之前的很多NLP模型中,基本都直接采用了PMI-Masking或是Span Masking等更复杂的掩码来训练。

这也说明,NLP大模型的预训练效果不能一概而论,光是训练方法就值得进一步研究。

作者介绍

论文的几名作者均来自陈丹琦团队。

一作高天宇,目前是普林斯顿大学的二年级博士生,本科毕业于清华大学,曾经获得清华本科特等奖学金。

本科时,高天宇就在刘知远教授团队中搞科研了,期间一共发表了4篇顶会论文(两篇AAAI,两篇EMNLP)。

共同一作Alexander Wettig,普林斯顿大学一年级博士生,本硕毕业于剑桥大学,对NLP的泛化能力方向感兴趣。

钟泽轩(Zexuan Zhong),普林斯顿大学博士生,硕士毕业于伊利诺伊大学香槟分校,导师是谢涛;本科毕业于北京大学计算机系,曾在微软亚研院实习,导师是聂再清。

通过这一发现,不少NLP大模型说不定又能通过改进训练方法,取得更好的效果了。

论文地址:
https://gaotianyu.xyz/content/files/2022/02/should_you_mask_15-1.pdf

参考链接:
[1]https://twitter.com/gaotianyu1350/status/1493919318668713986
[2]https://www.cs.princeton.edu/~awettig/
[3]https://www.cs.princeton.edu/~zzhong/
[4]https://gaotianyu.xyz/about/

版权所有,未经授权不得以任何形式转载及使用,违者必究。