大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

但人力消耗更低

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

说起现如今训大模型的核心方法,RLHF是绕不开的话题。

RLHF,即基于人类反馈的强化学习,无论是ChatGPT还是开源的LLaMA都离不开它。

但其中的“H”却是一大瓶颈,因为收集高质量的人类反馈实在是太难了。

那能不能交给AI来做呢?的确有人就这么干了,但能否替代RLHF一直没有定论,直到Google进行了这项研究。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

在一篇新发布的arXiv论文中,Google将RLAIF训练出的模型在文本总结上的表现与RLHF做了比较。

RLAIF用AI来代替RLHF中的人类,完成生成反馈的工作,让大模型训练不再受制于人类的局限

在训练后的人类评价中,人们对RLHF和RLAIF训练后的模型生成的答案倾向性几乎没有差别

甚至在一些细节上,RLAIF的表现还要优于RLHF。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

有AI工程师转发了这篇论文并评论说,到GPT-5的时候可能就不再需要人类数据标注员了。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

在介绍详细的评测结果之前,我们不妨先来看看RLAIF的工作流程。

用LLM生成反馈数据

其实RLAIF和RLHF差不多,就是把人换成了AI,从字面上也能看出来。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

所以重点自然而然地来到了生成反馈内容上。

研究人员首先让AI在两个答案中进行选择以获得反馈。

为了避免随机性问题,会进行多次选择,其间还会对选项的顺序进行交换。

其中还用到了思维链(CoT)的推理模式,以获取更好的回答。

此外,为了提高LLM的自我一致性,这一过程并非直接二选一,而是分别给两个答案打分,相加为1。

这套流程走下来的prompt和输出大概是酱婶儿的:

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

举个例子:

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

有了这些数据,就可以拿来训练奖励模型,进而预测出偏好分数了。

接着, 利用训练好的奖励模型,研究人员让目标模型进行强化学习。

与其他模型常用的PPO(Proximal Policy Optimization)算法不同,RLAIF采用的是更为简单有效的修改版A2C(Advantage Actor Critic)算法。

当然,也可以不训练奖励模型,直接用AI生成的标注数据进行强化学习。

实际上,团队得到的标注数据集比奖励模型规模更大也更好用,但考虑这样消耗的计算成本太高,还是选择了奖励模型。

到这里大模型的“课程”就已经学完了,不过要想“毕业”的话还得再经历一场“考试”才行。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

“考试”一共包括下面的三项内容:

  • AI Labeler Alignment:AI偏好相对于人类偏好的精确程度
  • Pairwise Accuracy:训练好的奖励模型与人类偏好数据集的匹配程度
  • Win Rate:人类在RLAIF和RLHF生成结果之间的倾向性

经过这样一番测试之后,强化学习终于大功告成。

那么,“AI教出来的学生”成绩究竟怎么样呢?

测试效果可以与RLHF媲美

研究团队找来了1200名人员,在对SFT(基线监督微调)、RLHF、RLAIF以及真人给出的答案从优质到劣质进行排序。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

以SFT方式作为基线,RLHF和RLAIF的Win Rate均超过了70%,也就是说人类对这两种方式的倾向程度是SFT的将近三倍。

虽然RLHF的表现略胜于RLAIF,但两者的差距并不明显。

而若以RLHF作为参照,RLAIF的Win Rate则是50%,说明人类对两者的倾向程度是一样的。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

有趣的是,两种RL训练出的模型给的结果都远远胜过了真人直接给出的答案。

RLAIF相对于真人的Win Rate高达79%,而RLHF是80%,即倾向性是真人答案的四倍。

此外,在对输出内容进行仔细评估之后,研究人员还发现RLAIF训练出的模型出现幻觉的概率比RLHF更低,逻辑和语法错误也更少。

One More Thing

不过对于RLAIF,也有网友发现了华点:

拿来生成反馈的模型不也是用RLHF训练出来的吗?

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

而另一边,RLHF的过程当中,也不能排除有的人在用AI“偷懒”的可能。

大模型RLHF不必非得靠人,谷歌:AI反馈效果一样好

或许“你中有我,我中有你”才是两种方式测试结果这么接近的原因吗?

论文地址:
https://www.arxiv.org/abs/2309.00267

版权所有,未经授权不得以任何形式转载及使用,违者必究。