最好7B模型再易主!打败700亿LLaMA2,苹果电脑就能跑,还开源免费
舍弃强化学习
西风 发自 凹非寺
量子位 | 公众号 QbitAI
花500刀“调教”的70亿参数模型,打败700亿参数的Llama 2!
且笔记本就能轻松跑,效果媲美ChatGPT。
重点:免费、不要钱。
HuggingFace H4团队打造的开源模型Zephyr-7B,鲨疯了。
其底层模型是前段时间爆火、由有着“欧洲OpenAI”之称的Mistral AI打造的开源大模型Mistral-7B。
要知道,Mistral-7B发布不到2周,各种微调版本相继现世,大有Llama刚发布时迅速出现各种“羊驼”之风。
而Zephyr能够在各变种中脱颖而出,关键是团队在Mistral的基础上,使用直接偏好优化(DPO)在公开数据集上微调了模型。
团队还发现,删除数据集的内置对齐,可以进一步提高MT Bench性能。Zephyr-7B-alpha MT-Bench平均得分7.09 ,超越Llama2-70B-Chat。
关键是,最近Zephyr又升级了!
H4团队推出二代Zephyr-7B-beta。他们补充道,探索了从GPT-4、Claude 2中提取对齐性,然后将其注入小模型中的想法,开发出了将蒸馏直接偏好优化(dDPO)用于小模型的方法。
二代Zephyr,MT-Bench平均得分升高至7.34。
在AlpacaEval上,Zephyr胜率为90.6%,优于ChatGPT(3.5):
赶来的网友们对Zephyr给予了一致好评,lmsys团队还亮出了Zephyr-7b-beta的Elo评分,目前已飙升得很高:
内部的Arena排行榜上已超过13B模型。
甚至有人表示:
在实际应用中看到DPO方法表现很好,可能是今年大语言模型发展中最令人兴奋的事情。
更多网友纷纷下手测试Zephyr效果,结果都出奇的好。
Mistral这个单词在法语里代表一种干燥、寒冷且强劲的风,而Zephyr意思则是温和、宜人的西风。
那边是动物园,这边是气象局无疑了。(手动狗头)
最好的7B模型再易主
先来说运行Zephyr对电脑配置的要求。网友实测后表示“泰裤辣”!,笔记本(Apple M1 Pro)就够用,“结果非常好”。
效果方面,Llama Index(此前名为GPT Index)联创兼CEO Jerry Liu也进行了测试。
结果发现,Zephyr是目前唯一一个在高级RAG/agentic任务上表现良好的开源7B模型。
数据也显示,Zephyr高级RAG任务效果可以和GPT-3.5、Claude 2相抗衡。
他还继续补充道,Zephyr不仅在RAG上效果突出,而且在路由、查询规划、检索复杂SQL语句、结构化数据提取方面也表现良好。
而根据官方测试结果,在MT-Bench上,Zephyr-7B-beta与Llama2-Chat-70B等较大的模型相比具有强大的性能。
但在编码和数学等更复杂的任务上,Zephyr-7B-beta落后于专有模型,需要更多的研究来缩小差距。
舍弃强化学习
大家都在纷纷测试Zephyr的效果,开发人员却表示,最有趣的不是各项指标,而是模型的训练方式。
亮点总结如下:
- 微调最好的小型开源预训练模型:Mistral 7B
- 大规模偏好数据集的用法:UltraFeedback
- 不用强化学习,使用直接偏好优化(DPO)
- 意料之外的是,偏好数据集的过拟合会产生更好的效果
展开来说,正如开头所提到的,Zephyr的效果之所以能够超越70B的Llama 2,主要是因为使用了特殊的微调方法。
与传统的PPO强化学习方法不同,研究团队使用了斯坦福大学和CZ Biohub不久前合作提出DPO方法。
研究人员表示:
DPO要比PPO稳定得多。
DPO简单来讲可以这样解释:
要想使模型的输出更加符合人类偏好,一直以来传统方法是用一个奖励模型来微调目标模型。输出得好给奖励,输出不好不给奖励。
而DPO的方法绕过了建模奖励函数,相当于直接在偏好数据上优化模型。
总的来说,DPO解决了人类反馈的强化学习训练难、训练成本高的问题。
具体到Zephyr的训练上,研究团队最初是在UltraChat数据集精简后的变种上对Zephyr-7B-alpha进行了微调,这个数据集包含了ChatGPT生成的160万个对话(精简后剩下约20万个)。
(之所以要精简过滤,是因为团队发现Zephyr有时大小写写不对,比如“Hi. how are you?”;有时会以“I don’t have personal X”为开头进行回应。)
之后,他们又通过TRL的DPO Trainer方法,用公开的openbmb/UltraFeedback数据集进一步对齐了该模型。
数据集中包含了64000个来自各种模型的提示-响应对。每个响应都由GPT-4根据有用性等标准进行排名,并赋予一个得分,从中推出AI偏好。
一个有趣的发现是,在用DPO的方法时,随着训练时间增加,过拟合后,效果居然更好了。研究人员认为这类似于SFT中的过拟合。
值得一提的是,研究团队介绍,用这种方法微调模型,成本只需500美元,也就是在16个A100上跑8小时。
在升级Zephyr为beta版本时,团队又继续解释了他们的方法。
他们思考了大模型所用的蒸馏监督微调(dSFT),但用这种方法模型是不对齐的,不能很好地生成符合用户意图的输出。
所以团队尝试使用来自AI反馈(AI Feedback,AIF)的偏好数据,用一个“教师模型”对输出进行排名,形成一个数据集,然后应用蒸馏直接偏好优化(dDPO)来训练一个与用户意图对齐的模型,且在微调期间不需要任何额外的抽样。
研究人员还测试了不用SFT的效果,结果性能大大降低,说明dSFT步骤至关重要。
目前模型除了已开源可商用,还有Demo可试玩,我们这就上手简单体验了一把。
Demo试玩体验
首先就不得不搬出“弱智吧”问题来考一考了。
在“爸妈结婚不带我”这个问题上,Zephyr总体回答较为准确。
ChatGPT在这道题目上,属实打不过。
在测试中我们还发现Zephyr对OpenAI发布GPT-4等近期的事也知道:
这其实与其底层模型有关,Mistral官方虽然没有具体说明训练数据截止日期。
但之前就有网友测试过,今年三月份的事它也知道。
相比之下Llama 2的预训练数据截止到2022年9月,只有部分微调数据最多到2023年6月。
此外,Zephyr的响应速度也非常快,写代码、编故事都不在话下。:
值得一提的是,Zephyr更擅长用英文回答问题,也会出现“幻觉”这一模型通病。
研究人员也有提到幻觉问题,输入框的下方也标有一行小字,指明该模型生成的内容可能不准确或错误。
关键是因为Zephyr没有用到人类反馈强化学习这样的方法与人类偏好对齐,也没有采用ChatGPT的回应过滤方式。
emmm鱼和熊掌总要选一个。
Zephyr只有70B参数就能做到这样的效果,让《100页的机器学习书》作者Andriy Burkov也很吃惊,甚至表示:
Zephyr-7B战胜Llama 2-70B,用的基础模型是上下文窗口为8k token的Mistral-7B,理论上它的注意力范围可高达128K tokens。
如果Zephyr是一个70B模型会怎样呢?它会胜过GPT-4吗?看起来很可能。
如果你对Zephyr-7B感兴趣,可在huggingface试玩。
https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat
论文链接:https://arxiv.org/abs/2310.16944
参考链接:
[1]https://x.com/lmsysorg/status/1717822914349945187?s=20
[2]https://x.com/srush_nlp/status/1717719545702437084?s=20
[3]https://x.com/_philschmid/status/1717804197813551401?s=20
[4]https://x.com/NiranjanAkella/status/1713083277937152492?s=20
[5]https://x.com/_lewtun/status/1717816585786626550?s=20
- 智源举办2024具身与世界模型专题峰会,产学研共促技术创新与产业应用2024-11-08
- AI蛋白质诺奖后再登Nature,第一性原理级精度,微软亚研院4年之作2024-11-08
- 腾讯3D大模型全面开源,文本图像10秒转3D资产,模型权重、推理代码全开放2024-11-05
- 鹅厂版AI笔记悄悄上线,微信公众号优质内容秒变专属知识库,实测在此2024-10-29