羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品
与预训练相比,成本忽略不计
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
开源羊驼大模型LLaMA上下文追平GPT-4,只需要一个简单改动!
Meta AI这篇刚刚提交的论文表示,LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。
与预训练相比,成本忽略不计。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/75f94c414e4b43c89f7f2ba4ffdeb8fe.png)
扩展上下文窗口,就意味着AI的“工作记忆”容量增加,具体来说可以:
- 支持更多轮对话,减少遗忘现象,如更稳定的角色扮演
- 输入更多资料完成更复杂的任务,如一次处理更长文档或多篇文档
更重要的意义在于,所有基于LLaMA的羊驼大模型家族岂不是可以低成本采用此方法,集体进化?
羊驼是目前综合能力最强的开源基础模型,已经衍生出不少完全开源可商用大模型和垂直行业模型。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/dcb0886e925d37abb5b31481f2aaf952.png)
论文通信作者田渊栋也激动地在朋友圈分享这一新进展。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/2adc18e84a66a61b531080d576e561a3.png)
基于RoPE的大模型都能用
新方法名为位置插值(Position Interpolation),对使用RoPE(旋转位置编码)的大模型都适用。
RoPE早在2021年就由追一科技团队提出,到现在已成为大模型最常见的位置编码方法之一。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/6597dd61d5913fb353d7aa793f7ee6d0.png)
但在此架构下直接使用外推法(Extrapolation)扩展上下文窗口,会完全破坏自注意力机制。
具体来说,超出预训练上下文长度之外的部分,会使模型困惑度(perplexity)飙升至和未经训练的模型相当。
新方法改成线性地缩小位置索引,扩展前后位置索引和相对距离的范围对齐。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/c564a7e0b4c655ae3b5ac4901a61ee68.png)
用图表现二者的区别更加直观。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/681b52b485b3c80abed8f1716e257056.png)
实验结果显示,新方法对从7B到65B的LLaMA大模型都有效。
在长序列语言建模(Long Sequence Language Modeling)、密钥检索(Passkey Retrieval)、长文档摘要(Long Document Summarization)中性能都没有明显下降。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/0dac8409010456ae6a60c432f6262bc9.png)
除了实验之外,论文附录中也给出了对新方法的详细证明。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/3872749854e277327065e2e8eb39f05c.png)
Three More Thing
上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。
比如OpenAI的GPT-3.5最高支持16k,GPT-4支持32k,AnthropicAI的Claude更是高达100k。
与此同时许多开源大模型如LLaMA和Falcon还停留在2k。
现在,Meta AI的新成果直接把这一差距抹平了。
扩展上下文窗口也是近期大模型研究的焦点之一,除了位置插值方法之外,还有很多尝试引起业界关注。
1、开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的方法。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/4f91c15260e90de280f2aa04d4ee0d31.png)
2、数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/8936c32f5b26a9e60d210f6aecff0197.png)
3、来自Mila、IBM等机构的团队还在一篇论文中尝试了在Transformer中完全去掉位置编码的方法。
![羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品](/wp-content/uploads/replace/e46b24f7d55b222a278571047c335f1a.png)
有需要的小伙伴可以点击下方链接查看~
Meta论文:
https://arxiv.org/abs/2306.15595
Extending Context is Hard…but not Impossible
https://kaiokendev.github.io/context
The Secret Sauce behind 100K context window in LLMs
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c
无位置编码论文
https://arxiv.org/abs/2305.19466
- Llama 3.1上线就被攻破:大骂小扎,危险配方张口就来!指令遵循能力强了更容易越狱2024-07-24
- 陶哲轩在IMO上给AI团队颁奖!他们要做AI数学的ImageNet2024-07-21
- 国内开店卷不动,换上AI出海试试2024-07-17
- OpenAI突发新模型,GPT-3.5退役,大模型成本2年骤降99%2024-07-19