谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用
性能全面超越开源标杆Llama 2
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
谷歌大模型,开源了!
一夜之间,Gemma系列正式上线,全面对外开放。
它采用Gemini同款技术架构,主打开源和轻量级,免费可用、模型权重开源、允许商用,同时笔记本可跑。
共有2B和7B两个版本,性能全面超越开源标杆Llama 2。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/07800c873682af22bf9d71d2d5600153.png)
每种规模都有预训练和指令微调版本,可在Kaggle、Colab Notebook、Google Cloud中访问。
而且支持JAX、PyTorch和TensorFlow通过原生Keras 3.0进行推理和监督式微调(SFT),适应多种开发需求和环境。得益于对JAX的支持,它还能进行快速推理。
目前模型也同步上线Hugging Chat,可在线体验试玩。
发布几个小时里,Gemma火速成为圈内最热话题,成为议论焦点。
Keras作者François Chollet高呼:最强开源大模型,刚刚易主。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/183c36787c730f33bec8361625ad72f0.png)
大神卡帕西第一时间赶来解析技术报告。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/45ccbf77cd596ace478a2068a6b9c13b.png)
AI圈内大佬更是表示,谷歌做开源是明智之举啊。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/43aa494f5349ad3defa8819af57d1007.png)
网友们都很兴奋,已经有人开始问考虑推出更多语言版本吗?
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/80dcb3ab7d246a75f26b5ddb1c5369f9.png)
还有人提出2B的规模,是不是意味着也能支持安卓/iOS本地推理?
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/57ab1abfcf2b94d5d7c1f7663fcef37b.png)
多性能超越同规模开源模型
具体来看Gemma的技术报告。
在18个任务中,Gemma在11个任务上表现优于同规模优质开源模型。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/dadaa89704cb284dc269fc859428f73c.jpeg)
Gemma包含两种规格。
7B版本参数量约78亿,面向GPU和TPU上的高效部署和开发,2B版本参数量约25亿,用于CPU和端侧应用程序。
它基于Transformer解码器架构,关键模型参数如下。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/5e5e90136ee61df42dbf7b3407d198cd.jpeg)
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/7b190947e1bc8a8843c3c3ffc597fde5.png)
相比于基础Transformer,Gemma进行了一些升级。
7B版本使用多头注意力机制,2B版本使用多查询注意力机制。
在每一层中使用旋转位置嵌入代替绝对位置嵌入;使用GeGLU激活函数替代标准ReLU非线性。
同时对每一个子层的输入和输出都进行归一化。
Gemma 2B/7B分别使用了2T和6T token进行训练,主要来自网络文档、数学和代码,不过这些数据不是多模态的。
为了兼容,谷歌使用了Gemini的SentencePiece tokenizer子集,它可以分割数字,不删除额外的空格,并对未知token进行字节级编码。
大神卡帕西关注了Tokenizer部分,他表示,Gemma的tokenizer和Llama 2的不同,但和GPT一致。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/b4bcd289f7338fa13af0a25b75f2147c.png)
François Chollet认为Gemma最大的特点是谷歌拥有SOTA级测试集过滤机制,这意味着基准数据能相当准确地反映了模型在实际环境中的表现。
谷歌也报告了Gemma在MMLU等基准上的表现。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/30b0eefcb65b6f70cc049d3fafeaa189.png)
最后,谷歌还强调了Gemma的安全隐私性能。
实验数据显示Gemma不会存储敏感数据,但可能会记住一些潜在隐私数据。不过报告表示这个数据可能因为工具原因有所误报。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/8db531ae2ea725a9a4f9f24cbb0f428c.png)
网友已开始实测
开放以后不少网友已经上手实测Gemma。
有人反馈写代码的速度非常快。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/8f4f603f7b8ba7390c3d30bf5063920d.gif)
关于技术细节的讨论也很多。
不少人关注到Gemma做到了“以小博大”,2B版本性能超越Mistral2 7B。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/21b5721774df5864995cabb2c595df3d.png)
也有人觉得Gemma使用的数据量有点大……
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/554fc2f1c48f7a6928c9636c27aa55e6.png)
但对于谷歌开放模型的态度,大家是一律拍手称赞。
通过几十个开源项目,每个人都有机会打败巨头。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/56894c07ffadf82b0b4b4416ebf0d965.png)
现在压力再次给到“CloseAI”……
也有人猜测,按照两大巨头互掐的规律,OpenAI新大招可能就在路上了。
![谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用](/wp-content/uploads/replace/746dbff41dd4dfc8b01d249903c13abd.png)
参考链接:
[1]https://ai.google.dev/gemma
[2]https://x.com/Jason/status/1760331908762751330?s=20
[3]https://twitter.com/karpathy/status/1760350892317098371
- 12h订单破万,卖爆了的国产AR眼镜公司什么来头?2024-07-26
- 联想CTO换帅!芮勇转任新集团总裁,瞄准新兴技术2024-07-26
- ICML最佳论文曾被ICLR拒稿,Pika联创参与,一作已入职OpenAI2024-07-25
- 北大刘若川教授获拉马努金奖,中国学者4次获此殊荣2024-07-24