我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果
开箱即用
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
跑大语言模型的门槛,已经降低到一部iPhone了。
当然安卓版本也有,只要手机RAM够6G,听上去是不是比用2060还要震撼?
而且这次还是开箱即用的版本!
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/d07a050202d5edb4f7076e64458e6608.png)
这个项目名为MLC LLM,与之前的WebLLM同出自知名学者陈天奇团队。
截止目前已在GitHub上斩获超6800星。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/5f55c01d58c6038bb843f294d3414057.jpeg)
目前可以测试的模型有羊驼家族(基于LLaMA)的RedPajama和Vicuna。
可选模型参数分别为30亿和70亿,与很多在线Demo规模也相当了。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/763fe4707aa21879bedfc8a866e87503.jpeg)
RedPajama团队表示,这一成果打开了大模型私有化部署的可能性。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/d294d75ba41e6370423a870c87f4de38.gif)
话不多说,快来看看体验如何。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/81e2bbf15eff11443114bc2e14640110.jpeg)
文字功底尚可,但理科是短板
我们选择了其中的Vicuna模型进行测试。
首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。
韵律吗,基本上是两三句一押。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/99061707fa3cdaca9cd27c54e188761b.png)
除了诗歌,故事也能创作,甚至还能写出内心戏来。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/094b95f24772e6a39e098481938cf3cb.jpeg)
不只是爱情,其他类型的故事也难不倒它。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/5363388174945c2d0cac7435b1d30314.png)
除了文学上的应用,我们不妨再来试试它的实用功能。
我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/1038bd2c16d70e4547224fd0d79f68b3.png)
旅游计划也可以让它来安排。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/7a2d4fbb08c6953410f5d02c5b89afd7.png)
我们再来看看它在理工科上的表现怎么样。
首当其冲的是代码,我们让它尝试用Python写了一段寻找最大数的代码。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/d48be115e19ad4171673c170688f6598.jpeg)
想不到上来就是一通枚举……不过结果倒也是符合要求。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/28102613789e1f9dc631f92fa9798277.png)
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/fd59e252f1f2f1a0a258d39e2c2be241.jpeg)
不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/3cae95e9be59de046a0347f01ea75fd8.jpeg)
至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/b349f0976f73054d1ff2865dc60f5229.png)
我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/3486426b5c9fe9ea014349e1a61b1330.jpeg)
另外,移动APP目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。
虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。
比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。
![我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果](/wp-content/uploads/replace/a39717fbb99e41767de0ccfd33454455.png)
如何安装
这款大模型支持iOS、安卓移动设备,以及Windows和Mac
iOS用户可以先安装好TestFlight,然后从下面的传送门申请测试:
传送门:https://testflight.apple.com/join/57zd7oxa
如果名额已满,也可以用GitHub上的代码自行编译安装
传送门:https://github.com/mlc-ai/mlc-llm
安卓用户直接下载apk安装即可,第一次运行时需联网下载数据包。
传送门:https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用户请参阅官方教程:
传送门:https://mlc.ai/mlc-llm/
- 商汤科技日日新大模型亮相巴黎,中国AI共赴奥运之约2024-07-26
- 智谱AI版Sora来了!人人免费不限次,有手机就能玩,API也开放了2024-07-26
- Mac装上字节豆包,艾玛!一下变AI PC了!2024-07-22
- 英特尔举办2024网络与边缘计算行业大会,推动边缘AI创新发展2024-07-24