6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电
羊驼家族其他成员也能运行
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
Meta的大语言模型LLaMA 13B,现在用2060就能跑了~
羊驼家族的Alpaca和Vicuna也都能运行,显存最低只需要6G,简直是低VRAM用户的福音有木有。
GitHub上的搭建教程火了之后,网友们纷纷跑来问苹果M2是不是也能跑。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/7c4fec565e1ce6f71c096f6239dac0a7.png)
这通操作的大致原理是利用最新版CUDA,可以将Transformer中任意数量的层放在GPU上运行。
与此前llama.cpp项目完全运行在CPU相比,用GPU替代一半的CPU可以将效率提高将近2倍。
而如果纯用GPU,这一数字将变成6倍。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/dae00d9ef01fe86f6d658734b4386d51.png)
网友实测的结果中,使用CPU每秒能跑2.1个token,而用GPU能跑3.2个。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/f75222b9b288fa93ee93823bf462473a.png)
生成的内容上,开发者成功用它跑出了“尼采文学”。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/9c07513027099c19590f3abc2d9c98e4.png)
如何操作
在开始搭建之前,我们需要先申请获得LLaMA的访问权限。
传送门:https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外还需要有一个Linux环境。(Windows用户可以用WSL2)
准备工作完成之后,第一步是将llama.cpp克隆到本地。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/c275b99e8c9d18b068cea017de85f8ba.png)
如果没有安装CUDA,可以参考下面的步骤:
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/80b84bf6b007dbef61002b038a6a0cca.png)
然后是建立micromamba环境,安装Python和PyTorch等工具。
接着需要在micromamba环境下安装一些包:
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/3bfe1f3c95b496444f12438c161e066a.png)
然后运行Python脚本以执行转换过程:
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/dae6b3580e6b5c56f24f9732e300b6b3.png)
之后将其量化为4bit模式。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/58dd535af36d4c0b3798448ea9776d85.png)
接着是新建一个txt文本文档,把提示词输入进去,然后就可以运行了。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/38905d08c9aab590884ba41f24a23765.png)
这步当中-ngl后面的数字是可以修改的,它代表了转换层的数量。
当该值为18时,运行中消耗的VRAM为5.5GB,根据显存的大小最高可以调至40。
网友:AMD不配吗
这一教程出现之后,网友们的新玩具又增加了。
“苦OpenAI久矣”的网友更是感觉仿佛找到了光。
这位网友就表示自己太期待在自己的设备上运行LLM了,宁愿花5千美元购置设备也不想给OpenAI交一分钱。
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/6582b9242b80f68e5fc3f6a7b2becfce.png)
但AMD用户可能就不那么兴奋了,甚至透露出了嫉妒之情。
这套方法要用到CUDA(英伟达专用),所以AMD是不配了吗?
![6G显存玩转130亿参数大模型,仅需13行命令,RTX2060用户发来贺电](/wp-content/uploads/replace/51ba041e636ab90bfe9fa5ae9307c8e2.png)
那么,你期待用自己的设备跑大语言模型吗?
参考链接:
[1].https://gist.github.com/rain-1/8cc12b4b334052a21af8029aa9c4fafc
[2].https://twitter.com/_akhaliq/status/1657779996247588865
[3].https://news.ycombinator.com/item?id=35937505
- 几何朗兰兹猜想被解决!历时30年、证明论文达800余页,中国学者陈麟系主要作者2024-07-23
- 开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1,“新趋势已显而易见”2024-07-25
- GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费2024-07-24
- 英特尔CPU疯狂崩溃,测评大佬揭露工艺缺陷,官方回应:修复补丁下月上线2024-07-23