大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费
实际推理内存建议多加20%
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
大模型训练推理要用多少内存?
打开这个网页一测便知,测量误差小至0.5MB。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/dd738c66ff7ed23fbf3b119d03d7da4b.gif)
比如模型bert-base-case Int8估计占用413.18 MB内存,实际占用为413.68MB,相差0.5MB,误差仅有0.1%。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/07ff5c0fd2a125c1262566eefe13b483.png)
操作也很简单,输入模型名称,选择数据类型即可。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/7f8fc3f8a79b5677a89ccf8588d8c0a7.gif)
这就是HuggingFace Space上的最新火起来工具——Model Memory Calculator,模型内存测量器,在网页端人人可体验。
要知道,跑大模型最头疼的问题莫过于:GPU内存够吗?
现在能先预估一波、误差很小,让不少人大呼“Great”!
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/f5d0f493a5ddd133c81f7e9d23feedf9.jpeg)
实际推理内存建议多加20%
使用第一步,需要输入模型的名称。
目前支持搜索在HuggingFace Transformers库和TIMM库中的模型。
比如想要看GLM-6B的情况,可以输入“THUDM/chatglm-6b”。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/2c8596bc84ee889b6a75ec13d71c0bcf.jpeg)
不过有一些模型会存在限制,需要获取API token后才能开始计算,比如Llama-2-7b。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/409270a3cb0f43f0394726529358ec5e.png)
我们找了几个大模型实测,可以看到当模型规模达到百亿参数后,内存要求被直线拉高。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/d9ed5eca3f68c10cfc71bbbf2426d3e3.png)
基础版的BERT还是对GPU相当友好滴。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/7ef6f2e3af4ea2708270f127d0e925f6.png)
而在实际推理过程,EleutherAI发现需要在预测数据基础上,预留20%的内存。具体举例如下:
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/2e20e8c2e554822f6f40de9f40ad4231.png)
作者小哥热衷开源项目
最后来介绍一下带来这个项目的小哥Zach Mueller。
他本科毕业于西佛罗里达大学,主修软件设计与开发,热衷开源,在GitHub有1k粉丝。之前做过很多和Fast.ai框架有关的开源项目。
![大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费](/wp-content/uploads/replace/68e232591f120222336939685052fe60.jpeg)
传送门:
https://huggingface.co/spaces/hf-accelerate/model-memory-usage
- 12h订单破万,卖爆了的国产AR眼镜公司什么来头?2024-07-26
- 联想CTO换帅!芮勇转任新集团总裁,瞄准新兴技术2024-07-26
- ICML最佳论文曾被ICLR拒稿,Pika联创参与,一作已入职OpenAI2024-07-25
- 北大刘若川教授获拉马努金奖,中国学者4次获此殊荣2024-07-24