LLM混合精度推理 – 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

学习强国做了个AI社区，两周铺进68座城市

视频后期，危！MiniMax H3手绘即特效，多模态的「Coding时刻」来了

黄仁勋：不玩𝕏是我太内向，现在为AI必须站出来

刚刚，即梦 Seedance 2.5来了！我狂测测测测……

「天线宝宝」机器人上门做保洁，200元/小时，纯·人工·智能