LLM混合精度推理 – 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

“开源版贾维斯”一夜席卷硅谷！Mac mini因它卖爆

李飞飞世界模型公司一年估值暴涨5倍！正洽谈新一轮5亿美元融资

瑞幸背后的芯片，藏不住了

Skills刚火，就有零Skill的Agent来了…

爆火Clawdbot被Claude公司强制要求改名