LLM混合精度推理 – 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

Cursor 9秒删库搞崩公司，然后…写了份检讨

腾讯开源手机端离线翻译模型，仅0.4G，支持33种语言

火速吃瓜：Kimi K2.6设计能力超越Claude Design

不卷参数卷架构，这个开源模型把图像理解和生成统一了

全球瞩目！斑陌易行闪耀硅谷，T6 无人车开启商用新纪元