"LLM混合精度推理"最新资讯 | 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

文娱合辑 | WAIC 2025：展现AI赋能文娱产业的中国式现代化实践

刷新复杂Agent推理记录！阿里通义开源网络智能体超越DeepSeek R1，Grok-3

DeepSeek-R1超级外挂！“人类最后的考试”首次突破30分，上海交大等开源方案碾压OpenAI、谷歌

Data Agent如何帮助企业打造懂你的“电子牛马”？｜数势xSelectDB

百亿机器人独角兽冲刺IPO，细分赛道收入第一