"LLM混合精度推理"最新资讯 | 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

洋葱学园发布「自学破壁计划1.0」：多智能体架构落地推进AI自主学习

原来世界杯比赛还能这么看？AI让球场座位变“超级看台”

算力进入智能协同时代：商汤科技林海分享AI基础设施绿色转型思路

硅谷祛眼袋，海淀求嫩肤：中外科技老哥都在偷偷卷颜值

陶哲轩力推AlphaEvolve：解决67个不同数学问题，多个难题中超越人类最优解