LLM混合精度推理 – 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

DeepSeek服务器全球宕机！神秘Harness账号同时现身

突发！DeepSeek新模型发布，超级性价比斩杀一切

iPhone断网跑35B多模态！国产开源新模型，只占3G内存

智谱新模型，懂法方面全球第一了

清华开源！智能体操作系统任务成本降83%，AI记忆可查可改