MixQ – 量子位

MixQ

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

钉钉CLI开源！首批开放10项核心产品能力，原生支持ClaudeCode等

GLM-5.1上线，编程表现贴Opus 4.6开大，Coding plan瞬间断货

高通公司展望个人AI发展：多终端体验将以AI和用户为中心

趋境ATaaS平台发布，打造日均万亿产能的“Token工厂”

杨植麟当主持人的大模型圆桌：张鹏罗福莉夏立雪都放开说了