"LLM混合精度推理"最新资讯 | 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

o1已不是聊天模型了！SpaceX前工程师公开全新使用秘籍：从讨厌它到每天依赖它

最高工资322万！OpenAI开招机器人工程师

300000公里1次事故，这家公司赋能AI司机快速迭代

谷歌新架构一战成名，打破Transformer记忆瓶颈，姚班校友钟沛林新作

国内数学最强！实测讯飞版o1：上能打奥赛卷高考，下能辅导寒假作业