"LLM混合精度推理"最新资讯 | 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

2.4万亿参数原生全模态，文心5.0一手实测来了

李飞飞最新长文火爆硅谷

机器人“会用手”了！银河通用首破手掌任意朝向旋转难题

这届清华特奖机器人含量爆表！丘成桐（国内版）现身点评

稚晖君最新188机器人，阅后撤回了