KV Cache优化 – 量子位

KV Cache优化

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

一张卡，512路长推理同时跑

一水 5分钟前

KV Cache优化

加载更多

热门文章

又一国产决策模型发布！准确率超过微软和Jev等决策模型

Claude新模型曝光！能跳出思维定势，修Bug治标又治本

国模Agent第一！MiniMax爆改Flash战力，全时段大肥鱼谷价

既能“做选择题”，也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布

多智能体协同重构医疗AI！清华AIR孵化：医生AI分身“坐诊”医院