推理加速 – 量子位

推理加速

3140亿参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了

明敏 2024-03-26

开源推理加速

用BigDL-LLM 即刻加速百亿级参数LLM推理 | 最“in”大模型

英特尔开源LLM加速库，可快速启动并充分利用英特尔CPU AI加速能力

十三 2023-09-01

BigDL-LLM 大语言模型推理加速英特尔

加载更多

热门文章

OpenAI又曝出内讧了！IPO前夜高层大换血

让离线强化学习从「局部描摹」变「全局布局」丨ICLR’26

Meta员工空转AI只为浪费token！烧的多挣的多，日均消耗2万亿

卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍

具身Scaling Law押对了！独角兽新品1小时学会新任务，重复1800次成功率99%