推理加速 – 量子位

推理加速

3140亿参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了

明敏 2024-03-26

开源推理加速

用BigDL-LLM 即刻加速百亿级参数LLM推理 | 最“in”大模型

英特尔开源LLM加速库，可快速启动并充分利用英特尔CPU AI加速能力

十三 2023-09-01

BigDL-LLM 大语言模型推理加速英特尔

加载更多

热门文章

4nm！比亚迪自研AI芯片来了：制程对齐英伟达，算力拉爆特斯拉

DeepSeek V4芯模协同背后，国产算力生态开始飞轮加速

面壁智能「开源周」：一场定义端侧 AI 终局的系统性「亮剑」

创意设计版WorkBuddy来了！腾讯发布智能体创意工作室Miora

7B打败o3、GPT-5！医学AI智能体让模型学会“看哪里、怎么看”