推理加速 – 量子位

推理加速

3140亿参数Grok-1推理加速3.8倍，PyTorch+HuggingFace版来了

明敏 2024-03-26

开源推理加速

用BigDL-LLM 即刻加速百亿级参数LLM推理 | 最“in”大模型

英特尔开源LLM加速库，可快速启动并充分利用英特尔CPU AI加速能力

十三 2023-09-01

BigDL-LLM 大语言模型推理加速英特尔

加载更多

热门文章

智谱新模型，490 tokens/s！

DeepSeek Bot来了！民间版，DSH装个插件就能用

超清双2亿，掌中电影机，荣耀Magic9 系列正式发布，售价4499元起

特斯拉FSD，在欧洲被打回原形

何恺明团队发布多模态Harness框架