注意力 – 量子位

注意力

姚期智团队开源新型注意力，节省90%内存不降性能，一个框架统一MHA/MQA/GQA

张量积注意力TPA，兼容RoPE位置编码

梦晨 2025-01-15

注意力

揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了

并非Transformer论文首创

梦晨 2024-12-04

注意力

30行代码，500万长文本推理提速8倍！「树注意力」让GPU越多省的越多

从能量视角重塑注意力

梦晨 2024-08-12

注意力

加载更多

热门文章

爱诗科技完成3亿美元C轮融资，鼎晖领投，开启“实时交互”视频生成新纪元

国内唯一入选的 AI 浏览器！QQ浏览器登上 a16z 全球 AI 应用榜单

499上门装龙虾的人，开始赚299卸载龙虾的钱了

阿里云发布手机“一键养虾”产品JVS Claw：3分钟实现养虾自由

全球首款手机龙虾秒光，OpenClaw创始人称愿与百度共同开发龙虾