"注意力"最新资讯 | 量子位 - Part 2

注意力

姚期智团队开源新型注意力，节省90%内存不降性能，一个框架统一MHA/MQA/GQA

张量积注意力TPA，兼容RoPE位置编码

梦晨 2025-01-15

注意力

揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了

并非Transformer论文首创

梦晨 2024-12-04

注意力

30行代码，500万长文本推理提速8倍！「树注意力」让GPU越多省的越多

从能量视角重塑注意力

梦晨 2024-08-12

注意力

加载更多

热门文章

万卡集群要上天？中国硬核企业打造太空超算！

阶跃开源4B Agent模型，跑通所有安卓设备，手搓党一键部署

DeepSeek-V3.2系列开源，性能直接对标Gemini-3.0-Pro

Transformer作者爆料GPT-5.1内幕！OpenAI内部命名规则变乱了

能讲“悄悄话”的智能助理，瑞声科技助力夸克AI眼镜S1开创语音交互新范式