视频大模型无损提速:删除多余token,训练时间减少30%,帧率越高效果越好
推理阶段也适用
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
Don’t look twice!
把连续相同的图像块合并成一个token,就能让Transformer的视频处理速度大幅提升。
卡内基梅隆大学提出了视频大模型加速方法Run-Length Tokenization(RLT),被NeurIPS 2024选为Spotlight论文。
在精度几乎没有损失的前提下,RLT可以让模型训练和推理速度双双提升。
一般情况下,利用RLT,Transformer视频识别模型的训练时间可缩短30%,推理阶段提速率提升更是可达67%。
对于高帧率和长视频,RLT的效果更加明显,30fps视频的训练速度可提升1倍,长视频训练token减少80%。
相比于传统的剪枝方法,RLT能用更小的精度损失实现更好的加速效果。
有人想到了电视剧中的评论,认为这项研究找到了在压缩空间中进行搜索的方法。
DeepMind科学家Sander Dieleman则评价称,这项研究是一种“非主流”(Off-the-grid)的创新方法,但比起其他复杂的非主流研究,又显得非常简洁。
重复图像块合为一个token
RLT的核心原理,是利用视频中存在大量时间上重复的图像块这一特点,将重复的图像块合并为一个token表示。
这种情况下,还需要用一个位置编码来表示这个token的长度,但RLT总体上减少了输入的token数量。
要想完成重复token的修剪,首先要对视频进行分块。
具体来说,视频在空间和时间维度上会被划分成固定大小的图像块,每个图像块的大小为C×D_x×D_y×D_t,每个图像块都对应一个空间-时间位置。
(其中C是通道数,D_x和D_y是空间维度大小,D_t是时间维度大小。)
划分完成之后,需要比较时间上相邻的图像块,判断它们是否相似,也就是是否需要合并。
对于时间位置相差1的两个图像块P_1和P_2,取P_1的第一帧和P_2的最后一帧,计算它们的L1距离。
如果距离小于一个预设的阈值τ,就认为P_1和P_2是静态重复的(阈值τ表示允许多大程度的相似性,设置与具体数据集无关)。
完成判别之后,重复的图像块会被移除。
对于一串连续的、两两之间都是静态重复的图像块,RLT只保留第一个块对应的token。
这一步是在patch embedding之前完成的,因此移除token不需要改动模型结构。
经过这一步,输入的token数量从N_P降低到了N_P’(N_P’≤N_P)。
为了让合并后的token仍然能够反映完整的视频信息,接下来要给每个token加上长度编码。
对于一个保留下来的token,系统会计算它所代表的原始token的长度l_i,也就是它到下一个没有被移除的token的距离。
长度信息l_i与token的空间-时间位置(x,y,t)一起,用一个可学习的长度编码矩阵映射成一个d维的embedding向量,与patch embedding相加,作为输入token的最终表示。
最后只需要将处理后的token序列输入到视频Transformer中,进行常规的训练或推理过程。
不过需要注意的是,由于每个视频样本计算出的token数量N_P’不尽相同,样本之间可能有较大差异。
然而标准的Transformer是按批次处理固定长度的序列的。
为了能在一个批次中处理多个长度不一的视频,RLT采用了一种称为“example packing”的方法,将这一批中所有视频样本的token序列首尾相连,拼成一个超长的序列,作为Transformer的输入。
这样的话,Transformer实际上是在处理一个批次大小为1、长度为所有样本token数量之和的序列。
通过以上步骤,RLT能够去除视频中的许多冗余token,在几乎不损失精度的情况下,大幅降低内存占用和计算量,加速视频Transformer的训练和推理。
训练时长下降30%
在训练阶段,RLT对ViT-B和ViT-L两种规模的模型都有很好的加速效果。
在Kinetics-400上,ViT-BRLT和ViT-L训练时间分别从14.4小时和21.6小时,降低到10.2小时和15.4小时,降幅均接近30%左右,精度损失不超过0.1个百分点;
在SSv2上,两者的训练时间分别从10.1和15.2小时,降低到7.2和10.8小时,降幅也接近30%,精度同样仅下降0.1个百分点。
相比之下,传统的剪枝方法Token Merging在精度下降0.1-0.5个百分点的情况下,加速只有10-20%。
在推理阶段,也不需要额外的训练,就可以将RLT作为现成的tokenizer,达到很好的加速效果。
具体来说,RLT能在几乎不牺牲精度的情况下(不超过0.5个百分点),将推理阶段的计算量和延迟降低30-60%。
同样在Kinetics-400和SSv2上,对于ViT-B和ViT-L,RLT都能带来60%以上的推理加速。
对于更大的ViT-H,在Kinetics-400上,RLT也能实现45%的加速效果。
特别地,作者还针对高帧率和长时长视频数据集进行了测试,发现RLT带来的token下降幅度比在普通数据集中更高。
同时在高帧率数据集当中,RLT能够在精度损失同样低的情况下,实现更好的加速效果。
而且帧率越高效果也越明显,对于30fps的视频,加速可达100%。
论文地址:
https://arxiv.org/abs/2411.05222
代码:
https://github.com/rccchoudhury/rlt
- 新版Llama 3 70B反超405B!Meta开卷后训练,谷歌马斯克都来抢镜2024-12-07
- DeepMind大模型再登Nature:8分钟预测15日天气,准确度超顶尖物理模型2024-12-05
- AI营销的风,还是吹到了A股2024-12-05
- Qwen版o1发布即开源!32B参数比肩OpenAI o1-mini,一手实测在此2024-11-28