微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道冠军

相应技术方案已在视频号落地使用

近日,CVPR 2023 Video Similarity Challenge比赛圆满结束,微信视觉团队凭借出色的表现,成功获得该比赛双赛道冠军。

在比赛中,微信视觉团队以深厚的技术实力成功夺得了Descriptor Track 和 Matching Track两个赛道的冠军,并在Matching Track赛道提出了创新性的解决方案,比赛指标远超其他参赛者。

目前,相关技术论文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已发布于论文预印本网站arXiv。

微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道冠军
微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道冠军

Descriptor Track最终榜单和Matching Track最终榜单

微信视觉团队挑战CVPR 2023 Video Similarity Challenge,成功斩获双赛道冠军

伴随着短视频平台的兴起,短视频搬运、抄袭等问题也日益严峻,视频原创保护意识和视频拷贝检测技术逐渐引起广泛关注与重视。

为推动视频拷贝检测领域的不断进步, Meta AI在 CVPR 2023 Workshop上发起Video Similarity Challenge。

作为计算机视觉领域的全球顶会,CVPR举办了许多比赛,每次比赛都吸引了众多国内外企业、科研机构的顶尖团队参与角逐,此次也不例外。

其中,微信视觉团队也报名参加了此次比赛。

据了解,视频拷贝检测技术是用于检测一个视频是否拷贝了另外一个视频,包括完整拷贝、片段剪辑以及各种滤镜特效花边字幕等编辑对抗。

其中,Descriptor Track 和 Matching Track是视频拷贝检测工作中的两个重要的环节。

基于此,本次比赛设立了Descriptor Track 和 Matching Track两个赛道。

在比赛中,微信视觉团队表现出色,以0.8717和0.9153的成绩成功揽下双赛道冠军。

其中,在Matching Track赛道上,微信视觉团队提出了新的解决方案,得分也远超其他参赛者。

微信视觉团队推出新方案,已部署应用于视频号

据介绍,此次比赛难点在于不仅需要判断两个视频质检是否存在拷贝关系,还需要定位到两个视频拷贝片段具体位置。

这里需要高性能的视频特征,用于在巨大视频库中召回拷贝视频。

此处主要的挑战是源视频和拷贝视频通常存在大量编辑,而且拷贝时长,位置也是完全随机的。对于拷贝片段的实际匹配关系,则一直是业界的难点,特别是对于时长较短的拷贝片段非常难做到准备的定位。

因此, Video Similarity Challenge比赛将这个问题分为Descriptor Track 和 Matching Track两个赛道。

比赛中,微信视觉团队克服重重难点,成功登顶两个赛道榜单的榜首,并且在Matching Track赛道上,还研发出了一套更为精准、高效的解决方案。

在Descriptor Track 赛道中,微信视觉团队经过数据分析后明确了任务难点,并基于此提出了一个两阶段检测方法来识别拷贝视频,该方法分为Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三个模块。

在对3个模块进行深度训练学习后,最终在uAP指标上取得了0.8717的成绩,相比第2名的0.8514有明显提升。

微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道冠军

在Matching Track 赛道上,微信视觉团队提出的Matching Track 解决方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分组成。

其中,Feature Extraction 基于Descriptor Track 方案,负责视频帧级别embedding提取;Similar Segment Matching 则基于query视频和reference视频的帧级别embedding相似度矩阵为输入。

首先,基于MobileNet-V3等分类器,从大量召回中筛选正样本,剔除大量简单负样本召回,减少Matching阶段计算开销。

其次,使用HRNet-w18作为骨干网络,预测每帧的匹配关系。

最后Similar Segment Parsing阶段,经过连通分量算法和RANSAC回归算法的后处理,得到源视频和copy视频的copy片段匹配关系。

该方案在比赛评测数据上,uAP指标达到了惊人的0.9153,远超其他参赛者。

微信视觉团队斩获CVPR 2023 Video Similarity Challenge双赛道冠军

目前,微信视觉团队在CVPR 2023 Video Similarity Challenge比赛中的相关技术方案已在视频号落地使用。

作为内容记录与创作平台,微信视频号始终尊重并维护每位权利人的知识成果,通过“首发内容保护机制”、“原创声明机制”、线上+线下协同合作、电子侵权投诉系统、关联帐号打击等措施,优化用户体验,提升处理能效。

未来,微信视觉团队也将不断加强在Video Similarity(视频相似性)方面的技术积累,将先进技术落地应用至产品场景,持之以恒地打击短视频拷贝、直播录播盗播等黑灰产,竭力打造繁荣健康的原创内容生态。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关阅读