这个多模态视频人物数据集里，藏了赵丽颖、吴亦凡和蔡徐坤丨资源
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI
爱奇艺最近公开了一个数据集，名叫iQIYI-VID。
公开这个数据集的爱奇艺官方给它确认的类别名字叫“多模态视频人物数据集”，翻译成人话，就是有很多人，每个人用不同的“姿势”拍视频，收集起来攒成的数据集。
只不过，这些人相对比较有名，有赵丽颖、吴亦凡和蔡徐坤……
5000个明星艺人
整个数据集非常庞大，包含5000个艺人，近60万条视频，每条视频长1~30秒。
数据集中的每个视频片段都经过人工注释，错误率低于0.2%。
其中收录了一些同一个艺人都的不同造型，比如，有发型别致的吴亦凡
还有发型比较常规的吴亦凡
有穿红衣服的赵丽颖
还有穿蓝白衣服的赵丽颖
以及穿同样衣服的蔡徐坤和……抱歉，脸盲的量子位认出蔡徐坤已经是极限了。
整个数据集中，大部分明星都拥有10~50个视频，有50~100个视频或100~300个视频的也不少，但只有少量头部艺人拥有300个以上的视频。
而根据年龄来看，主力军竟然是30多岁的明星艺人，其次才是40多岁的明星，30岁以下的明星只有不到600个。原来年纪大了也可以出道啊？
最后，大部分视频都是在5秒钟以内，非常简短，节省计算资源。
有什么用
不过，把这些明星艺人的视频搜集到一起，究竟能炼什么丹呢？
主要可以做三件事：
第一，人脸识别
5000个人呢，辨认一下谁是谁。不过人脸识别实在是太普遍了。
第二，说话人识别
基于音频的说话人识别，训练机器听声音，判断是谁在说话。
目前这方面的资料不是很多，这方面最大的免费数据集是VoxCeleb和VoxCeleb2；另外美国国家标准技术研究院（NIST）曾经做过一些工作，但是那些数据集不是免费的。
第三，基于身体特征的人员重新识别
根据身体特征，判断不同镜头中的人是否为同一个人，目前主要还是用单帧的方法，从视频中抽取单帧图像，通过图像切割、骨架点定位、姿态校准进行比较。
综艺节目再利用
至于这些视频是哪儿来的嘛，自然是要感谢爱奇艺作为视频网站的老本行。
这些视频片段是从40万小时的电影、电视剧、综艺、新闻视频中剪出来的，内容源自爱奇艺网站上TOP 50万的热门视频。
将这些热门视频按照分镜头剪开后，不到一秒的视频因为信息不足被丢掉，超过30秒的视频考虑到计算负载过大也被删掉了。
之后，去掉噪声，根据每个人的衣服或人脸特征来归类，匹配到爱奇艺的名人数据库，从而生成针对每个不同人物的视频数据集。
传送门
论文
https://arxiv.org/abs/1811.07548
数据集地址（需要登录下载）
http://challenge.ai.iqiyi.com/detail?raceId=5afc36639689443e8f815f9e
- MEET2020 | 百度景鲲：AI交互正在吃掉旧产品边界，触达移动互联网盲区用户2019-12-10
- MEET2020 | 王砚峰揭秘搜狗AI技术体系：自然交互在左，知识计算在右，核心是语言2019-12-16
- MEET2020 | 旷视唐文斌：你到底给谁创造了什么样的价值？这是AI产品的灵魂拷问2019-12-17
- MEET2020 | 快手刘霁：AI基础能力决定每个公司AI的迭代和落地效率2019-12-20
相关阅读
