让AI学会“哦买尬，买它！”，清北中科院CMU争相角逐顶会Workshop竞赛，淘系技术&浙大联手举办
淘系技术还开源大型数据集
萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
看场直播或视频，结果却看中了主播的衣服、裤子甚至裙子？
现在，你不再需要手动截图识别了——
已经有人将AI用在直播商品识别技术中，帮你自动“挑出”其中的商品。
为了提升AI识别直播商品的准确率，阿里淘系技术联手浙江大学，在全球顶会ACM MM 2021的Workshop上搞了个AI识别大赛，甚至拿出1万美金（6.3万人民币）奖励TOP 3。
来自清华、北大、中科院、CMU、浙大、哈工大、华科等高校的587支队伍纷纷参赛，力图研究出更好的算法。
最终，来自中科院计算所的「mcg」夺得冠军，来自北大、南京大学、湖南大学的「写的代码都队」夺得亚军，来自中南大学、DGUT和华南理工大学的「百亿补贴matchmatchmatch」获得第三名。
这场比赛究竟比了些什么，背后的Workshop又有些什么内容？
我们一起来看看。
多模态技术识别主播带货
相比于用一张截图进行商品识别，直播的商品识别还需要考虑更多因素。
从难度来看，直播时主播并非完全不动，而是会走动、转动来展示商品的形态，衣服非常容易发生形变、模糊；
同时，画面背景中还存在其它衣服的干扰、同时还可能面临直播遮挡、服装相似等问题。
从优势来看，直播时呈现给AI的信息量也会更多，包括主播的语音、带货商品标题等，都会在画面直播的同时呈现出来。
如果能结合语音识别，通过多模态技术增加模型输入信息量，就能有效提升商品检索的准确率。
具体来说，直播商品识别的过程是这样的：
首先，对输入的视频解析成视频帧，再利用AI目标检测进行商品识别；
然后，再从视频中提取出语音进行AI语音识别，利用AI模型提取出有用的商品描述信息。
最后，利用多模态获取的信息，在商品数据集中进行检索，预测出最合适的商品，并给出对应的标签。
为了让选手们更好地识别商品，淘系技术还通过这个Workshop，开源了业界首个大规模的多模态视频商品检索数据集，包括50000对匹配的视频片段。
其中，这些视频片段都是从淘宝直播和产品商店的直播中提取的。
标注也非常详细，包括产品类别、边界框、视点类型、展示类型、实例ID、标题描述和语音识别文本都有所涉及。
事实上，这已经不是淘系技术第一次举办这项比赛了。
中科院再次夺冠
这场今年4月27日发起的比赛，是第二届淘宝直播商品大赛。
这是一个多模态领域的国际挑战赛，由阿里巴巴淘系技术联合浙江大学教授庄越挺、悉尼科技大学教授杨易、天津大学教授韩亚洪等国内外知名学者发起。
相比于第一届大赛，第二届大赛在赛题设计上，主要做了两点改进：
- 注重全类别的识别效果，尤其是长尾的商品类别、视觉纹理简单商品的识别等
- 强调多模态等信息(主播讲解语音、商品标题)，对精确识别视觉相似讲解商品的重要性
也就是说，这届AI模型考验的不止是某几种商品的识别准确率，而是AI对直播中商品的“整体理解能力”。
除了看清楚商品以外，AI还需要知道这是哪种类别的商品，并尽可能收集视频中的各种信息，包括语音信息等，来确认自己看到的是哪一种商品。
同时，由于这次更注重长尾商品类别的识别，因为各类别数据集的大小不一样，评估方式自然也要有所变化。
这里采用了Macro F1的评估标准，计算方法如下：
比赛也需要通过预赛、半决赛和决赛三场比赛，从最初的提交结果中依次筛选出20支和10支队伍，进行最终的测试集测试，并进行复现。
最终，来自中科院计算所的「mcg」从587支队伍中脱颖而出，取得了0.69的高分，超过baseline 0.22，排名TOP 3的三支队伍评估分数也均超过0.6。
而在第一届淘宝直播商品识别大赛中，同样也是来自中科院和吉林大学的队伍夺得冠军。
这场比赛的目的，是希望能推动电商直播场景中多模态商品检索识别的研究、以及AI技术在实际应用场景中的落地。
当然，除了这一场比赛之外，在ACM MM 2021的Workshop中，还有不少收获。
共收录5篇论文
一方面，在论文征集部分，这次Workshop一共接收了5篇论文，包括两篇long paper，三篇short paper：
此外，还有不少AI领域的教授也在这次Workshop上做了演讲，其中就包括新加坡国立大学计算机学院的KITHCT讲座教授Tat-Seng Chua、北京航空航天大学的刘偲副教授、悉尼科技大学青年研究员朱霖潮、淘系技术高级算法专家陈志文。
除此之外，来自中科院、北大、中南大学、清华、华中科技大学的五位同学也在这场Workshop上进行了口头报告，分享了他们的参赛方案和成果。
对于这次Workshop的目的，阿里巴巴淘系技术资深算法专家李晓波表示：
这次Workshop通过提供真实的多模态商品识别的应用场景、数据，希望能够促进更多学术和工业的结合，激发更多创新研究和技术落地。
对这个场景感兴趣的小伙伴，可以在下方地址中获取开源数据集~
淘宝直播多媒体商品识别数据集：
https://tianchi.aliyun.com/competition/entrance/531893/information
参考链接：
https://tianchi.aliyun.com/competition/entrance/531893/introduction
- 首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为2023-12-13
- IDC霍锦洁：AI PC将颠覆性变革PC产业2023-12-08
- AI视觉字谜爆火！梦露转180°秒变爱因斯坦，英伟达高级AI科学家：近期最酷的扩散模型2023-12-03
- 苹果大模型最大动作：开源M芯专用ML框架，能跑70亿大模型2023-12-07
相关阅读
