电商的「穿衣AI」用得好,剁手根本停不了 | CVPR 2020
金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
网购看中了一件衣服和一条裤子,不知搭配起来效果如何,怎么办?
试试这款「穿衣AI」。
假如你在网上看中下面这几件衣服,先把它们「收藏」起来。
然后挑一个模特。
接下来,合成一下,就可以看到这些衣服搭配起来的效果啦~
这就是来自亚马逊的一项「穿衣AI」新技术——Outfit-VITON,并且论文中了CVPR 2020。
在线衣服穿搭如何实现?
Outfit-VITON主要包括以下几个部分:
- 形状生成模型:输入是一个查询图像,并以此作为最终输出图像的模板;
- 外观生成模型:将选好的衣服,添加到查询图像中的人物身上;
- 外观优化模型:将上述步骤得到的结果进行细化,输出最终效果。
工作流程如下图所示。
正如上面所提到的,系统的输入是一个 H×W 的 RGB 查询图像x0,还包括一组由服饰组成的额外参考 RGB 图像(x1,x2,…,xM)。
这里需要注意的是,这些想要搭配的服饰图像,可以是像流程图中那样的人物完整图像,也可以是展示单件服饰的局部图像。
然后,便是图像分割任务,为此,研究人员训练了一个PSP语义分割网络,记做S,其大小为H×W×Dc。
用这个语义分割网络S,计算查询图像(模特)和参考图像(服饰)的分割映射。
分割后的输出,就转交给一个「形状生成网络」来处理,这样就可以先得到一个大致的轮廓。
接下来,便提取服饰中的外观特征向量,并将其“贴”到对应的轮廓区域,也就是流程图中的「外观生成」步骤。
值得注意的是,形状和外观生成网络是分别进行训练的,使用同一训练集的单一输入图像;并且,在每个训练方案中,生成器、判别器和自动编码器是共同训练的。
最后,研究人员还提出了一个「在线优化」模型,将原来的服饰样式,更加完整、细致的“贴”到新模特身上。
亚马逊为网购顾客“操碎了心”
除了这项研究之外,亚马逊还有2篇CPVR论文,也针对网购顾客。
在其中一篇论文中,研究人员开发了一个系统,可以让用户通过描述产品图像的变化,来增强产品查询。
例如,你在网购的时候,看上了一条黑色连衣裙的款式,但是对它的颜色并不满意。
那么,你就可以说一句“我想要相同款式的粉色连衣裙”,那么查询后的结果就会输出相应的产品。
而另一项研究针对“商品补充”,也就是说,给用户做商品推荐。
例如,用户在网购过程中,查询了包包、眼镜、连衣裙和外套,那么这个系统就会找出完整一套服饰中,这个用户还未查询的商品,例如,鞋子。
而且补充推荐的商品,还会根据之前查询商品的样式、颜色等来做推荐。
看起来就像是个AI搭配师。
亚马逊在“卖商品”这条路上,为了提高用户体验,可谓是“操碎了心”。
不过这也满足了一部分宅男宅女们,足不出户体验产品的需求。
那么,亚马逊的这些AI技术,会让你更爱网购吗?
- 史无前例!Seq2Seq和GAN同获NeurIPS时间检验奖,Ilya连续2年获奖2024-11-28
- 无畏契约AI陪练即将上线!新智慧心携英特尔打造,秒get游戏技巧2024-11-28
- 经典卡尔曼滤波器改进视频版「分割一切」,网友:好优雅的方法2024-11-24
- PC产业驶入创新超车道,英特尔蓉城撬动AI新引擎2024-11-26