电商的「穿衣AI」用得好，剁手根本停不了 | CVPR 2020

金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI

网购看中了一件衣服和一条裤子，不知搭配起来效果如何，怎么办？

试试这款「穿衣AI」。

假如你在网上看中下面这几件衣服，先把它们「收藏」起来。

然后挑一个模特。

接下来，合成一下，就可以看到这些衣服搭配起来的效果啦~

这就是来自亚马逊的一项「穿衣AI」新技术——Outfit-VITON，并且论文中了CVPR 2020。

在线衣服穿搭如何实现？

Outfit-VITON主要包括以下几个部分：

• 形状生成模型：输入是一个查询图像，并以此作为最终输出图像的模板；
• 外观生成模型：将选好的衣服，添加到查询图像中的人物身上；
• 外观优化模型：将上述步骤得到的结果进行细化，输出最终效果。

工作流程如下图所示。

正如上面所提到的，系统的输入是一个 H×W 的 RGB 查询图像x0，还包括一组由服饰组成的额外参考 RGB 图像(x1，x2，…，xM)。

这里需要注意的是，这些想要搭配的服饰图像，可以是像流程图中那样的人物完整图像，也可以是展示单件服饰的局部图像。

然后，便是图像分割任务，为此，研究人员训练了一个PSP语义分割网络，记做S，其大小为H×W×Dc。

用这个语义分割网络S，计算查询图像(模特)和参考图像(服饰)的分割映射。

分割后的输出，就转交给一个「形状生成网络」来处理，这样就可以先得到一个大致的轮廓。

接下来，便提取服饰中的外观特征向量，并将其“贴”到对应的轮廓区域，也就是流程图中的「外观生成」步骤。

值得注意的是，形状和外观生成网络是分别进行训练的，使用同一训练集的单一输入图像；并且，在每个训练方案中，生成器、判别器和自动编码器是共同训练的。

最后，研究人员还提出了一个「在线优化」模型，将原来的服饰样式，更加完整、细致的“贴”到新模特身上。

亚马逊为网购顾客“操碎了心”

除了这项研究之外，亚马逊还有2篇CPVR论文，也针对网购顾客。

在其中一篇论文中，研究人员开发了一个系统，可以让用户通过描述产品图像的变化，来增强产品查询。

例如，你在网购的时候，看上了一条黑色连衣裙的款式，但是对它的颜色并不满意。

那么，你就可以说一句“我想要相同款式的粉色连衣裙”，那么查询后的结果就会输出相应的产品。

而另一项研究针对“商品补充”，也就是说，给用户做商品推荐。

例如，用户在网购过程中，查询了包包、眼镜、连衣裙和外套，那么这个系统就会找出完整一套服饰中，这个用户还未查询的商品，例如，鞋子。

而且补充推荐的商品，还会根据之前查询商品的样式、颜色等来做推荐。

看起来就像是个AI搭配师。

亚马逊在“卖商品”这条路上，为了提高用户体验，可谓是“操碎了心”。

不过这也满足了一部分宅男宅女们，足不出户体验产品的需求。

那么，亚马逊的这些AI技术，会让你更爱网购吗？