对不起，AI觉得你有虐童倾向，求职失败

铜灵 编译整理

量子位 出品 | 公众号 QbitAI

看起来好好的一个保姆，请回家怎么就开始虐童了？

最近，一个叫Predictim的AI评估系统被用于保姆招聘上，它能在线预测保姆的性格，并能给出不良性格因素的出现概率。孩爸孩妈的心腹大患，这下可以被一键避免了。

据华尔街日报报道，宝妈Jessie就使用了这套系统，想让机器辅助判断一位保姆候选人是否合适。

Predictim在线评估结果显示，这位24岁的年轻女性吸毒风险低，但“态度恶劣”“不尊重别人”特性出现的风险为40%，风险略高。

AI并不看好这位应聘者，Jessie也突然对这位求职者心生疑虑。

背后原理

不少初次见到这套系统的家庭主妇都有个疑惑：

从未谋面，素不相识，一个AI算法怎么就能知道人类性格呢？

在评估前，这个算法需要知道保姆的姓名和电子邮件，并征求保姆同意获取社交媒体帐户的访问权限。

如果保姆拒绝，先招保姆的父母会收到拒绝通知，保姆也会受到一封邮件，上面写着“在您完成此请求之前，将无法被有意向的父母雇用。”

看来不测还不行了，那是什么流程呢？

其实，Predictim在评估前做的背景调查，也就是通过自然语言处理和计算机视觉图像识别技术，扫描各个求职者的Facebook、Twitter和Instagram等社交平台上的发帖而已。

参加演唱会后留下的感想心得，想要中奖转发的那条推特，或者是心情烦闷时写下的那段文字……Predictim统统全部扫描一遍。

Predictim用了黑盒算法评估保姆，很大程度上具有不可解释性，也没有人知道，AI是如何将复杂的微博、说说或朋友圈转化成优点或潜在危险。

最后，Predictim系统生成一份评估报告，不过这份报告只对父母显示，不会告诉保姆本人结果如何。

报告中的风险评级分为几类，比如是否具有暴力倾向和是否有吸毒风险。初此以外，AI还会对保姆的其他人格特质进行评价，例如是否有礼貌、是否对与他人合作保持积极性等。

据Crunchbase记录，Predictim公司成立于今年6月份，是一个刚起步的初创公司。成立后获得了一笔10万美元的种子轮融资，目前员工总数不超过10人。

而Predictim系统一次使用的起步价为24.99美元，约人民币174元。

忧虑重重

突然闯进求职生活的AI让美国人类有些难以接受。

在Pew Research Center本月的一份调查中，有57%的受访者认为对求职过程中的自动简历筛选“不可接受”，对可能影响他们日常生活的算法持怀疑态度。

部分美国专家担心，Predictim这样的AI评级系统预示着未来每个工作都可能由一台机器决定，AI看你行不行=未来就业成不成。

一些AI研究者认为，这样的系统有可能增加年龄、种族和相貌上的偏见，可能会更频繁地标记一些群体的特征。

虽然不看好的声音不绝，但Predictim表示仍在全力正准备扩张。

在线保姆招聘平台Sittercity的高管表示，他们将在明年初推出一项试点计划，将Predictim的自动评级加入到自己网站一系列保姆背景调查中。

Sittercity的产品负责Sandra Dainora表示，像这样的工具很快就会成为在线寻找护理人员的“标准货币”，也就是通用衡量标准之一。

升职加薪？AI说了算

不仅仅保姆考核官已被AI 侵占，国内国外，各行各业的HR中已经可见到AI身影。

比如IBM，目前已经用他们亲手创造的、IBM的头号人工智能程序Watson（沃森）考核员工过去表现如何，还会主动搜索内部培训系统的数据，了解员工培训以及学习情况，判断他们是否具备升职潜力。

Watson给出的评估建议，将决定员工的奖金，薪酬和晋升与否。若老板觉得OK，AI也认为你是潜力股，那员工就可以晋升了。

也不止国外，据中国江西网报道，江西省农业发展银行校园招聘的笔试和面试，也加入了AI评定环节。机器人能通过测试判断应聘者是否具备高等级情绪风险，从而辅助招聘人员决定去留。

也有一些公司，之前开发了AI招人算法，但一段时间后却停滞了，比如亚马逊。

据路透社报道，亚马逊停止开发招聘算法，最大原因当属系统偏见。因为目前公司开发人员还是男性为主，因此在相同质量简历中，此前仍会首选男性求职者。

不过亚马逊后来也表示，这个评估工具从未用于决定候选人的去留~

AI评估这事，不知道你怎么看？