网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

实测效果在此

明敏 萧箫 发自 凹非寺

量子位 | 公众号 QbitAI

想不到,有了AI加持,我也有在我司鲨疯的一天!

同事的压箱底黑照,被我3秒钟就翻了出来,光速做成表情包先发制人。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

喏,只需要在网盘的搜索框里输入“大笑的男人”,立马就能检索到相关图像。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

然后选中想要“攻击”的对象、点击编辑,就能一键加文字变表情包。

整个过程相当丝滑,我图都做完了,同事那还在找图呢(doge)。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

而且这个搜索还能直接理解“什么是表情包”,可以一键找到之前做好的图。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

咱就是说,在堆满陈年老照片和资料的网盘里用上精准搜索,斗图大王舍我其谁。

除了照片,它甚至还能直接搜同事的视频、或识别表情包中的文字,搜索灵活度很高。

所以,这个功能究竟在哪里开启,相比传统相册搜索又有啥不一样的地方?

典藏表情包搜索“神器”

首先,在百度网盘里启用这个智能搜索功能。

打开网盘搜索框,输入“高级图片搜索”,就会显示一个功能入口,进入后点击“立即体验”并等数据升级完成,系统就会发送通知,可以上手开玩了~

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

启用高级图片搜索功能后,在网盘主页的搜索框里就能一键搜图,不用再特意进入某个工具中。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

怎么搜?“脑子里想啥就搜啥”。

以搜索单个词汇为例,比如“比耶”和“挤眉弄眼”这种模糊的表达,智能搜索就秒懂:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

像“修狗”这样的网络热词,也在它的掌握之中。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

甚至还进化出了自己的“偏见”,比如和“发布会”关联的往往是“PPT”(doge):

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

不止是单个复杂词汇或形容词,搜图时还可以直接说一整句描述,甚至加多个限定词

同时,随着输入的细节增加,它的搜索结果还会实时调整

比如只输入“睡觉的”,可以看到系统找到的第一张照片,是一张猫猫躺着的表情包。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

但随着关键词完善到“睡觉的”以后,这张猫片就马上被系统筛了出去。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

除了准确把握图片精髓外,这个智能搜索还能识别图片中的文字,搜索结果也很全面。

比如搜“绷不住了”,它不仅能给出图文完全一致的表情包,还会放出其他相似图片:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

搜索范围上,不止是找图,这个功能就连视频也能搜。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

总之,网盘的智慧搜索新功能,让找照片、视频等文件不再是个费力的“提示词工程”。

要想搜到自己的照片,只用和网盘“聊聊天”就行,它就能像人一样准确get你要找的那张照片。

所以,这个功能究竟是怎么实现的?我们扒了扒背后的技术原理,发现还真没那么简单。

背后果然用上了大模型

智慧搜索,本质上有点像一个自带图片+视频智能查找功能的“私人定制版”网盘搜索引擎。

但为了实现这个功能,百度网盘团队甚至连大模型都用上了,核心目的,在于解决传统图片搜索的四大问题——

搜不到、搜不准、搜不快、搜索方式单一。

首先要解决的、也是最大的难点之一,是“搜不到”的问题。

传统按标签搜索的相册,内置搜索引擎没有真正将图片和文字之间的“含义”关联起来,换言之就是“文不对图”。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

△普通手机的标签式搜索

为了解决这一问题,团队选用了百度文心的多模态大模型VIMER-ViLP,并用海量图片和文本数据对它进行了训练,来实现基于向量的语义搜索

这类方法的核心原理,是将文本和图像的特征向量映射到同一个语义向量空间,向量之间距离越近,相似度就越高,同时也能避免语义丢失,降低“搜不到”的概率。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

相比CLIP,VIMER-ViLP在训练时采用的中文数据更多,因此搜特殊中文名词也会更准确。例如,在博物馆内拍摄的文物“中华第一龙”:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

不过,虽然大模型能增强图片的理解能力,但面对地点、时间、人名这类涉及照片拍摄的信息,它就无能为力了。

接下来,还需要结合照片本身的信息,解决“搜不准”的问题。

传统标签式搜索,需要精准到具体日期(年月日)和拍摄经纬度等照片拍摄数据,但用户输入的搜索词往往比较模糊。

为此,团队基于语义理解实现了组合查询,也就是用AI将输入文本和照片拍摄数据进行对应,相当于做了个翻译。例如输入“前年”,语义理解就会自动提供2021年拍摄的所有照片。

甚至更精细的某个具体地名,如“西单”也没问题,还能将搜索范围精准到“照片”,筛掉不想搜的资料:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

准确度被解决后,就是这类智能搜索“搜不快”、成本高的问题了。

毕竟,光是给已有图片建立索引就能让手机算力爆炸,更别提还有新增图片后重建索引、查询期间使用大模型的成本。

因此在索引上,团队设计了一套端云融合的语义检索系统。首先用云端算力进行向量计算,再用终端设备部署本地索引并检索,这样既能降低终端计算量,又确保了搜索的速度;

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

为了进一步降低终端耗电量,团队还对索引格式进行了压缩优化,确保搜索时搜的是图片中最“精华”的数据。

算力上,团队还开发了一套统一管理CPU、GPU等异构资源的调度系统,充分利用“闲置”资源来计算云盘上的数据。

这样一来,即使你的网盘中珍藏了10万张照片,搜索用时也在毫秒级——不到1秒就能找到想要的图像。

解决了这三个问题,最后就是“锦上添花”,让搜索方式更加多样化了。

例如,网盘团队还引入了以图搜图、OCR和视频检索等AI技术。

以图搜图可以直接上传图片,通过对比照片内容,来查找网盘内或是全网的相似图片:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

甚至还能连接百度百科:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

OCR识别则可以通过AI识别图片中的信息和知识,即使是标点符号很狂乱的图片也OK:

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

至于视频检索技术,则是通过AI算法,先快速筛选出最能代表视频的一张封面图,以加速视频搜索。

据了解,图搜功能在百度网盘已经覆盖千万级用户,一年累计图片搜索服务超过2.5亿次。即使在如此大的数据量下,百度网盘始终将用户数据安全及隐私保护放在首位。

以存储安全为例,百度网盘依托百度云计算(阳泉)中心,数据可靠性高达99.9999999999%(12个9),极大提升了用户数据稳定性和可靠性。同时,也持续通过三项ISO安全认证的年度审核,全方位保障每位用户的数据安全。

总结来看,百度网盘正是通过包括大模型等前沿技术来实现了核心功能的“进化”,从而在一众相似APP中脱颖而出。

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

但为何大模型率先引发变革的领域,会是百度网盘这样的APP?

大模型正在重写所有应用

其实不止是百度网盘,市面上已经有不少应用开始吸纳大模型这样的新技术。

但无论从产品技术、行业,还是百度自身来看,网盘都必须是率先发力大模型的一个“立足点”。

产品本身来看,网盘作为一个管理海量数据的在线存储数据库,必然和Excel等数据处理软件一样,面临着更智能的交互方式需求。

正如一句话自动做图成为Excel的刚需一样,一句话“搜图”也必然成为用户使用数据库的刚需。

大模型的出现,直接在文本和图片之间架设了一座桥梁,使得网盘不再只是一个“硬盘”,而真正成为了用户的“第二大脑”。

行业发展趋势来看,搜索本身也会成为大模型最先落地的领域。

包括谷歌AI snapshot和百度“AI伙伴”在内,国内外在线搜索引擎都已经迅速引入大模型能力。

但除了搜索外部知识以外,无论是网盘这样的内部数据库搜索、还是移动端本机搜索,对于智能数据搜索同样有着极大需求。谁能率先将智能搜索技术引入产品,谁就能率先改善用户体验、吸引更多人使用产品。

最后从百度本身来看,在大模型最初火热之时,CEO李彦宏就留下过名言:

要用大模型把所有应用重做一遍。

而网盘APP,正是百度最先拿出来、最有竞争力的大模型产品之一,其所变革的功能也不仅仅停留在智能搜索层面。

换而言之,智能搜图、搜视频,还只是百度网盘变革的开始。如今在大模型加持下,网盘具备的AI和数据处理能力被彻底激发出来,彻底成为用户的智能助理

它以大模型为核心大脑,通过调用知识、AI模型和API们,能快速实现个人知识管理,马上还将实现多模态创作和多设备互联互通——

  • 个人知识管理:包括搜索在内,对网盘数据进行全方位智能管理。如对英文财报进行快速总结、依据文件中的资料回答问题、与用户互动等。
  • 多模态创作:网盘内的图文视频内容,都已经能用AI实现再创作。如图片自动转视频、视频字幕自动转文本等。
  • 多设备互联互通:基于IoT,迅速将网盘内容在多个智能设备上互联互通,传输文件非常方便。

这个智能助理,正是网盘前不久开启内测的“云一朵”,有了它,找图、摘要、翻译等能力,都是一句话的事儿。

从智能搜索到百度网盘“云一朵”,被大模型“重写”的百度网盘,已经率先走在了行业变革的前列。

感兴趣的童鞋可以去体验下啦~

网盘用上大模型后「真香」!压箱底黑照3秒找到,亲朋好友都不淡定了

参考链接:
https://mp.weixin.qq.com/s/D1miYkH1C6MstJsqx6XwXQ

版权所有,未经授权不得以任何形式转载及使用,违者必究。