谷歌版ChatGPT支持中文了!弱智吧实测结果在此
弱智吧赢了
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
Claude 2发布之后,Google也按捺不住,立马官宣了Bard的船新版本。
支持的语言变多了,其中就包括中文,让广大网友直接喜提新玩具。
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/7bcfb15518f53b85efa9e18158e38e9d.gif)
总结一下这次更新,主要包括这些内容:
- 支持包括中文在内的40多种语言(含图形界面)
- 图像识别,需要在账号设置中将显示语言改为英语
- 对话朗读
- 聊天记录和对话分享,代码可导出到Replit
- 回复内容可编辑
不过在官宣的这些内容之外,似乎有网友发现了华点:
六月份更新的代码执行功能好像用不了了。
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/a7f134eee4027997d3b6e597b34ea5b9.png)
那么究竟表现如何呢?话不多说,直接开整!
弱智吧问题几乎全军覆没
对于「支持中文」的大模型,不请出我们的弱智吧神题,就显得有些不尊重对手了【狗头】。
先来个灵魂拷问:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/c80f3993ed034008e96ffb696d993ca0.png)
你说它聪明吧,它根本没绕过弯来,但要说它笨吧,它还懂得安慰你……
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/97c73775694a1970e45afb15cf686d08.jpeg)
或许是对人际关系太过陌生,那就换个不涉及人的问题试试:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/fac773f82bbbce9fbce9bca3d40a8e70.png)
这个回答……我还真的很好奇,有没有藕是不空心的
而面对「未解之谜」,Bard也有自己的看法:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/8fe875d6c0affab7ce563fdf5a9ec1db.png)
虽然你后面说的很好,但「是给盲人看」这个结论是怎么得出来的?
不过,Bard也有不上当的时候:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/d1c87fe38b9c4b91e75d8357cdd3ed2a.png)
我们的确要「认清事实放弃幻想」,这次,Bard总算扳回一城。
不过整体来看,这一环节,判弱智吧胜各位读者应该没意见吧?
除了弱智吧问题真的很有节目效果之外,「一字多义」也是中文的一大特色。
比如下面这个名场面:
人要是行,干一行行一行,一行行行行行,行行行干哪行都行。
要是不行,干一行不行一行,一行不行行行不行,行行不行干哪行都不行。
Bard对这句话的整体理解倒是没毛病,但是拆分出来的解释属实让人摸不着头脑。
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/b63f8f51c8f36a78bba0e13f8bf4f921.png)
不过GPT-4做这道题也没能全对:
△非完整截图,但是到这里已经出错了
好吧,那我们再换两个简单的。
结果是外甥打灯笼——照旧(舅),整体理解没问题,一拆开解释就不行了。
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/5da75a1b47d983912f63ce9cc0e1057e.png)
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/23d4b287f01e4b260e6ffe06f7b571e0.png)
无论是弱智吧还是一词多义,Bard对中文的理解都给人一种似懂非懂的感觉。
理解的表现大概就是这样,那创作呢?
我们让它写个故事试试,故事真挺好的,就是有点眼熟:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/2cf20a9bea49b2c62ca29b2039c71a43.png)
怕不是对「创作」有什么误解……如果莎士比亚还活着的话,谷歌这时候应该已经坐在被告席上了。
看来Bard在中文方面,还有很长的路要走。
此外,我们还考察了Bard的(嘤文)阅读理解能力,让它总结一篇论文试试:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/0b0f133194e514972f7a8ca4f199808b.png)
结果Bard给了我们三个风马牛不相及的版本,而且都…是…错…的…
(这篇论文实际上是关于RLHF的)
不过,有没有一种可能,人家根本没在说中文
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/4a784b4d4b33c86b173f04f1b8179742.png)
看来是我们的问题太烧GPU,让Bard出现幻觉了……
那就休息一下,然后看看宣传中的识图功能怎么样吧~
识图功能也有待提高
对于图像识别功能,已经有网友表示自己测试了很多内容都失败了:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/08b7017cecbe5573653719fed584291f.png)
但我们依旧抱着不信邪的心态试了试。
要想用这个功能,还得先到Google账户设置中把显示语言改成英文。
我们翻出了之前某AI绘画工具生成的「四指库克」,看Bard能不能从其中发现华点。
这张图是酱婶儿的:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/78230e6da984049d6e9e2f5ec2d8d695.jpeg)
结果Bard还不支持关于人物的图像识别,甚至直接把我们的图给删…掉…了…
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/57fd340d4e7969c3ac2a3eb4fb176000.png)
好家伙,不会做题就把卷子撕了可还行……
不过这里要说一下,如果上传的图片违反了Bard用户规则,也会被删除。
好吧,那我们再换张图试试:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/0901964f1cffd65504cce407eb5d651c.png)
就算汤姆猫本猫来了也得直呼内行。
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/a52e7af76c82569e01438feed4369611.jpeg)
还是这张水杯的照片,换成英语提问之后就好多了:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/274a111b041779c94449bb2bf6813b62.png)
不过你这个白色logo是从哪看出来的?
当然了,水杯很容易看出来,所以这次再来个带点迷惑性的东西:
![谷歌版ChatGPT支持中文了!弱智吧实测结果在此](/wp-content/uploads/replace/3140a5db7cffb818e03bc60cc440f704.png)
果真不出所料,Bard上了我们的当,其实这是个纸巾盒。
「听人劝,吃饱饭」,看来这句话说的一点也没错。
就像前面那位网友说的,Bard的识图能力,还没有那么强。
本次Bard更新中最值得测的两点都已经测完了,一言以蔽之就是,没有宣传的那么好。
而至于代码、数学等其他经典项目,由于Bard这次并没有对它们进行更新,就先不测了。
看来,Google赶O(penAI)超微(软)的脚步,迈得还是有些大了。
你认为Bard未来的表现,能不能与ChatGPT比肩呢?
参考链接:
[1]https://bard.google.com/updates
[2]https://news.ycombinator.com/item?id=36709895
- 几何朗兰兹猜想被解决!历时30年、证明论文达800余页,中国学者陈麟系主要作者2024-07-23
- 开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1,“新趋势已显而易见”2024-07-25
- GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费2024-07-24
- 英特尔CPU疯狂崩溃,测评大佬揭露工艺缺陷,官方回应:修复补丁下月上线2024-07-23