40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

英伟达微软都投资了

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

大模型竞赛,又杀出一匹黑马——

Inflection-2.5,由DeepMind联创Mustafa Suleyman的大模型初创公司打造。

只用40%的计算资源训练,表现就超过了GPT-4的九成,尤其擅长代码和数学。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

而早期的Inflection模型,训练时只消耗了4%的计算资源,就达到了GPT-4表现的72%。

以Inflection模型为基础,该公司还推出了网页端对话机器人Pi,主打“高情商”和“个性化”,还支持中文。

自诞生以来,Pi的最高日活达到了100万,累计产生了40亿条消息,平均对话时长来到了33分钟。

而随着这次基础模型的升级,Pi也迎来了它的新版本。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

那么,Inflection,或者说Pi,表现到底有没有那么强,量子位进行了一番实测。

无需登录即可使用

打开Pi的页面,映入眼帘的是这样一个极简界面,而且还可以不用登录,直接点击Next。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

连续Next几次后,输入希望Pi称呼我们的方式。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

之后是选择声音和推荐话题,直接跳过就可以了,然后就进入正式的聊天界面了。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

简单测试发现,Pi支持中文对话,既然如此那就先把弱智吧Benchmark给安排上。

第一题,老鼠生病了可以吃老鼠药治好吗,Pi成功解答。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

再来一道“陷阱”题,这次依旧没有上当。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

两道问题过后,虽然没有出现什么戏剧性效果,但看起来对中文也是有一定的理解了。

接下来就重点看看官方宣称“尤其擅长”的数学和代码能力。

首先是一道涉及动态规划的编程题目。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

Pi给出的代码成功解决了这个问题,并且配有清晰的解释。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

接下来再提升一下难度看看,让其分析一个数字的阶乘中末尾有多少个0。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

Pi给出的代码不仅正确,而且简洁高效,运行速度超过了LeetCode上73.8%的用户。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

最后再来增加一下难度,以一道47.5%通过率的题目结束代码部分的测试。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果
40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

看完代码,再来测测Pi的数学能力怎么样,让它做做关于导数的题目:

求出函数f(x)=x³+2x²-1的极值点

解答完全正确,而是十分详细。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

当然要想数学好,逻辑思维是必不可少的,所以我们在常规的数学题之外,又用一道经典的题目考验了一下的Pi逻辑思维,结果还不错。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

通过Pi的表现,可以看出其背后的Inflection-2.5模型的确可圈可点。

而从官方自己公布的测试数据来看,无论是综合能力还是各个子项,Inflection-2.5的表现都紧随GPT-4。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

以数学和代码为例,Inflection-2.5在MATH、HumanEval等测试中都比1.0版本都有大幅飞跃。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

在这些常规的数据集之外,Inflection还挑战了匈牙利高考数学试题和GRE物理测试,结果几乎与GPT-4打成平手。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

更“刁钻”的,还有人专门用大模型难以理解的问题构建了一个BIG-Bench数据集,而Inflection-2.5挑战了其中的Hard子集,结果和GPT-4的差距不到一分。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

那么,Inflection-2.5的背后,是怎样的一家公司呢?

DeepMind联创大模型创业

这家公司名叫Inflection AI,由DeepMind联创Mustafa Suleyman等人于2022年创立,目前共有70余人。

同样来自DeepMind的,还有资深研究员Karen Simonyan,现担任Inflection AI的首席科学家。

此外,LinkedIn联创Reid Hoffman也参与了Inflection AI的创立。

创立以来,Inflection AI已经获得了来自英伟达、微软、比尔盖茨等巨头的共计15亿美元的融资。

40%算力训练效果比肩GPT-4,实测DeepMind联创大模型创业新成果

目前,基于Inflection的Pi还是免费的,但CEO Suleyman也表示,一直用爱发电不现实,长久地看以后还是要收费。

想要体验的朋友,可能要抓紧时间了~

传送门:
https://pi.ai
参考链接:
[1]https://inflection.ai/inflection-2-5
[2]https://www.axios.com/2024/03/07/inflection-ai-chatgpt-openai-comparison

版权所有,未经授权不得以任何形式转载及使用,违者必究。