实测学而思MathGPT大模型:中小学数学解题正确率有望在全球范围内创造新 SOTA
还能举一反三,多轮对话
白交 发自 凹非寺
量子位 | 公众号 QbitAI
国内首个数学大模型MathGPT开放内测了,不上手试试怎么行?
第一印象上,最明显的就是:啪的一下,很快啊~
题目识别到对话框,结果不光答案准确,还就给出了具体的公式步骤、详细解析。
并且支持公式输入和修改。
这着实是数理爱好者福音了!要知道市面上GPT-4在内的通用大模型,都无法实现这一点。
作为千亿参数级别首个数学专用大模型,放在全球范围内也是少数,背后则是来自国内教育行业20年深耕的学而思。
另外内测据说还只是开始,因为之前就已经透露,将于年内推出基于该自研大模型的产品级应用。
所以这款垂直数学大模型究竟怎么样,完整上手“体验报告”呈上。
上手实测:支持公式图像输入
首先,从大模型基础功能来看,与GPT-4、Claude2相比,MathGPT主要有这些能与不能。
由于是数学专用大模型,因此对话内容目前只能回答与数学相关的问题。
界面上从现有的示例上看,它目前覆盖小学、中学以及高中的题目。
不仅有内容的划分,比如集合、立体几何、解析几何、导数、三角函数、统计学等模块;
还有题型的选择,比如应用题、高考填空压轴、解答压轴;
以及一些开拓思维的题目,比如小学题目中的推理推导、归纳总结、创新思维;初中的反正法、代入法等。
对于数学爱好者而言,可以说是非常全面了。
在输入端,除了普通文本外,它支持公式格式以及图像(带有数字和文字)的输入。
除此之外,面对数学题目的追问,它也支持多轮对话的能力。
了解基本情况后,接着就来考验一下MathGPT的真实实力。
根据此前官方介绍,MathGPT是以解题和讲题算法为核心的大模型,具体拆分为三个问题:
- 题目要解对;
- 解题步骤要稳定、清晰;
- 解题要讲的有趣、个性化。
依照这样的逻辑,先来看看它的基本解题思路。
以初中示例题为例,分为分析、详解、点睛三个步骤,不光给出详细的步骤,还会给你说知识点和题目难度,这归属于基本不等式的应用,难度为中档。
甚至还可以举一反三,比如就像这道整体代换的题目。
随手修改其中一两个数字,结果不光给出来了,还有更为详细的解析。
那么再上点难度,直接考验它高中题目,比如这道选择压轴。
结果也是分分钟出来。
还有像涉及几何类型的题目,也没有被难倒。
,时长00:30
所以,一圈体验下来,简单总结一下MathGPT的评测感受:
- 基础功能上支持公式格式、图像输入,对数学爱好者很友好;
- 支持小初高中的各类型题,覆盖比较全面。
- 还能举一反三,多轮对话。
除此之外,还有一些不足,比如图像输入暂时不支持几何类型的题目,以及有时会出现一些乱码问题,比如答案对了,但中文输入,结果英文输出……
首个数学大模型,为什么是学而思?
大模型涌现以来,数学推理能力始终是产学研界共同攻坚的对象。
通用思路都是基于现有的通用LLM进行调优,最典型的就是OpenAI自己提出过程监督方法。
传统奖励模型采用的是结果监督,仅针对思维链的结果进行判别和反馈;相对的,过程监督就是对思维链每一步进行反馈。因此奖励增多、效果变好。
更多的还有像指令微调、prompt优化等思路。微软全华人团队提出WizardMath,用AI生成的指令微调羊驼大模型,结果直接超ChatGPT。
以及前段时间,有研究团队发现GPT-4代码解释器的代码生成和执行机制,于是就有特定的代码约束提示词直接将数学能力拔高至SOTA。
而像专门针对数学推理方向的自研大模型确实不多。目前来看,国内有且只有一个。
这样做的核心原因只有一个,加速大模型在数学领域的落地。
于行业玩家而言,若是依照通用开源LLM进行调优,一来目前还处于积极探索的阶段,没有形成一个很好的范式;二来,幻觉问题没有解决,稳定性依旧无法保证。
而数学推理不光要求结果的准确,还得强调过程的清晰和逻辑性。
当然同样的原因,也不能简单直接调用像GPT-4的API,性能等各方面始终会受限。
不过此前我们也讨论过,打造行业大模型天然就有这非常高的壁垒,数据量大还得高质量,关键还要有场景,知道行业Know-how。
既然如此,学而思又是如何做到?
核心还是:术业专攻、对症下药。
一方面,最首要也是本质的原因——术业专攻——多年在数学和AI领域的深入研发和布局。
学而思“以数学起家”,至今已有20年的数学教学经验,积累了庞大的数学相关数据,这些独家数据是进行MathGPT训练的必备物料。
而在AI领域,学而思早在第一波AI浪潮兴起之时(2017年)就已经开始布局——成立AI lab人工智能实验室。如今还是教育领域首批唯一一家人工智能“国家队”成员。
在学术方面,学而思实际也有高频产出。公开资料显示,基于智慧教育人工智能开放创新平台助力,学而思AI lab获得各类顶级学术会议比赛冠军16项,亚军6项;发表国际期刊和会议高水平学术论文31篇,包含光学字符识别、图像、自然语言处理、语音以及多模态等多领域的学术研究。
而在产品应用端,今年2月学而思学习机上线AI讲题机器人“小π”。其相关技术于2020年启动研发,背后是超3亿专业题库数据,经过三年的数据训练和迭代。
在实测中可以看到,在配套的AR镜识别到一道手写或者印刷的数学计算题时。
小π机器人会对题目进行智能AI拆解分析,同时生成逻辑流畅、表达清晰的语言,将题目的解题方法讲解出来。
该功能已覆盖的题目包括分数、小数等复杂计算,甚至一些“凑数、组合”的巧妙算法,已十分接近真人老师的解题效果。
正是基于这样的行业Know-how,MathGPT自诞生之日起就定义明确「面向更广泛的数学爱好者和科研机构打造」,并对症下药 ——
因为想要打造数学垂直大模型,就绕不过三大挑战:
- 第一,题目要解对。现在连GPT的结果经常出现错误;
- 第二,解题步骤要稳定、清晰。现在GPT的解题步骤每次都不一样,而且生成内容经常很冗余;
- 第三,解题要讲的有趣、个性化。现在GPT的解释过于“学术”和机械,对体验很不友好。
基于这样的目标,MathGPT结合大模型和计算引擎两者能力。
前者负责理解题目、分步解析,并在合适的步骤自行调用计算引擎,以此来提高正确率。基于海量名师解题过程的数据进行模型训练,模型的解题步骤可以更加清晰。再引入优秀老师的教学理念和方法,模型在解题趣味性上也能进一步提高。
可以看到的是,学而思展现了场景玩家入局大模型的优势——
可以后发制人,谋定而后动,而且壁垒天然。
Wolfram alpha之后,数学大模型
随着业内首个数学大模型的发布,有关大模型在数学领域的落地可以阶段性梳理,大致可以分为两个方向。
一方面,科研为核心的前沿探索。陶哲轩不止一次地透露大模型如何加入其工作流、辅助研究。
他让GPT-4针对论文提出问题来准备讲座;还让GPT-4生成数学证明,并发现过去阅读人类作品的经验完全不适用了。
对于AI在数学研究中的表现,他给出预言:
当与形式证明验证器、互联网搜索和数学符号包等工具整合时,2026年的AI,如果使用得当,将成为数学研究中值得信赖的共同作者,而且在许多其他领域也是如此。
事实上,在更多的科研领域,大模型也正在赋予这样的价值。学界教授也不止一次提出,大模型的幻觉不见得是坏事,可以给研究方向提供新思路。
另一方面,则是面向更广泛大众的普惠教育、基础教育提升。让大模型参与到学习数学、思考数学的过程当中去,帮助人们更好地解决数学问题。学而思MathGPT就是基于这样的初衷。
事实上,数学本身在各个领域中充当着一种基础能力,未来数学大模型也将能够以工具的形态,与更多行业产生关联。
在此之前,理工科神器Wolfram alpha,就是以这样的作用垂直风靡。
它颠覆了传统模式,创造了一种全新的知识搜索引擎。由于支持几何、数值以及符号式计算,并拥有强大的可视化功能,支持用户对上传的图片进行识别等一系列功能而受到推崇。目前已经支持包括数学、统计学、物理化学、材料学等近20个领域的查询、计算和分析。
而现在,随着大模型范式到来,Wolfram alpha一样的理工基础教育、科研的工具,也将面临革新浪潮。
至少MathGPT已经展现了这样的趋势,MathGPT正在实践这样的趋势。
而MathGPT,一定只是开始。你说呢?
- 突破短视频局限!MMBench 团队构建中长视频开放问答评测基准,全面评估多模态大模型视频理解能力2024-10-30
- 人形机器人新品牌“灵宝CASBOT”发布,来自中科慧灵2024-10-30
- 第一波大模型已经走进厨房了!实测方太Healthy CookingGPT2024-10-25
- 讯飞版《Her》长脸了!多模态虚拟人表情动作超逼真,一张图一句话就能DIY自己2024-10-24