陈丹琦团队图表解读新基准:新王Claude3.5刚及格,但已是模型最强推理表现
比人类差了1/4
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
Claude 3.5 Sonnet的图表推理能力,比GPT-4o高出了27.8%。
针对多模态大模型在图表任务上的表现,陈丹琦团队提出了新的测试基准。
新Benchmark比以往更有区分度,也让一众传统测试中的高分模型暴露出了真实能力。
该数据集名为CharXiv,内容全部选自arXiv论文中的真实图表,共计2323张。
相比此前的FigureQA等测试基准,CharXiv涵盖的任务类型更加广泛,而且不按套路出牌,难度大幅增加。
为了宣传这套新Benchmark,研究团队还写出了一首洗脑神曲,并制作了视频宣传片。
这段魔性的宣传片,让有些网友表示已经被成功“洗脑”,脑海中充满了(歌词中的)“2323张图表”。
导师陈丹琦也感到印象十分深刻,直言这是自己见过最fancy的视频。
那么,CharXiv究竟新在哪,又难在哪呢?
来自学术论文的图表测试集
团队指出,过去的表格测试标准太过简单,而且不能反映模型的真实水平。
比如FigureQA、DVQA 和ChartQA的子集,只要稍作简单修改,模型的成绩就能下降超过1/3。
究其原因,作者认为是之前的数据集中图表都是由程序合成,问答也高度模板化。
于是,研究团队提出了CharXiv,由人类专家从arXiv论文中精心选择了2323个真实图表。
图表的类型也更加丰富,提出的问题也避免了套路化的问题。
根据重点考察能力的不同,作者将测试题目分成了两类——描述性问题和推理性问题。
两类问题的比例为4:1,即每张图表配有4个描述性问题和1个推理性问题。
其中描述性问题包括信息提取(Information extraction)、列举(Enumeration)、计数(Counting)、模式识别(Pattern recognition)等等。
这当中,模式识别指的是要求模型识别图表中数据的趋势和分布模式,如线条是否相交、数据是递增还是递减等。
另外还有较难的组合型(Compositionality)任务,模型需要综合多个视觉元素的信息回答问题,体现图表信息的组合理解。
比如这道题目就是一道组合型的描述类问题,它需要在识别清楚坐标轴的同时,完成计数的任务:
在当前的图表中,所有坐标轴中一共有多少明确标记的刻度?(这里问的是标记的数量,不是求和)
推理性问题则根据答案出现的方式又分为了四个子类:
- Text-in-chart:问题的答案是图表中出现的文本,如图例标签、离散刻度标签等。
- Text-in-general:问题的答案是一个易于验证的文本短语,但不一定显式出现在图表中。
- Number-in-chart:问题的答案是图表中给出的一个数值,,如坐标轴刻度值。
- Number-in-general:问题的答案是一个精确到特定小数位数的数值,但可能需要通过阅读和推理才能得出,而不一定直接出现在图表中。
举个例子,下面的问题要求模型对表格中各列的数值进行求和,然后比较后给出和最小的一列对应的标签,这就是一项推理型任务。
利用这套数据集,作者在零样本的条件下评估了一些知名的开源和闭源模型。
模型依然不擅长推理
在推理类问题上,作者发现所有模型的表现都不是很理想。
表现最好的是真人,模型当中则是Claude 3.5 Sonnet,不过也仅仅及格,和人相比还是差了四分之一,成绩超过40的模型一共也只有三个。
紧随其后的是GPT-4o、Gemini 1.5 Pro和Claude 3家族,有意思的是,Claude 3的“超大杯”Opus,表现还不如小一些的Sonnet和Haiku。
开源模型中,表现最好的是微软的“小”模型Phi-3,参数量一共只有4B,成绩却跻身到了Claude 3家族的中间。
在描述类任务当中,表现最好的依然是人类,但模型和人类的差距小了,表现最好的GPT-4o和人类只差了不到10%。
不过开源模型的表现就不那么好了,分数最高的Phi-3才刚刚及格。
另外,其中的组合型问题(COMP)任务,对于模型来说也依旧是难点,没有任何一个模型得分超过60,而人类的表现是大于90的。
例如,数出x轴和y轴上的刻度标签数量,对于人来说是十分简单的任务,但测试下来,20个模型在该任务中的准确率无一达到10%。
而且,随着子图数量的增加,模型的描述能力也会下降。当有6个以上子图时,商业模型的成绩会下降10-30%,开源模型对子图的处理则更加困难,性能下降比例达到了30-50%。
经过综合比对,作者发具备良好描述能力是推理能力的前提——推理能力强的模型一般描述能力也强,但描述强的模型推理能力不一定强。当模型无法准确描述图表时,即使使用思维链(CoT)推理,成绩也不会提升。
论文地址:
https://arxiv.org/abs/2406.18521
- 鸿蒙的“AI野望”:让AI融入操作系统,数亿补贴寻应用开发者2024-11-07
- 英伟达团队机器训练新方法!仅5次演示让机器生成1000个新demo,李飞飞高徒与徒孙联手出品2024-11-05
- 3B模型打通机器人任督二脉!冲咖啡叠衣服都能干,7种形态适配,OpenAI也投了2024-11-02
- 2mm芯片植入视网膜,盲人重获阅读能力还能打牌,马斯克老部下创业成果来了2024-11-02