超越GPT-4o!阿里发布最强开源多模态模型Qwen2-VL,支持实时视频对话
还能操纵手机和机械臂
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
新的最强开源多模态大模型来了!
阿里Qwen2大模型家族新添多模态模型Qwen2-VL,在图像和长视频理解任务上双双取得了SOTA。
在具体的子类任务中,Qwen2-VL在大部分的指标上都达到了最优,甚至超过 GPT-4o等闭源模型。
在多模态能力的加持下,Qwen2-VL可以实时读取摄像头或电脑屏幕,进行文字形式的视频对话。
【视频请到公众号查看】
甚至还能作为Agent与环境进行交互,根据任务目标自主操控手机等设备。
【视频请到公众号查看】
此次发布的Qwen2共有2B、7B、72B三个版本,其中2B和7B版本已可下载并免费商用(Apache 2.0),72B则通过API提供。
目前开源代码已集成到Hugging Face Transformers、vLLM等第三方框架中。
还有不少网友都在狂cue一些知名大模型推理平台,如Groq、Ollama,希望能够早日提供支持。
下面就来一睹Qwen2-VL的表现!
会操作机械臂的多模态大模型
利用强大的多模态能力,Qwen2-VL能够操纵机械臂,进行物体的拿取、放置等操作。
【视频请到公众号查看】
还可以化身扑克牌玩家,根据识别到的场上信息和提示词描述进行“24点”游戏的决策,并且取得了胜利。
还有开头所展示的,Qwen2-VL可以根据识别到的屏幕内容,结合用户需求自行操作手机在网络上进行信息检索。
当然在这些体现工具调用和Agent交互能力的复杂任务背后,基础能力也是不能落下。
比如图像识别,在物体类的识别当中,Qwen2-VL可以准确地认出花的品种。
另一类识别场景是文字,Qwen2-VL支持多种语言的文本提取。
甚至把16种语言混合到一张图中,Qwen2-VL不仅能判断各自的语种,也能一口气提取出全部文本。
手写字体和复杂的数学公式也能识别,并且上下标这种微小细节处理得非常到位。
Qwen2-VL还支持多模态推理,代码和数学(包括几何)类问题,只需要传张图片就能解决。
视频方面,Qwen2-VL最长可以对20分钟以上的视频进行内容分析,既支持总结也能对细节进行提问。
不过目前还只能分析画面,暂不支持对声音的处理。
【视频请到公众号查看】
同时也支持实时视频文字对话,除了开头展示的基于摄像头的对话外,也可以读取电脑屏幕,作为对话的内容。
【视频请到公众号查看】
总之,在这些任务的背后,蕴含着Qwen2-VL不凡的综合实力。
多模态实力超GPT-4o
为了了解Qwen2-VL在各种任务上的综合表现,千问团队一共从从六个方面对其视觉能力进行了评估。
具体包括了综合类大学试题、数学试题、文档表格理解、通用场景下的问答、视频理解以及Agent能力这六种类型。
整体来看,Qwen2-72B的大部分的指标上都达到了最优,甚至超过了GPT-4o和Claude3.5-Sonnet,特别是在文档理解方面优势明显。
另外在多语言测试中,MTVQA也在9种语言中的8种全面超越了GPT-4o、Claude3-Opus和Gemini Ultra这些先进闭源模型,平均成绩也是最高分。
7B版本同样支持图像、多图、视频的输入,同时也达到了同等规模模型的SOTA水准。
最小的2B版本则主要为移动端设计,但麻雀虽小,却具备完整图像视频多语言的理解能力,特别在视频文档和通用场景问答相较同规模模型优势明显。
整体上,Qwen2-VL延续了其上一代Qwen-VL中ViT加Qwen(2)的串联结构,在三个不同规模的模型上,Qwen2-VL都采用了600M规模大小的ViT,并且支持图像和视频统一输入。
为了让模型更清楚地感知视觉信息和理解视频,Qwen2-VL新增了对原生动态分辨率的全面支持。
与上一代模型相比,Qwen2-VL能够处理任意分辨率的图像输入,不同大小图片被转换为动态数量的tokens,最少只需要4个。
这种设计不仅确保了模型输入与图像原始信息之间的一致性,也模拟了人类视觉感知的自然方式,让模型在图像处理任务上更加灵活高效。
Qwen2-VL在架构上的另一项创新,是多模态旋转位置嵌入(M-ROPE)。
传统的旋转位置嵌入只能捕捉一维序列的位置信息,而M-ROPE通过将原始旋转嵌入分解为代表时间、高度和宽度的三个部分。
这使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息。
这一创新有助于提升模型的多模态处理和推理能力,能够更好地理解和建模复杂的多模态数据。
DEMO:
https://huggingface.co/spaces/Qwen/Qwen2-VL
项目主页:
https://qwenlm.github.io/blog/qwen2-vl/
GitHub:
https://github.com/QwenLM/Qwen2-VL
- Qwen版o1发布即开源!32B参数比肩OpenAI o1-mini,一手实测在此2024-11-28
- 将偏好学习引入模型训练,北大李戈团队新框架,可显著提升代码准确性与执行效率2024-11-27
- 1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品2024-11-27
- 空间智能新进展:教机器人组装宜家家具,首次实现操作步骤与真实视频对齐 | NeurIPS2024-11-26