超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品
只需一个简单指令
白交 发自 凹非寺
量子位 | 公众号 QbitAI
GPT-4V来做目标检测?网友实测:还没有准备好。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/754afd50d5b3c24370971c73b5bed040.png)
虽然检测到的类别没问题,但大多数边界框都错放了。
没关系,有人会出手!
那个抢跑GPT-4看图能力几个月的迷你GPT-4升级啦——MiniGPT-v2。
而且只是一句简单指令:[grounding] describe this image in detail就实现的结果。
不仅如此,还轻松处理各类视觉任务。
圈出一个物体,提示词前面加个 [identify] 可让模型直接识别出来物体的名字。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/92414b21dbed5c26fc324fb27955d59a.jpeg)
当然也可以什么都不加,直接问~
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/f07ca11bead9d0ef6cb42395a1427f09.png)
MiniGPT-v2由来自MiniGPT-4的原班人马(KAUST沙特阿卜杜拉国王科技大学)以及Meta的五位研究员共同开发。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/768d57f6e27185a175b66a65b391134e.png)
上次MiniGPT-4刚出来就引发巨大关注,一时间服务器被挤爆,如今GItHub项目已超22000+星。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/20ad987c5938623801e096b25527f25b.jpeg)
此番升级,已经有网友开始用上了~
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/f6ba35a3f8ee0cddf95fb30e1c7aedae.jpeg)
多视觉任务的通用界面
大模型作为各文本应用的通用界面,大家已经司空见惯了。受此灵感,研究团队想要建立一个可用于多种视觉任务的统一界面,比如图像描述、视觉问题解答等。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/2510a5d4a811dfd0db5d2b37947a1f33.jpeg)
「如何在单一模型的条件下,使用简单多模态指令来高效完成各类任务?」成为团队需要解决的难题。
简单来说,MiniGPT-v2由三个部分组成:视觉主干、线性层和大型语言模型。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/47f603b68d730f717a14df18d95fd358.png)
该模型以ViT视觉主干为基础,所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记,并通过线性层将它们投影到 LLaMA-2语言模型空间中。
团队建议在训练模型为不同任务使用独特的标识符,这样一来大模型就能轻松分辨出每个任务指令,还能提高每个任务的学习效率。
训练主要分为三个阶段:预训练——多任务训练——多模式指令调整。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/876671774e79180dd6e24b1ee05e6892.png)
最终,MiniGPT-v2 在许多视觉问题解答和视觉接地基准测试中,成绩都优于其他视觉语言通用模型。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/409b36af2c26a4a6cc3c15a7fde32715.png)
最终这个模型可以完成多种视觉任务,比如目标对象描述、视觉定位、图像说明、视觉问题解答以及从给定的输入文本中直接解析图片对象。
![超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品](/wp-content/uploads/replace/11569e5d18991cc68923b77d5537f372.png)
感兴趣的朋友,可戳下方Demo链接体验:
https://minigpt-v2.github.io/
https://huggingface.co/spaces/Vision-CAIR/MiniGPT-v2
论文链接:https://arxiv.org/abs/2310.09478
GitHub链接:https://github.com/Vision-CAIR/MiniGPT-4
参考链接:https://twitter.com/leoyerrrr
- 开源=最强大模型!Llama3.1发布,405B超越闭源GPT-4o,扎克伯格:分水岭时刻2024-07-24
- 国内首批丨腾讯云上架 Llama 3.1模型,支持在 TI 平台精调和推理2024-07-24
- AI视频修复速度10倍提升,过曝变色也能逐帧搞定|美图国科大新算法2024-07-21
- 李飞飞创业:3个月估值破10亿美元2024-07-17