华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆
看美食写菜谱,手绘网页变代码
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
GPT-4识图功能迟迟不开放,终于有人忍不住自己动手做了一个。
MiniGPT-4来了,Demo开放在线可玩。
传一张海鲜大餐照片上去,就能直接获得菜谱。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/48e4c58a3ac63f3bf6752cbc4c48dd02.gif)
传一张商品效果图,就可以让AI写一篇带货文案。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/e1466eda54b1c46e2a002850a569d9d3.gif)
手绘一个网页,可以给出对应的HTML代码
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/44b6a6eea2f44488d620b0abfc10179f.gif)
除了生产力拉满,也支持根据常识推理图上内容是否合理、解释表情包为什么好笑,以及看截图找电影等娱乐玩法。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/ebfeff8881a705b020592966b4adfd98.png)
可以说,GPT-4发布时展示过的功能,MiniGPT-4基本也都有了。
这下网友直接把Demo服务器挤爆,开发团队连开4台备用服务器,都有几十人在排队。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/c0d067b07d44e607b244d683a3021e7b.jpeg)
不等OpenAI了,现在就能玩
除了研究团队给出的示例,网友也用MiniGPT-4玩出了各种花样
有人上传自己画的画,让AI评价评价。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/850fec17bf8f032e5032121cc89d05fd.png)
有人上传一张从车道拍摄的飞机坠毁瞬间,让MiniGPT-4尽可能详细地描述,并思考自动驾驶AI能不能理解这个场面。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/651126a373d89dbdcc656cbb345565a0.png)
做到这么好的效果,MiniGPT-4实现起来却并不复杂。
把图像编码器与开源语言模型Vicuna(小羊驼)整合起来,并且冻结了两者的大部分参数,只需要训练很少一部分。
传统预训练阶段,使用4张A100在10个小时内就可完成,此时训练出来的Vicuna已能够理解图像,但生成能力受到很大影响。
为解决这个问题,团队让MiniGPT-4与ChatGPT合作创建了3500个图像文本的高质量数据集,也一并开源。
用新的数据集微调可以显著提高模型的生成可靠性和整体可用性,而且计算效率很高,使用单个A100只需要7分钟。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/14eced24341f387d9fd413019added66.png)
并且团队正在准备一个更轻量级的版本,部署起来只需要23GB显存。
也就是消费级显卡中拥有24GB显存的3090或4090就可以本地运行了。
MiniGPT-4开发团队来自KAUST(沙特阿卜杜拉国王科技大学),包括4位华人成员和他们的导师 Mohamed Elhoseiny。
![华人团队迷你GPT-4抢跑看图聊天:OpenAI有的它都有,服务器已被挤爆](/wp-content/uploads/replace/8006b10ff1c1071662a197c1658c50a2.png)
两位正在读博的共同一作还在GitHub页面上特别标注正在找工作。
有意向的公司要抓紧抢人了~
在线Demo:
https://minigpt-4.github.io
开源代码:
https://github.com/Vision-CAIR/MiniGPT-4
论文:
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
- Llama 3.1上线就被攻破:大骂小扎,危险配方张口就来!指令遵循能力强了更容易越狱2024-07-24
- 陶哲轩在IMO上给AI团队颁奖!他们要做AI数学的ImageNet2024-07-21
- 国内开店卷不动,换上AI出海试试2024-07-17
- OpenAI突发新模型,GPT-3.5退役,大模型成本2年骤降99%2024-07-19