"多模态"最新资讯

多模态大模型的多语种文字理解能力还有很长的路要走，字节、华科联合发布MTVQA Bench

期待后续多模态大模型的研究和发展更加关注多语种场景

梦晨 2024-06-21

多模态

Gemini视频推理遥遥领先GPT-4o，Jeff Dean连续转发三次，首个视频多模态基准Video-MME来了

全面评估多模态大模型的综合视频理解能力

梦晨 2024-06-18

多模态

多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键

全程无需人类反馈

克雷西 2024-06-04

多模态强化学习

AI读论文新神器：多栏密集文字、中英图文混排文档都能读｜旷视

“一图胜千言”—— one image token >> one text token。

梦晨 2024-06-01

多模态

多模态CoT思维链架构来了，现已开源｜来自厦大&腾讯优图

无需额外训练，性能大幅提升

衡宇 2024-05-28

CoT 多模态

开源多模态SOTA再易主，19B模型比肩GPT-4v，16G显存就能跑

在线可玩

梦晨 2024-05-22

多模态

融合ChatGPT+DALLE3，贾佳亚团队新作开源：识图推理生图一站解决

接近商业闭源模型水平

梦晨 2024-04-15

多模态

香港大模型公司Weitu AI首秀，打造多模态Native的技术和产品

“技术驱动的多模态交互Native产品将形成新的产品习惯”

梦晨 2024-04-09

多模态

钉钉AI：好险，差点就被长文本卷到

长文本、多模态、工作流，钉钉AI上大分

衡宇 2024-03-28

AI助理多模态自定义工作流长文本

3B模型不输7B LLaVA！北大多模态MoE模型登GitHub热榜

甚至部分指标比13B的模型还要好

梦晨 2024-02-09

多模态

大模型学会听音乐了！风格乐器精准分析，还能剪辑合成

首创基于多模态大模型的音乐理解与生成框架

克雷西 2024-01-22

多模态音乐合成

用多模态LLM做自动驾驶决策器，可解释性有了！比纯端到端更擅长处理特殊场景，来自商汤

自动驾驶新解法

丰色 2024-01-10

多模态自动驾驶

一句话精准视频片段定位！清华新方法拿下SOTA｜已开源

视觉+音频双模态相辅相成

十三 2024-01-06

SOTA 多模态清华大学

大模型都会标注图像了，简单对话即可！来自清华&NUS

提出位置建模新方法

克雷西 2024-01-04

图像分割多模态

OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文

还能一键Markdown

克雷西 2023-12-25

OCR 多模态

谷歌Gemini扳回一局！多模态能力和GPT-4V不分伯仲｜港中文128页全面测评报告

不过两者都算“半斤八两”

丰色 2023-12-22

Gemini 多模态

让大模型操纵无人机，北航团队提出具身智能新架构

智能体即大脑

克雷西 2023-12-12

具身智能多模态无人机

北大最新多模态大模型开源：混合数据集训练，图像视频任务直接用

3天训完130亿参数通用VLM

衡宇 2023-11-29

VLM 北京大学多模态

北大&腾讯打造多模态15边形战士！语言作“纽带”，拳打脚踢各模态，超越Imagebind

还自建首个有深度和红外的大规模多模态数据集

西风 2023-11-12

多模态大模型预训练框架

多模态LLM幻觉问题降低30%！业内首个“啄木鸟”免重训方法诞生｜中科大

可即插即用

丰色 2023-10-29

LLM 多模态

多模态