“梗王”大模型,靠讲笑话登上CVPR | 中山大学
打破大模型常规思考
中山大学HCP实验室 投稿
量子位 | 公众号 QbitAI
谁能想到,只是让大模型讲笑话,论文竟入选了顶会CVPR!
没开玩笑,这还真真儿的是一项正儿八经的研究。
例如看下面这张图,如果让你根据它来讲个笑话或梗,你会想到什么?
现在的大模型看完后会说:
脑子短路。
再看一眼 蜘蛛侠 的海报,大模型会配一句“刚擦的玻璃不能弄脏”。
李云龙 、 奥本海默 也被玩得飞起:
导师读了我的论文之后……
真男人不回头看爆炸。
还有酱紫的:
不得不说,大模型这脑洞还是挺大的。
这项研究正是来自中山大学HCP实验室林倞教授团队、Sea AI Lab和哈佛大学等单位,主打的就是打破常规思维思考(Think Outside the Box),探索多模态大模型的创造力。
要知道,同样的图要是“喂”给ChatGPT(GPT-4)等主流大模型,让它们讲笑话或梗,画风可并非如此:
太正经了!So boring~~~~
那么中山大学等单位的这个“梗王大模型”,是怎么炼成的呢?
先让大模型看搞笑的数据
在数据的选择上,团队pick的是来自日本的“大喜利”(Oogiri)创新响应游戏。
“大喜利”本来是指一系列日本传统戏剧游戏,随着时代的快速发展。现代的“大喜利”,目前一般是指一种叫Tonchi (頓智)的游戏,通常以游戏节目或智力问答节目的形式呈现。
玩家被提供各种多模态内容,可以是简单的问题、随机图像等,然后提示玩家想出幽默的、有创意的反应,以达到令人惊讶的喜剧效果。
例如下面这个“图文到文”的例子:
玩家要求阅读图像,和上面对应的文字,尝试想出一段文字填入对应的问号“?”位置,使得整个图文可以展示出幽默且有创意的效果。
在第一个例子中,老人向年轻人寻求帮助,从正常的思维来看,可能的填写方式可以是“请问xxx路怎么走?”或者是“可以带我回家吗,我迷路了”之类的。
然而,所给出的“你…你能帮我解开手铐吗?”的写法具有冲击感、幽默感,且看起来确实是这么一回事,让人忍俊不禁。
再看下“图到文”的例子:
玩家要求看图配文,并使得图文搭配起来具有幽默效果。
这张图看起来是一个很普通的拖车的图片(需要注意的是,在“大喜利”游戏中,一般图片都是很普通的日常图片)。
配文“快让开!我的兄弟伤得很严重”让倾斜着身体45°向上的车看起来像是一个奄奄一息的车子;在道路上快速的驰骋也确实体现了位于下方的车很着急,急着送兄弟去医院。
还有第三种“文到文”的例子:
玩家被要求根据所给的文字进行回复,使得回复和问题合在一起具备幽默感。
这个例子中的回复似乎在调侃程序员的日常工作主要就是代码的“复制+黏贴”(注:CV工程师除了可以表示computer vision工程师也可以表示ctrl+c/ctrl+v工程师 )。
这项工作主要关注的就是这三种类型的“大喜利”游戏,相关数据Oogiri-GO 如下表所示,含中英日三种语言:
至于为什么要选择“大喜利”这个游戏,是因为团队认为它是用于探索多模态大模型创新能力的理想平台。具体原因如下:
- “大喜利”游戏是天然的创新响应任务。如上所提到的,现代“大喜利”也被称为Tonchi (頓智)。“頓”在日文和中文中都表示“突然”,而“智”的意思是“智力、洞察力或直觉”,该游戏天然地要求玩家给出令人眼前一亮、灵光一闪的创新响应;
- “大喜利”的数据格式是高度合适的。不管是“图文到文”、“图到文”还是“文到文”,这些类型都天然地和目前多模特大模型的输入输出格式吻合,即输入为“图文”,输出仅为“文”。
- “大喜利”数据质量高。创新是一件很难的事情,即使是人类,因此能作为“创新”相关的数据集并不多。鉴于该游戏长期在互联网上非常活跃(在中文社区中,一般也叫日式神吐槽/冷吐槽),而且带有大量点评数据,比如点赞数等等。正好积累了大量高质量人类创新幽默响应可以被用于研究。
再让大模型打破常规思考
传统的链式思考(Chain-of-Thought,CoT)方法是一种顺序思考过程,通过逐步推理指导大模型进行逻辑推理,每个后续的思考都建立在前一个思考的基础上:
这一思考过程一定程度上确保了精确性和严谨性,但对于创造性问题表现不佳。
因此,团队探索了一种新的非顺序、创造性思维范式——跳跃思维Leap-of-Thought(LoT)。
这种范式涉及到思考关联性和知识跳跃。远距离的思考也被认为是联想。
与CoT强调逻辑紧密的思维链不同,LoT强调打破常规思维思考问题,激发模型的创造力。
基于此,团队在Oogiri-GO数据集基础之上,进一步提出了一套激发多模态大模型创造力的训练方法CLoT。
具体而言,CLoT包括两个阶段。
首先是关联性指令微调。
在这一阶段,本文设计生成式和判别式模板,将Oogiri-GO数据集转换为指令微调的训练数据,用于训练多模态大模型,使得模型具备初步的创新响应能力。
其次是探索性自我调整。
在这一阶段中,本文首先通过设计远关联的条件词,促使(1)中的模型生成多样化且与输入远关联的回答,并设计筛选流程,获得可靠的新LoT数据。随后,新数据被转换成指令微调的训练数据,用于进一步微调模型。
这一阶段可以再细分为两个步骤:
- 探索性远程关联:这一步骤鼓励LLM在给定的弱关联条件下产生创新的回应。通过这种方式,LLM学习在看似不相关的概念之间建立联系,从而生成多样化的创意内容。
- 自我精炼:在探索性远程关联的基础上,通过设计一系列筛选流程,收集到的创意回应被用来进一步训练LLM。这样做可以提高LLM在处理创造性任务时的表现,使其能够生成更高质量和多样性的内容。
性能评估
为了尽可能全面评估CLoT,这项研究基于Oogiri-GO数据集,设计了选择题和排序题作为量化评估方式。
实验结果表明,CLoT能够显著提高多模态大模型(如Qwen和CogVLM)的性能,显著超越包括GPT4v在内的先进模型。
另外,与其他先进推理框架CoT等相比,在各项量化指标下也是有显著优势的。
此外,研究团队还通过用户调查,证实了CLoT帮助模型生成了更好的幽默内容。
研究团队还考虑到了CLoT的泛化性,用“看云猜物CGG”和“发散思维测试DAT”两个其他任务评估CLoT的性能,实验结果显示CLoT相对于基准模型具有更好的准确度,说明CLoT具备不错的泛化能力。
DAT是一种用于评估人类联想创造能力的测试。
团队介绍
中山大学人机物智能融合实验室 (HCP Lab) 由林倞教授于 2010 年创办,近年来在多模态内容理解、因果及认知推理、具身学习等方面取得丰富学术成果,数次获得国内外科技奖项及最佳论文奖,并致力于打造产品级的AI技术及平台。
论文:https://arxiv.org/abs/2312.02439
Project:https://zhongshsh.github.io/CLoT/
Code:https://github.com/sail-sg/CLoT
- 未来如何设计UI?Motiff妙多联合主办UIChina16用户体验设计大会2024-12-04
- “云计算一哥”一口气发布6个大模型、3nm芯片!多模态还要搞Any-to-Any2024-12-04
- 史无前例!Seq2Seq和GAN同获NeurIPS时间检验奖,Ilya连续2年获奖2024-11-28
- 无畏契约AI陪练即将上线!新智慧心携英特尔打造,秒get游戏技巧2024-11-28