沈向洋周明杨格大模型激辩:继续爆堆参数,大模型能出现新的「智能涌现」吗?
大模型和AGI的问题与挑战
萧箫 西风 发自 凹非寺
量子位 | 公众号 QbitAI
大模型掀起了一波AI领域的热潮,无论学界研究还是产界创业都风头不减。
然而随着关注度变高,AI大牛们对于“大模型未来要走什么路”也产生了分歧:
- 随着参数量的增加,AI模型是否还会有新的“智能涌现”出现?
- 更多模态、更优质的数据,会是AI模型未来发展的关键吗?
- 为什么中国没有出现ChatGPT?
- ……
在一场名为“基础科学与人工智能”的论坛上,来自不同领域的几位AI专家,针对这些问题提出了非常激烈的、不同的看法。
这场论坛由清华大学教授孙茂松主持,美国国家工程院外籍院士沈向洋、德国国家工程科学院院士张建伟、澜舟科技创始人兼CEO周明、xAI创始成员杨格参与了圆桌对话环节。
在对话中,他们核心探讨了包括大模型和通用人工智能在内,AI领域当下最关心的几个问题。
在不改变原意的基础上,我们对圆桌对话部分进行了整理,希望能给大家带来一些启发。
大模型和AGI的问题与挑战
在进行了“如何用大模型创造价值”、“数学理论和智能涌现”、“基础科学与具身智能”等主题的演讲后,5位AI大牛就“大模型及通用人工智能:问题与挑战”这一主题,开展了一场圆桌对话。
“大”是模型的未来吗?
孙茂松(主持人):先从GPT-3那篇论文说起。我当时注意到它的题目《Language Models are Few-Shot Learners》,一下子就被这个观点抓住了,少样本(Few-Shot)扭转了我们之前说有多少智能就有多少人工的观点,这实际上是质的变化,好像机器有了举一反三的能力。
但我们没有抓住这个再往下走,当时国内的判断,其实国内的自然语言处理、人工智能领域,从2012年到现在都跟得很紧,包括学校、微软研究院、大厂等都跟得很紧,应该说我们基本上在国际前沿领域在做,像周明是ACL前任主席,我们中国学者在ACL上面发论文的数量,我估计跟美国人差不多,但是(GPT-3)这件事我们就没抓住。
当时我们感觉这种规模大的模型,虽然看到了少样本(Few-Shot),但我们潜意识认为它的性能会到天花板。而OpenAI显然不一样,它坚信这个(性能)会往上走,就有了后来的ChatGPT。
过去的事就过去了,未来可以想象这个模型会越来越大,除了文本,我们把图像、视频、三维、具身全给打进去,比如模型规模到了再大的十倍、甚至百倍,百倍估计就跟人脑的参数规模差不多了,到那时候会不会还有新的涌现?
它会饱和吗?还是到哪个点可能又往上“跳一跳”?
这个我们应该有个判断,如果抓不住我们可能会又一次大幅落后。这个问题大家做一下自己的判断,讲一讲为什么?先从杨格开始吧。
沈向洋:老师不介意的话,我先隆重介绍一下杨格。做老师最开心的不过是介绍自己的学生,非常有幸很多年前因为丘先生的原因认识了杨格,他在北京长大,很小就去了美国,考上了哈佛数学系本科,读书读得很好,休学的一段时间是去追求他的音乐梦想,出去做DJ,打碟打了一两年,后来发现真爱还是数学,再回到哈佛一发不可收拾,念书念得非常好。
毕业的时候丘先生问他“你毕业去哪儿”,他说“我要去谷歌”,丘先生说“谷歌这种很差的公司就不要去了,我有个朋友叫沈向洋,我马上给他打电话”。
然后丘先生给我打电话,我电话面试了杨格,但是我数学不够好,我不能完全相信丘先生的推荐,我就让我手下的菲尔兹奖获得者Michael Freedman面试了他,面试之后(Michael Freedman)说这个小孩不得了,那时候他才刚刚本科毕业,但在哈佛至少是前五名的水平。
我当时跟杨格讲,你把谷歌的Offer拿来给我看一看,我给你加一块钱,就来微软吧。所以他就这样来了微软,我们微软研究院平时只招博士生的,杨格作为一个本科毕业生进了微软研究院,不仅进了微软研究院,过去这五年还做得无比优秀,特别是在GPT发展过程中做了举足轻重的贡献。
最近马斯克在做一家初创企业、一个新的独角兽企业,叫xAI,杨格是最早被马斯克邀请为合伙人的。我先这样简单介绍一下杨格,然后他回答一下孙老师这个很难的问题。
杨格:我试着回答一下孙老师的问题。您的问题是说以后把模型变得更大、数据集更大,(性能)是不是还会继续上升?
这个看情况,但至少是这样的,模型变得更大的话,再调整训练集(fix training set)、就是同样的训练集(training set),训练损失(training loss)肯定是一直会下降到0。但是在训练集(training set)和最后想要的通用智能(general intelligence)之间,这个距离(gap)大小的话,那就要看你收集的数据集是质量好还是差。
所以,模型越来越大的同时,要收集越来越多的、质量越来越好的数据集,并且数据集要更加丰富。以前是用更加偏向网上舆论之类的数据集,以后要用更加偏向数学、科学、更有逻辑性的训练集(training set),这样以后才能提高模型的科学和数学的推理能力,这个还有很长的路可以走。
孙茂松(主持人):模型性能肯定会上升,这个没问题。我的这个问题,说再直白一点,比如在图像这个领域,有没有可能将来产生涌现?
因为现在图像的模型是比较小的,我看和文本模型相比图像模型大小只有十分之一、还差得很远。那如果把图像模型这部分做大,特别是在一个时序空间里面把视频放进来,先不说三维,就说在视频领域有没有可能产生一个涌现?不光是文本领域。
杨格:那肯定的。我刚才说数据集更加丰富,指包括视频、文本、图片等数据我觉得都可以加到里面。以后还有其它的信息(signal)、专门的信息(signal),都可以用来搜集成更丰富的训练集(training set),我觉得肯定都会有用,就是看它的质量。
沈向洋:我补充一下,我也同意杨格讲的,这个(大模型的)能力我个人认为还没有到底。这并不代表我不同意周老师演讲中提到的,有了大模型,还要有行业模型、场景模型,这个为了落地肯定要做的。但是从智能的角度来讲,我自己觉得GPT-3只是起了个头。现在GPT-4让大家很震惊、GPT-5还在探索,甚至过一两年GPT-5出来以后,我觉得肯定也还没有到底。
对于我们做科研的人来说,很重要的问题是(大模型性能)是否还会猛涨?至少做GPT-5的这帮人认为还是会猛涨。我个人也是充分地相信,我们今天还是要下定决心、要有一批人狠狠地做大模型,这是毫无疑问的。
那么刚才讲到多模态、计算机视觉,我自己也是非常相信,今天视觉大模型还是做得不够大。我们怎么去训练多模态?其实GPT-4都没有做得很好、还有很多想象的空间,你也知道,我们在IDEA研究院也在继续尝试做更多这样的东西。
过去这几年,有几篇文章我自己是很震惊的,其中一篇文章就是谷歌的ViT(Vision Transformer)。
你问我计算机视觉会不会有(智能涌现)?我们以前做计算机的时候,周老师做自然语言处理,我以前做计算机视觉,我们俩人基本上很少交流,因为我们隔行如隔山。
大模型一来彻底打破了壁垒。今天周老师可以走出来,滔滔不绝讲一通计算机视觉,我听了会以为他真的很懂,原因就是这些技术,像(ViT里面的)Transformer,其实是从自然语言领域出来的,ViT非常简单,它里面把一张照片划成一格一格,每格就是一个字了。这里面我觉得充满着想象力,计算机视觉大模型会越来越大、越来越好。
张建伟:我也补充一下,未来学习曲线增长会多陡,我觉得一方面在于数据的质量和数据的多样化,如果都是同质化的数据,学习是不会再增长的,这方面数据的多样化非常重要。另一方面是语言的多样化和文化的多样化,还有多模型的富集(enrichment)。
我想现在单模态纯语言模型出现的问题,未来可以用多模态的形式进行验证,降低非常愚蠢的问题出现的几率,提高它的可靠性。未来在图像方面的模态(modelity),甚至在具身智能的力觉、触觉、整个交互全模态的信息,不只是对机器人有用,对整个大模型的质量和它的可靠性,都有非常好的影响。
周明:我补充一下,刚才几位老师讲得都很好。我是这样的观点,纯粹加数据它肯定还会涨,但是涨的陡度,我个人认为会越来越平,但什么时候开始平下来还不知道,是不是现在ChatGPT、GPT-4、GPT-5之后就开始平,还是会再涨不知道,但是我觉得还是会涨,这是第一个观点。
第二个观点,我认为(大模型)到一定程度会黔驴技穷。但我的观点被很多人骂,说你是反对大模型,你家里没有钱,所以升不了这么大的模型。
我认为,像刚才建伟也讲,异构或者说异质的信息有可能帮助大模型增长。
举个例子,很多人都反对知识图谱,认为知识图谱在大模型时代就是“Nothing”。但我个人认为,知识图谱肯定是没用好,而不是“Nothing”,未来是有可能用好的。现在用土办法,把知识图谱变成文字再训练大模型,我认为是逆历史潮流而动,是没有办法的办法,未来肯定有好的办法把知识图谱用在大模型里,这是第一。
第二,还有一件事就是所谓的逻辑推理。用大模型做美国律师考试的问题,无论什么大模型,能力都是在一点点增长,但特别特别慢。我觉得这跟丘先生倡导的交叉学科是非常有关的,如果我们把数学逻辑推理巧妙地融入到大模型中,兴许有一天我们能看到大模型更大幅度地增长。
为什么中国没有出现ChatGPT?
孙茂松(主持人):我还想再问一个问题。ChatGPT出来以后,大家捶胸顿足,说这个为什么中国没搞出来?咱们展望未来,这里面肯定有很多深刻的问题。像我们的高等教育,大家能不能给提点什么建议,比如我们培养学生的时候,或者学生接受我们某种教育的时候,应该注意点什么?
或者有高度交叉性、创新性工作的时候,老师应该注意点什么,学生应该注意点什么?
杨格:很简单,就是“Follow your dreams”。因为你看这一阶段的很多杰出的搞AI的人,像工程师、研究人员,有几个都是像我这样没有读博士,只是就想去干,拼一下就拼出结果的,像Alec Radford,GPT-1、GPT-2都是他自己做的,后来OpenAI就开始砸钱了。曹操说的“乱世出英雄”,这是个新世界,你不要想一些外部环境,直接去干,很有可能擦出火花,这就是要你自己有热情。
孙茂松:我特别同意,要有梦想、有热情。
张建伟:刚才提到的兴趣型,我想作为我们未来人才培养是一个重要的指标。现在国内经常从高考就以分为最重要的指标,到大学实际上我们可以转换一些方式,让靠兴趣驱动的学生变得越来越多,功利型的学生变得越来越少。要允许愿意探索的学生失败,年轻人还有很长的时间,他们有时间失败和探索,这方面的趋势应该继续鼓励。
科研方面,我们也要减少现在比较死板的KPI方式,允许科学家坐冷板凳,十年磨一剑,允许失败,才有可能出现GPT这样重大的突破。
周明:我想替那些起于微末之时的学生说句话。很多学生不是名校、名专业的,数学也不是太好,编程也一般,这样的人怎么实现美好的前程?我想多说一句这样的话,第一,不要气馁。
总有某一点是别人不如你的地方,比如说刘备同学,刘、关、张其实他的武力最弱,他还能把关、张两个人忽悠起来一起干。我们每个同学都有自己的优点,你从你的优点出发,买到一张船票,上了船就有很多同志跟你一起航行,实现伟大的梦想,这是我的建议。
沈向洋:您这个问题问的很难,你自己也是清华的教授,我自己在清华也带过一些学生,在微软研究院工作很多年,现在做数字经济研究院在深圳,最近担任香港科技大学校董会主席,有机会思考高等教育和科研的问题。
我觉得现在全国都在想一个问题,在这样新的科技发展的形势下,一方面是学校对孩子们的培养,要能提供一些宽松的环境、创新的机会。我特别喜欢刚才周明讲的,每一个人都有自己的机会,特别是如果有机会进入一些机构、单位学习,抓住这样的机会,总是可以做一些非常了不起的事情。
从我们的角度来看,更加要思考有没有一些方式,怎么样做好有组织的科研。因为你问GPT这件事情,GPT出来之后大家一片焦虑之声,你一定要知道,ChatGPT发生在美国也是很偶然的一个事件。
ChatGPT发生前一年,不要说我们这些人没有反应过来,盖茨自己也没有反应过来。盖茨说,直到去年6月份,他都不相信这件事能做出来,一直到8月份给他Demo了,其中60道题做对59道,他那时候才相信这件事真是这样。
我想每一个不同的行业的问题,是需要我们找出一条自己的道路,怎么样有组织做科研的道路。OpenAI这样的做法,跟我们微软研究院是非常不一样的打法,OpenAI有了这样的成功,也不代表他接下来马上会继续不断成功。
只有时间能证明,所以我们自己要有努力奋斗的精神,不断地尝试如何把大家组织起来,在现在的形势下做科研。
举个具体的例子,刚才周明也讲到了,我刚才演讲里也讲到了算力的问题。今天没有这样强大的算力,杨格去了马斯克那里,马斯克给他买一万张卡的话,杨格去了也是英雄无用武之地。从这个意义上讲,我觉得方方面面的配合也非常重要,这是非常困难的问题,我也只能分享一点自己粗浅的看法。
对几位AI大牛的主题演讲、以及圆桌论坛感兴趣的,可以戳直播回放观看~
“基础科学与人工智能”论坛直播回放:
https://live.huiyiguanjia.com/PcLivePro/index.html?istest=true&rid=1162369611
- 非Transformer架构新模型爆火,从第一性原理出发,MIT CSAIL衍生团队打造2024-10-01
- 姚期智院士大模型新研究:思维图DoT,用数学理论确保AI逻辑一致2024-09-24
- 奥特曼否认拿股权!但OpenAI投资人硬要塞给他:为确保CEO利益与公司一致2024-09-27
- 上海人形机器人已进厂实习2024-09-26