奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线
“草莓”给新旗舰生成训练数据
西风 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI新模型,怕是真的要来了。
神秘模型“草莓”被曝今年秋天可能就与大家见面!
顺带着GPT-4继任者也浮出水面。
The Information称,OpenAI已经悄摸展示过“草莓”,它还被用来改进代号“猎户座(Orion)” 的新模型。
“猎户座”定位是新旗舰,也就是GPT-4的下一代。
有意思的是,OpenAI目前正在专门招人调查自家员工,职位叫:技术内部风险调查员。
来看看这五条职责:
- 整合各种数据源检测、分析并缓解潜在的内部威胁
- 构建、保持并改进用于识别内部威胁的关键指标和实际应用场景
- 调查可疑行为,并与法律及人力资源部门协调
- 与跨学科团队合作,填补监控盲点并提高安全措施
- 确定并监管数据丢失预防控制的执行
好像句句都在透露加强对内控制,抓内鬼。
回想一下GPT-4o发布前,也有一波查内鬼的动作,当时方式是放各种假消息。
先是大张旗鼓给SearchGPT搜索引擎造势,路透社啊、彭博社啊这些权威媒体刚把消息放出去,OpenAI来了个出其不意。
宣布改成对ChatGPT和GPT-4的升级,也就是后来发布了GPT-4o。
对应OpenAI这波新的内紧,有新动作大概率是没跑了。
先具体来看看这次关于神秘新模型“草莓”和“猎户座”的新细节。
“草莓”用于生成合成数据
“草莓”模型第一次“泄露”是在一个月前。这次The Information曝出消息:
OpenAI目标是尽快秋天推出“草莓”,可能同样是以聊天机器人形式,集成在ChatGPT系中。
“草莓”能解决它之前未遇到过的数学推理问题,还专门针对编程问题受过训练,且能力不仅限于回答技术性问题。
给它更多时间“思考”,它还能回答更主观话题的问题,例如产品营销策略,像《纽约时报》游戏版块的Connections复杂文字谜题也难不倒它。
如刚刚提到的,“草莓”还将用于改进另一个新模型“猎户座”。
知情人表示,OpenAI用更大版本的“草莓”生成用于训练“猎户座”的数据,即“合成数据”。
也就是说“草莓”可能还不止一个版本。
聊天机器人版本是原始草莓模型的“蒸馏”简化的“小草莓”,它力求保持与更大型号相同的性能,同时操作更容易且成本更低。
除此外,“草莓”还可以为OpenAI即将推出的Agent提供帮助。
GitHub Copilot前首席架构师、初创公司Minion AI CEO Alex Graveley表示,使用“草莓”生成更高质量的训练数据可以帮助OpenAI减少其模型产生“幻觉”。
The Information还称,奥特曼曾在五月份的一次活动中表示“对于下一个模型来说,我们已经有足够数据了。我们进行了各种实验,包括生成合成数据”,这有可能就是在说猎户座。
OpenAI这边暂未对The Information的爆料发表评论。
网友讨论热烈,纷纷表示“猎户座”应该就是GPT-5。
有网友还翻出,知名OpenAI爆料账号Jimmy Apples去年曾发过一张“猎户座”照片,又“预言”了?
网友摩斯继续分析,OpenAI去年内斗,奥特曼11月17被解雇,11月22复职,Jimmy Apples发上面这个猎户座的帖子卡在11月25日。
难不成,Ilya看到的是这?
还有网友认为草莓/Q*更像是一种技术,而不是一个模型:
它可能生成100个假设或答案,然后对它们进行排名,选出最优解。虽然这一过程非常消耗计算资源,但它有可能显著减少错误信息并将推理能力提升5倍。
关于“草莓”的更多技术细节,之前爆料的说法是这样婶儿的:
“草莓”已经在非常大的数据集上完成预训练,并使用了一种专门的处理方法。
包括后训练(post-training);或者在已经进行大规模训练后,再调整基础模型来“磨炼”性能。后训练部分包括常见的微调、人类反馈强化学习(RLHF)等。
而且“草莓”与斯坦福大学在2022年(当时ChatGPT还未发布)提出的一种名为自学推理(Self-Taught Reasoner,简称STaR)的方法很相似。
One More Thing
OpenAI团队这边还有更多新消息传出。
前OpenAI员工Daniel Kokotajlo爆料,曾专注于超强AI长期风险的安全团队员工近半数已离职。
参考链接:
[1]https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion
[2]https://www.reddit.com/r/singularity/comments/1f2iism/openai_shows_strawberry_ai_to_the_feds_and_uses/
[3]https://www.reddit.com/r/singularity/comments/1f25bha/exodus_at_openai_nearly_half_of_agi_safety/
[4]https://x.com/apples_jimmy/status/1728239862346903924
[5]https://www.businessinsider.com/openai-is-hiring-someone-to-investigate-its-own-employees-2024-8
[6]https://openai.com/careers/technical-insider-risk-investigator/
- 腾讯3D大模型全面开源,文本图像10秒转3D资产,模型权重、推理代码全开放2024-11-05
- 鹅厂版AI笔记悄悄上线,微信公众号优质内容秒变专属知识库,实测在此2024-10-29
- 什么会影响大模型安全?NeurIPS’24新研究提出大模型越狱攻击新基准与评估体系2024-10-31
- o1推理将用于图像理解,现场演示2分钟开发应用,OpenAI在伦敦捅了开发者窝2024-10-31