OpenAI开300万+年薪招「超级AI研究员」，投入20%总算力成立新部门，目标4年内「控制奥创」
OpenAI：控制奥创需要先开发贾维斯
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI一次性拿出20%总算力，投入全新研究方向——
超级智能对齐（Superalignment）。
先说说OpenAI的20%总算力什么概念？
光是微软此前专门给他们打造的一台超级计算机，就有285000块CPU和上万块英伟达A100 GPU。
外界没人知道OpenAI现在拥有多少H100 GPU，只知道他们总融资113亿美元，还要算上微软额外提供的Azure云算力。
这番大手笔，仿佛直接在科技圈扔下一个炸弹。
再看这份公告中的微妙用词区别：
不是通用人工智能（AGI），甚至干脆去掉了人工二字。
直接越级瞄准如何控制超级智能，其定义为比人类聪明得多的AI系统（much smarter than us）。
正文则明晃晃地写着：虽然看起来还很遥远，但我们相信超级智能将在这个十年段到来。
现在是2023年下半年，总共留给人类的时间还有6年半。
OpenAI给自己定的时限更短，只有4年。
控制“奥创”需要“贾维斯”
有网友将OpenAI公布的研究方法形容为“贾维斯vs奥创”。
OpenAI明白靠人类自己已无法完成，提出新概念自动对齐研究员（automated alignment researcher）
也就是先训练一个大致达到人类水平的AI研究员，再投入大量算力快速迭代。
翻译一下：先努力达到技术奇点，然后直接开启大爆炸。
整个计划的基石，就是先打造第一个自动对齐研究员。
为此OpenAI提出一个临时解决方案，分为三项：
- 开发一个可扩展的训练方法
为了在人类难以评估的任务上提供训练信号，需要利用AI来协助评估其他AI系统，称为“可扩展的监督”。
- 验证第一步产生的模型
为了验证系统的一致性，自动搜索有问题的行为和有问题的内部结构。
- 对整个管道流程做压力测试
通过故意训练不对齐的模型来测试整个管道，并确认技术可以检测到最糟糕的错误类型，也就是对抗性测试。
为什么说是临时解决方案？
OpenAI预计随着对问题进一步了解，研究重点将发生实质性变化，很可能增加全新的研究领域。
再翻译一下：只能走一步看一步。
首席科学家带队，成立全新部门
研究顶级的问题需要顶级的团队。
OpenAI联创和首席科学家Ilya Sutskever将与此前的对齐团队负责人Jan Leike共同领导新部门。
而成员不光包括OpenAI自己的员工，也包括来自其它公司的研究人员。
Ilya Sutskever是2012年开启深度学习时代的AlexNet作者之一，也是AlphaGo作者之一，此前已将AI对齐作为他的核心研究重点，总引用数超过40万。
Jan Leike则是ChatGPT的前身InstructGPT论文作者之一，并且早在2017年就参与了OpenAI与DeepMind合作的人类反馈强化学习方法。
Jan Leike认为，OpenAI此次投资很可能比全人类此前对AI对齐研究的所有投资加起来还多。
算上这二位，目前新团队已有10位成员。
新一轮招聘也随之开启，分为研究经理（年薪42万-50万美元），研究科学家与研究工程师（年薪24.5万-45万美元），两种级别三个岗位。
谁来监管监管者？
对于OpenAI的大动作，学术界有不同观点。
认同的学者表示：自然智能通过竞争的进化奖励产生，AI通过对齐人类利益的进化奖励产生，并期待未来的效果。
但也有人表示OpenAI从根本上就错误地理解了“对齐”这个概念。
他认为对齐不能是强制控制，而应该是使双方利益一致，类似于“堵不如疏”。
有网友吐槽“真不敢相信，AGI很可能在鸽了很久的《上古卷轴6》游戏之前到来。”
评论区有人指出，到时候你想玩什么游戏让AI去做就好了。
也有网友灵魂发问，谁又来监管监管者呢？
参考链接：
[1]https://openai.com/blog/introducing-superalignment
[2]https://twitter.com/OpenAI/status/1676638358087553024
[3]https://www.reddit.com/r/singularity/comments/14rh1l1/superintelligence_possible_in_the_next_7_years/
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
- 所有生命分子皆可AI预测！AlphaFold3来了，全球科学家免费使用2024-05-09
- 58行代码把Llama 3扩展到100万上下文，任何微调版都适用2024-05-06
- AI学会隐藏思维暗中推理！不依赖人类经验解决复杂任务，更黑箱了2024-05-05
- 一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%2024-05-03
相关阅读
