OpenAI如何组织员工学习?这里有一份课程与书籍清单

鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

在人工智能领域,知识的更新速度超乎想象,去年BERT还制霸各大排行榜,转眼XLNet又来了。

对于AI公司的员工来说,若不追逐技术的浪潮,就很有可能在人工智能时代的激烈竞争中越来越力不从心。

及时迭代技术,正与公司的期待不谋而合。AI公司本身当然也不希望看到员工被技术瓶颈卡住。

那么,那些走在人工智能浪尖的大公司,都是怎么组织员工紧跟AI技术风向的呢?

OpenAI主动把星期四设成了学习日,让员工可以自由学习日常工作中学不到的东西。

每周四,不用管手头的项目,想看啥论文就看啥论文,哪怕是复习复习线性代数,那也是极好的。

妈妈再也不用担心我把线代知识全还给了老师。

难怪有网友说:好想加入OpenAI啊。

自由学习的工作日

这个学习日,到底是怎么一回事呢?

OpenAI的说法是,在这一天里,员工们可以自由地学习想学的知识,只要他们觉得这些新技能能帮助自己提升工作水平,并且在日常的工作中并没有机会学到。

拿OpenAI的机器人团队举个例子,在这一天里,他们通常会做这些事情:

  • 阅读AI论文
  • 重现AI论文
  • 学习AI教程
  • 开展自己的AI项目
  • 学习数学基础:线性代数,统计学等等
  • 学习机器学习基础:信息论,贝叶斯推理等等
  • 学习工程方面的知识:了解最新的编程语言,框架等等
  • 学习管理方面的知识:自我管理,优先排序,知名实验室都怎么运作blabla
  • 学习机械工程或开展机械工程研究项目
  • 学习任何可以帮助提高工作水平的技能,比如写作

以上也只是建议,深度学习一下《权重不可知的神经网络》当然很好,《黑暗领域:网络战争秘史》这种历史读物也一样没什么问题,甚至,公司还给你报!销!

量子位曾解读《权重不可知的神经网络》:https://mp.weixin.qq.com/s/mQ01MkRCWL0gZVtVWZmbJw

想巩固一下数学知识?买书!请老师!别犹豫,OpenAI投资你!

简直令人感动。

来自机器人团队的妙想

OpenAI周四学习日现在已经普惠到全公司,成为公司文化的重要组成部分。

不过在一开始,是机器人团队做了第一个吃螃蟹的人。

机器人团队的负责人Woj(Wojciech Zaremba)是这样想的:

我意识到我在许多领域面前止步不前,因为日常工作中有太多紧急任务。而这对我的工作是很不利的,比如说,我一直想评估我的团队是否应该更换深度学习框架,但我总是会被各种工作上的事打断。

粗浅的零碎时间阅读对此并没有什么帮助。

最好的解决方案就是每天空出一天来学习。我想如果我需要这样一天来提高我的工作效率,那么我的团队成员们也一样有此需求。

短期生产力是会受到影响,但在一到两年之内,由此产生的增长就会显现。

在实行了学习日计划之后,仅仅过去了一个月,团队中研究员和工程师之间的交流就明显顺畅了起来,每个人都开始正确地使用术语。

半年之内,研究人员会讨论用什么样的设计重组代码库了,而工程师也更多地参与到了研究项目当中。

鹅妹子嘤。

Woj提到,OpenAI一向鼓励自学,但光说鼓励,emmm,并没有什么效果。

你招了一名工程师,你希望TA更懂机器学习,一个月过去了,TA很可能还是对ML不明觉厉。

自从有了学习日之后,情况就不一样了。

在机器人团队中,有成员本来对机器学习一无所知,三个月后,能给CV(计算机视觉)项目贡献代码了。

还有一位工程师大佬,学了RL(强化学习)才半年,做出来的东西快赶上RL博士水平了。

跨领域人才在哪里都受欢迎,OpenAI也不例外。他们决心把学习日活动推广到全公司,在公司内部发展多面手们。

毕竟,不懂数学的软件工程师不是好机器学习科学家嘛。

实现细节

所以学习日等于多放一天假?

非也非也。

这不是休闲日,只是换一种努力工作的方式。

学习日,可是有很多细节的。

Q1:学习日被用来工作怎么办?

首先,要保证体育课不变成作业课,啊呸,要保证学习日不变成普通工作日。

即使领导不着急,团队成员们还是可能想要更快地完成手头的项目。

OpenAI的解决方式是,所有团队都在同一天举办学习日活动。全公司的人都没在工作,你还会选择项目而不是那篇早就想好好拜读一下的大神论文吗?

Q2:学习日变成休闲日怎么办?

又想重复周末葛优躺一整天的操作?快别想了,每个团队成员都要在Geekbot的Slack上分享自己的学习进展。

别人都五杀了你还蹲在家里喝泉水,还怎么跟小伙伴愉快地玩耍?

反正在OpenAI,程序员们都兴奋地push了起来。

真是别人家的公司啊。

One More Thing

最后,来看看OpenAI员工们都学了什么吧。

深度学习论文:

Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules:

https://arxiv.org/abs/1905.05393

Learning Domain Randomization Distributions for Transfer of Locomotion Policies:

https://arxiv.org/abs/1906.00410

Neural Graph Evolution: Towards Efficient Automatic Robot Design Learning to Learn with Probabilistic Task Embeddings:

https://bair.berkeley.edu/blog/2019/06/10/pearl/

Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies:

http://perceptual.actor/assets/main_paper.pdf

Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables:

https://arxiv.org/abs/1903.08254

Does computer vision matter for action?

https://arxiv.org/pdf/1905.12887.pdf

WAIC, but Why? Generative Ensembles for Robust Anomaly Detection:

https://arxiv.org/abs/1810.01392

Weight Agnostic Neural Networks:

https://arxiv.org/abs/1906.04358

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations:

https://arxiv.org/abs/1811.12359

Deep unsupervised learning:

https://arxiv.org/abs/1811.12359

Deep RL Bootcamp:

https://sites.google.com/view/deep-rl-bootcamp/lectures

深度学习代码:

Reptile and MAML

Play with code in JAX

Apply Sparse Transformers to vision tasks

Implement LSTM and transformer from scratch; train them on Penn treebank

Train a neural net to reproduce the behavior of a physical motor

数学:

Time Series Analysis

The Book of Why: The New Science of Cause and Effect

历史:

Dark Territory: The Secret History of Cyber War

The Hacked World Order: How Nations Fight, Trade, Maneuver, and Manipulate in the Digital Age

Technology Transfer to the USSR. 1928-1937 and 1966-1975: The Role of Western Technology in Soviet Economic Development

The Turing Test: Verbal Behavior as the Hallmark of Intelligence

The Information: A History, A Theory, A Flood

Radical Markets: Uprooting Capitalism and Democracy for a Just Society

参考资料:

https://openai.com/blog/learning-day/

— 完 —

版权所有,未经授权不得以任何形式转载及使用,违者必究。