OpenAI如何组织员工学习?这里有一份课程与书籍清单
鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
在人工智能领域,知识的更新速度超乎想象,去年BERT还制霸各大排行榜,转眼XLNet又来了。
对于AI公司的员工来说,若不追逐技术的浪潮,就很有可能在人工智能时代的激烈竞争中越来越力不从心。
及时迭代技术,正与公司的期待不谋而合。AI公司本身当然也不希望看到员工被技术瓶颈卡住。
那么,那些走在人工智能浪尖的大公司,都是怎么组织员工紧跟AI技术风向的呢?
OpenAI主动把星期四设成了学习日,让员工可以自由学习日常工作中学不到的东西。
每周四,不用管手头的项目,想看啥论文就看啥论文,哪怕是复习复习线性代数,那也是极好的。
妈妈再也不用担心我把线代知识全还给了老师。
难怪有网友说:好想加入OpenAI啊。
自由学习的工作日
这个学习日,到底是怎么一回事呢?
OpenAI的说法是,在这一天里,员工们可以自由地学习想学的知识,只要他们觉得这些新技能能帮助自己提升工作水平,并且在日常的工作中并没有机会学到。
拿OpenAI的机器人团队举个例子,在这一天里,他们通常会做这些事情:
- 阅读AI论文
- 重现AI论文
- 学习AI教程
- 开展自己的AI项目
- 学习数学基础:线性代数,统计学等等
- 学习机器学习基础:信息论,贝叶斯推理等等
- 学习工程方面的知识:了解最新的编程语言,框架等等
- 学习管理方面的知识:自我管理,优先排序,知名实验室都怎么运作blabla
- 学习机械工程或开展机械工程研究项目
- 学习任何可以帮助提高工作水平的技能,比如写作
以上也只是建议,深度学习一下《权重不可知的神经网络》当然很好,《黑暗领域:网络战争秘史》这种历史读物也一样没什么问题,甚至,公司还给你报!销!
量子位曾解读《权重不可知的神经网络》:https://mp.weixin.qq.com/s/mQ01MkRCWL0gZVtVWZmbJw
想巩固一下数学知识?买书!请老师!别犹豫,OpenAI投资你!
简直令人感动。
来自机器人团队的妙想
OpenAI周四学习日现在已经普惠到全公司,成为公司文化的重要组成部分。
不过在一开始,是机器人团队做了第一个吃螃蟹的人。
机器人团队的负责人Woj(Wojciech Zaremba)是这样想的:
我意识到我在许多领域面前止步不前,因为日常工作中有太多紧急任务。而这对我的工作是很不利的,比如说,我一直想评估我的团队是否应该更换深度学习框架,但我总是会被各种工作上的事打断。
粗浅的零碎时间阅读对此并没有什么帮助。
最好的解决方案就是每天空出一天来学习。我想如果我需要这样一天来提高我的工作效率,那么我的团队成员们也一样有此需求。
短期生产力是会受到影响,但在一到两年之内,由此产生的增长就会显现。
在实行了学习日计划之后,仅仅过去了一个月,团队中研究员和工程师之间的交流就明显顺畅了起来,每个人都开始正确地使用术语。
半年之内,研究人员会讨论用什么样的设计重组代码库了,而工程师也更多地参与到了研究项目当中。
鹅妹子嘤。
Woj提到,OpenAI一向鼓励自学,但光说鼓励,emmm,并没有什么效果。
你招了一名工程师,你希望TA更懂机器学习,一个月过去了,TA很可能还是对ML不明觉厉。
自从有了学习日之后,情况就不一样了。
在机器人团队中,有成员本来对机器学习一无所知,三个月后,能给CV(计算机视觉)项目贡献代码了。
还有一位工程师大佬,学了RL(强化学习)才半年,做出来的东西快赶上RL博士水平了。
跨领域人才在哪里都受欢迎,OpenAI也不例外。他们决心把学习日活动推广到全公司,在公司内部发展多面手们。
毕竟,不懂数学的软件工程师不是好机器学习科学家嘛。
实现细节
所以学习日等于多放一天假?
非也非也。
这不是休闲日,只是换一种努力工作的方式。
学习日,可是有很多细节的。
Q1:学习日被用来工作怎么办?
首先,要保证体育课不变成作业课,啊呸,要保证学习日不变成普通工作日。
即使领导不着急,团队成员们还是可能想要更快地完成手头的项目。
OpenAI的解决方式是,所有团队都在同一天举办学习日活动。全公司的人都没在工作,你还会选择项目而不是那篇早就想好好拜读一下的大神论文吗?
Q2:学习日变成休闲日怎么办?
又想重复周末葛优躺一整天的操作?快别想了,每个团队成员都要在Geekbot的Slack上分享自己的学习进展。
别人都五杀了你还蹲在家里喝泉水,还怎么跟小伙伴愉快地玩耍?
反正在OpenAI,程序员们都兴奋地push了起来。
真是别人家的公司啊。
One More Thing
最后,来看看OpenAI员工们都学了什么吧。
深度学习论文:
Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules:
https://arxiv.org/abs/1905.05393
Learning Domain Randomization Distributions for Transfer of Locomotion Policies:
https://arxiv.org/abs/1906.00410
Neural Graph Evolution: Towards Efficient Automatic Robot Design Learning to Learn with Probabilistic Task Embeddings:
https://bair.berkeley.edu/blog/2019/06/10/pearl/
Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies:
http://perceptual.actor/assets/main_paper.pdf
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables:
https://arxiv.org/abs/1903.08254
Does computer vision matter for action?
https://arxiv.org/pdf/1905.12887.pdf
WAIC, but Why? Generative Ensembles for Robust Anomaly Detection:
https://arxiv.org/abs/1810.01392
Weight Agnostic Neural Networks:
https://arxiv.org/abs/1906.04358
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations:
https://arxiv.org/abs/1811.12359
Deep unsupervised learning:
https://arxiv.org/abs/1811.12359
Deep RL Bootcamp:
https://sites.google.com/view/deep-rl-bootcamp/lectures
深度学习代码:
Reptile and MAML
Play with code in JAX
Apply Sparse Transformers to vision tasks
Implement LSTM and transformer from scratch; train them on Penn treebank
Train a neural net to reproduce the behavior of a physical motor
数学:
Time Series Analysis
The Book of Why: The New Science of Cause and Effect
历史:
Dark Territory: The Secret History of Cyber War
The Hacked World Order: How Nations Fight, Trade, Maneuver, and Manipulate in the Digital Age
Technology Transfer to the USSR. 1928-1937 and 1966-1975: The Role of Western Technology in Soviet Economic Development
The Turing Test: Verbal Behavior as the Hallmark of Intelligence
The Information: A History, A Theory, A Flood
Radical Markets: Uprooting Capitalism and Democracy for a Just Society
参考资料:
https://openai.com/blog/learning-day/
— 完 —
- 科研版AI搜索来了!知乎直答接入正版论文库,一手实测在此2024-11-01
- 微软清华改进Transformer:用降噪耳机原理升级注意力,一作在线答疑2024-11-03
- o1满血版泄露!奥数题图片推理手拿把掐,奥特曼上线剧透o22024-11-03
- 全国第二!智平方荣获第十三届全国创新创业大赛初创型企业全国总决赛第二名(新一代信息技术赛道)2024-11-03