OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程
复工4天就整了大活
明敏 发自 凹非寺
量子位 | 公众号 QbitiAI
大神卡帕西(Andrej Karpathy)刚“复工”,立马带来神作:
纯C语言训练GPT,1000行代码搞定!,不用现成的深度学习框架,纯手搓。
发布仅几个小时,已经揽星2.3k。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/8ec249a068d3a20334e6d7ebe3f877ae.png)
它可以立即编译和运行,和PyTorch完全兼容。
卡帕西使用的示例是GPT-2,但Llama 2和Gemma等也适用。
项目发布后,他还给出了从PyTorch迁移到C的教程。
网友们直呼:他甚至都不用C++……
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/87ec10eaa5e48b68d0796ebda4820cd1.jpeg)
而且就连怎么让大模型如法炮制的提示词,他也放了出来。现在已经有人在用Devin尝试ing。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/4c7f252cc23d2dc7500a80453b4612df.png)
手动实现每个层前向/反向传播
选择用GPT-2的原因很简单,有模型权重,采用了堆栈式的Transformer模型结构。
项目核心的重点包括:
- 直接在C/CUDA上训练LLM,速度接近PyTorch
- 通过在CPU版本中使用SIMD指令(如AVX2和NEON)聊加速CPU版本
- 支持更先进的架构,比如Llama2和Gemma
卡帕西解释,他在开始时分配了所有所需内存,训练期间内存占用保持不变,只是数据在不同批次之间动态流动。
关键在于手动实现每个单独层的前向传播和反向传播,并将它们串联起来。例如,下面是层归一化(layernorm)的前向传播和反向传播。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/2dd649ecddb7e24e762f550cf829f4a4.png)
一旦有了所有的层,把它们全部串联在一起。
卡帕西表示这写起来非常乏味且痛苦,因为过程中必须保证所有pointer和张量都正确排列。
下图中左边是分配一个单一的一维内存数组,然后将所有模型权重和激活函数都指向它。
右图为非常小心地进行pointer计算。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/bd1badd0cfe57f5579362171baefcaba.png)
一旦建立好了正向/反向传播,其他的都好说了。
但是到这部分,卡帕西觉得到了最有趣的部分。
我正在将其逐层移植到CUDA,使其更加高效,甚至可能和PyTorch效率差不多,但不会有过多依赖。
从这里开始还有一些扩展,比如精度从fp32下降到fp16或更低,以及一些更多的层(比如RoFE)来支持更先进的架构。
卡帕西表示,后面还将出一个视频进行更加详细的讲解。
更多的代码在GitHub项目页中有更具体展示。
后面他还加了一个如何从PyTorch迁移到C的教程。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/cdb9102039ed58c83d4722fbdcd34a06.png)
网友:这和LLM OS有关吗?
前几天,“消失”了一段时间的卡帕西突然发推特,表示自己前段时间戒网去了,总体来说感觉害行。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/24f0bbad4831bf51e99abb4dd12bb07b.png)
和互联网世界通上信号第4天,他就发布了这一新项目。给网友们来了点小震撼。
在一系列常规的amazing、great之外,大家对新项目主要关心三个方面。
第一,为啥不用Rust?
卡帕西表示他也在学习Rust,但是仍旧认为C语言已经很好了。
它简单、干净、轻便、美观,是最好的语言。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/561d34b65f559a7a41954aa92d598d38.png)
第二,AI程序员能写出同样的项目吗?
值得一提的是卡帕西还给出了一段提示词,表示大家可以用LLM Agent试试看。
目前的模型生成结果没那么好,但也许1、2年之后可以再看看。如果成功了……
“可能就是AGI到来了?”
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/898d60863a4ec9797c57fdc37c6dfb63.png)
现在已经有网友开始用Devin尝试了。
他担心Devin搜到了卡帕西的项目,然后直接抄下来。目前为止Devin还没有这么做。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/ab5e34641a2446ad47588f5bbd1f56fd.png)
不过卡帕西表示相比于这个,他更担心LLM Agent在1-2年后确实可以解决这个问题了,但是那时各种代码和讨论会以一种别样的方式渗透到训练数据里,导致结果不够令人满意。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/d24b3f5cecc7add117d082a02b26accc.png)
有人补充说,要加强数据管理了。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/74e1dd7b02f2f319be2fdd0cf97e386c.png)
第三个讨论比较多的话题则是,这个项目和LLM OS有关吗?
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/0540056ecfcefcbaafd73f694bdbb6f7.png)
前段时间卡帕西从OpenAI离职,计划要开始推进个人项目。
当时大家都猜测,他要做LLM OS。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/2d64a905dd7dd08cf2ec434e878b9121.png)
3月底在访谈中,他也再次聊了这个话题。
他表示,现在AGI的路线已经相对清晰了,大家都在如火如荼推进工作,大致来说,每个人都在努力构建“大模型操作系统(LLM OS)”.
我喜欢把它比作一个操作系统。你要准备好各种外围设备,然后把他们连接在一个新的CPU上。这些外围设备包括文本、图像、音频等各种模态。CPU就是语言模型本身。它还要与我们已经构建的所有Software 1.0基础设施相连。
我认为大家都在努力构建这样一个东西,然后把它定制成适用于各个经济领域的产品。
![OpenAI创始大神手搓千行C代码训练GPT,附PyTorch迁移教程](/wp-content/uploads/replace/cb3fffcc2280b47bc137d42d6209e0b3.png)
现在随着新项目推出,卡帕西的个人项目大概是已经提上日程了。
后续关于LLM.C的项目还会推出更详细的视频讲解版本,大家可以期待一波了~
GitHub地址:
https://github.com/karpathy/llm.c
参考链接:
[1]https://twitter.com/karpathy/status/1777427944971083809
[2]https://twitter.com/karpathy/status/1777493157485437009
[3]https://twitter.com/karpathy/status/1777481372636246491?s=46&t=iTysI4vQLQqCNJjSmBODPw
- 12h订单破万,卖爆了的国产AR眼镜公司什么来头?2024-07-26
- 联想CTO换帅!芮勇转任新集团总裁,瞄准新兴技术2024-07-26
- ICML最佳论文曾被ICLR拒稿,Pika联创参与,一作已入职OpenAI2024-07-25
- 北大刘若川教授获拉马努金奖,中国学者4次获此殊荣2024-07-24