Andrej Karpathy 资源合集
简介: 前 Tesla AI 总监，OpenAI 创始团队成员，深度学习领域的先驱和教育者。以简洁清晰的代码和教学风格著称。
GitHub: https://github.com/karpathy
🧠 LLM 训练系列
nanoGPT
- 仓库: https://github.com/karpathy/nanoGPT
- 简介: 最简单、最快的 GPT 训练/微调仓库
- 特点: 极简实现，适合学习和理解 GPT 原理
llm.c
- 仓库: https://github.com/karpathy/llm.c
- 简介: 用纯 C/CUDA 实现的 LLM 训练
- 特点: 高性能，底层实现，适合理解训练细节
llama2.c
- 仓库: https://github.com/karpathy/llama2.c
- 简介: 单文件纯 C 实现的 Llama 2 推理
- 特点: 极简实现，一个文件完成推理
LLM101n
- 仓库: https://github.com/karpathy/LLM101n
- 简介: 构建故事讲述者的教程
- 类型: 教学项目
⚙️ 基础框架
micrograd ⭐ 15.8k
- 仓库: https://github.com/karpathy/micrograd
- 简介: 微型自动微分引擎和神经网络库
- 特点: PyTorch-like API，适合学习 autograd 原理
- 语言: Python
minbpe
- 仓库: https://github.com/karpathy/minbpe
- 简介: 极简的 BPE 分词算法实现
- 特点: 干净简洁的代码，理解 LLM tokenization
makemore
- 仓库: https://github.com/karpathy/makemore
- 简介: 字符级语言模型，用于生成各种内容
- 特点: 教学导向，展示 autoregressive 模型
- 语言: Python
📚 经典项目
minGPT
- 仓库: https://github.com/karpathy/minGPT
- 简介: OpenAI GPT 的极简 PyTorch 实现
- 特点: 教学友好，代码清晰
char-rnn
- 仓库: https://github.com/karpathy/char-rnn
- 简介: 字符级语言模型（LSTM/GRU/RNN）
- 特点: 经典的 RNN 实现
- 语言: Torch
convnetjs ⭐ 11.1k
- 仓库: https://github.com/karpathy/convnetjs
- 简介: 浏览器中的深度学习
- 特点: JavaScript 实现，可在浏览器中训练 CNN
- 语言: JavaScript
🛠️ 工具与其他
autoresearch
- 仓库: https://github.com/karpathy/autoresearch
- 简介: AI 代理在单 GPU 上进行研究
- 特点: 自动化研究工具
nanochat
- 仓库: https://github.com/karpathy/nanochat
- 简介: $100 能买到的最佳 ChatGPT
- 特点: 低成本 ChatGPT 实现
llm-council
- 仓库: https://github.com/karpathy/llm-council
- 简介: LLM 议会回答难题
- 特点: 多个 LLM 协作系统
arxiv-sanity-lite ⭐ 1.6k
- 仓库: https://github.com/karpathy/arxiv-sanity-lite
- 简介: arxiv 论文推荐系统
- 特点: 基于 SVM 的论文推荐
- 语言: Python
rendergit
- 仓库: https://github.com/karpathy/rendergit
- 简介: 将 Git 仓库渲染为静态 HTML
- 特点: 为人类和 LLM 生成的静态页面
cryptos
- 仓库: https://github.com/karpathy/cryptos
- 简介: 纯 Python 实现的比特币
- 特点: 教育用途，零依赖
- 语言: Python/Jupyter
📖 其他有趣项目
| 项目 | 简介 | Star |
|---|---|---|
| neuraltalk2 | 图像描述生成 | - |
| neuraltalk | 多模态 RNN 描述图像 | - |
| build-nanogpt | nanoGPT 构建教程视频 + 代码 | - |
| reader3 | 与 LLM 一起阅读书籍的示例 | - |
| jobs | 劳动力统计数据可视化工具 | - |
| reinforcejs | JavaScript 强化学习代理 | - |
| randomfun | 各种有趣的 Notebook | 1.2k |
| ulogme | Ubuntu/Mac 使用统计收集 | - |
| recurrentjs | JavaScript 深度 RNN 库 | 983 |
| pytorch-normalizing-flows | PyTorch 归一化流 | 916 |
📌 学习建议
入门路线
- 微分基础:
micrograd→ 理解 autograd - 分词原理:
minbpe→ 理解 tokenization - 语言模型:
makemore或nanoGPT→ 理解 GPT - 底层实现:
llm.c或llama2.c→ 理解高性能实现
进阶路线
- 研究 LLM 训练细节 →
llm.c - 理解多模态 →
neuraltalk2 - 探索强化学习 →
reinforcejs - 论文阅读工具 →
arxiv-sanity-lite
🔗 相关链接
最后更新：2026-05-19