📚 大语言模型（LLM）学习路径和资料汇总

💬 荣誉归属于原作者

• 本文内容：整理/重构自 大语言模型（LLM）学习路径和资料汇总
• 原作者：ninehills
• 授权方式：作者邮件回复同意转载（授权记录见下图）
• 原文最后更新：2024-10-18
• 感谢 ninehills 对开源社区的卓越贡献。

这是一份经过精心筛选的 LLM 学习资源清单，按难度分为入门、应用、深入三个层级。原作者标注了「必看」的推荐优先级，我们原样保留。

适合有一定技术背景、想系统了解大模型的读者。纯零基础建议先从 学习路线 的幼儿园阶段开始。

🌱 入门篇

了解大语言模型的基础知识和常见术语，学会使用编程语言访问大模型接口。

• ChatGPT Prompt Engineering for Developers — 虽然是 Prompt 工程，但内容比较简单，适合入门
  • 中英双语字幕
• OpenAI Quickstart 【必看】 — 官方入门文档 + API Reference
• State of GPT — Andrej Karpathy 做的演示，极好地总结了 GPT 的训练和应用 【必看】
  • 视频 ⚠️ 需科学上网
  • PPT
• Deep Dive into LLMs like ChatGPT — Karpathy 最新的 3 小时入门视频 【必看】
  • YouTube ⚠️ 需科学上网
  • B站中英双语字幕 ✅ 大陆可看

🔧 应用篇

本地搭建开源模型、应用开发框架、Prompt 工程、RAG、Agent 等。

• Building Systems with the ChatGPT API — B站中文字幕
• LangChain — 最火的大模型应用框架，即使不用也值得借鉴
  • LangChain for LLM Application Development — B站中文字幕
• Dify — 开源的应用编排工具
• GPT best practices — OpenAI 官方最佳实践
• openai-cookbook — OpenAI 官方 Cookbook
• Brex’s Prompt Engineering Guide — Prompt 工程简介

🧠 深入篇

大模型技术原理、训练微调、数据工程、推理优化等。

技术基础

• 《动手学深度学习》 + B站李沐的视频 — 个人认为最好的深度学习入门课程 【必看】
• 深度学习：台湾大学李宏毅 — 讲得清楚，也比较有趣
• 3Blue1Brown 系列视频 — 动画做的极好，可反复回顾 【必看】 ⚠️ 需科学上网

技术原理

• 大语言模型综述 【必看】 — 迄今最好的学术向中文综述
• 大语言模型 【必看】 — 迄今最好的大模型书籍
• 大规模语言模型：从理论到实践 — 另一本不错的中文书籍
• 清华大模型公开课第二季 【必看】 — 系统了解大模型的历史、原理和前沿进展
• GPT/GPT-2/GPT-3 论文精读 — GPT 系列论文精读
• Llama3.1 论文精读 — 最好的开源大模型论文精读
• 复杂推理：大语言模型的北极星能力 — 略学术，解释大模型能力的来源
• ICML 2024 Tutorial: Physics of Language Models 【必看】 — 黑盒研究大模型原理，非常有参考价值

体系化课程（斯坦福）：

• CS25：通识整体介绍
• CS224N：NLP + 深度神经网络 + Transformer
• CS336：大语言模型从头实现（难度很高）

训练微调

• Post-training 101 【必看】 — 对 Post-training 最直观的介绍
• Build a Large Language Model (From Scratch) 【必看】 — 从零构建大模型
• LLaMA-Factory 【必看】 — 最推荐的微调工具
• MAP-NEO — 唯一全过程开源的中文大模型
• The Ultra-Scale Playbook 【必看】 — 大规模集群训练经验（中文翻译）

数据工程

• How to Generate and Use Synthetic Data for Finetuning — 如何合成微调数据
• 中文行业预训练语料 IndustryCorpus 2.0 — 亮点是数据处理流比较科学

推理优化

• Challenges in Deploying Long-Context Transformers 【必看】 — 推理速度计算和瓶颈分析
• A Visual Guide to Quantization — 大模型量化解析

应用前沿

• A Survey of Prompt Engineering Methods — Prompt 工程综述
• Modular RAG — 高级 RAG 优化方法
• LLM Powered Autonomous Agents — Agent 方向的经典文章

⚠️ 部分链接（YouTube、HuggingFace、GitHub、OpenAI）在中国大陆需要科学上网才能访问。 文中已标注 B 站中文字幕的替代链接，请优先使用。