IT周瑜零一教育
← 全部课程
切换课程
01AI 原生超级全栈开发工程师训练营86402大模型底层原理21603Java AI Agent 开发工程师21604Spring 全家桶源码解析系列71305手写 MySQL + MySQL 底层源码解析127
COURSE 02底层原理

大模型底层原理

神经网络、NLP、Transformer、语言大模型、多模态大模型与强化学习，内容按「理论 · 手写 · 实战」三种形态逐条列出。

7
专题
216
知识点
内容范围L1–L7：Python 与数学基础 → 神经网络 → NLP → Transformer → 语言大模型 → 多模态 → 强化学习
对应岗位大模型底层开发工程师 / AI 架构师
配套服务学习计划 · 直播分享 · 精品笔记 · 课程答疑
课程内容7 专题 · 216 知识点
L1

大模型底层必备基础知识

25
Python 基础8
  1. 01Python 基础：基本语法介绍与使用
  2. 02Python 基础：核心数据类型介绍与使用
  3. 03Python 基础：Str 字符串高级操作
  4. 04Python 基础：Tuple 元组高级操作
  5. 05Python 基础：List 列表高级操作
  6. 06Python 基础：Dict 字典高级操作
  7. 07Python 基础：Set 集合高级操作
  8. 08Python 基础：类与函数相关操作
PyTorch 基础10
  1. 01PyTorch 基础：CPU 版本与 GPU 版本 PyTorch 安装流程介绍
  2. 02PyTorch 基础：数组、向量、矩阵、张量的区别是什么？
  3. 03PyTorch 基础：向量的基本操作与高级操作
  4. 04PyTorch 基础：矩阵的基本运算与高级操作
  5. 05PyTorch 基础：向量点积、矩阵乘法
  6. 06PyTorch 基础：矩阵点乘、矩阵批量乘法
  7. 07PyTorch 基础：什么是广播机制？是如何运算的？
  8. 08PyTorch 基础：PyTorch 中的自动求导机制
  9. 09PyTorch 基础：Dataset 和 DataLoader 基本使用
  10. 10PyTorch 基础：PyTorch 中其他常用函数介绍与使用
数学基础7
  1. 01数学基础：什么是求导？为什么机器学习中需要求导？
  2. 02数学基础：机器学习中常见求导公式有哪些？
  3. 03数学基础：什么是链式法则？链式法则是如何运算的？
  4. 04数学基础：什么是平方误差？优缺点是什么？
  5. 05数学基础：什么是交叉熵？机器学习中是如何利用的？
  6. 06数学基础：什么是正态分布？哪些场景会用到正态分布？
  7. 07数学基础：什么是均匀分布？哪些场景会用到均匀分布？
L2

神经网络

27
理论20
  1. 01理论：什么是感知机？什么是多层感知机 MLP？
  2. 02理论：什么是前向传播？作用是什么？
  3. 03理论：什么是反向传播？作用是什么？
  4. 04理论：什么是梯度下降？作用是什么？
  5. 05理论：什么是 SGD 随机梯度下降？
  6. 06理论：什么是 Mini-Batch 梯度下降？
  7. 07理论：什么是 Learning Rate 学习率？
  8. 08理论：什么是 Bias 偏置？作用是什么？
  9. 09理论：什么是 Activation Function 激活函数？
  10. 10理论：神经网络中有哪些常见的激活函数？
  11. 11理论：什么是 Loss Function 损失函数？
  12. 12理论：神经网络中有哪些常见的损失函数？
  13. 13理论：什么是全连接层（FC 层）？有哪些使用场景？
  14. 14理论：什么是嵌入层（Embedding 层）？有哪些使用场景？
  15. 15理论：什么是归一化？作用是什么？
  16. 16理论：什么是正则化？作用是什么？
  17. 17理论：什么是 Dropout 随机失活？作用是什么？
  18. 18理论：什么是梯度消失？什么情况会出现梯度消失？
  19. 19理论：什么是梯度爆炸？什么情况会出现梯度爆炸？
  20. 20理论：什么是梯度裁剪？为什么要进行梯度裁剪？
手写2
  1. 01手写：手写线性回归经典模型
  2. 02手写：手写多标签分类经典模型
实战5
  1. 01实战：房价预测模型实战
  2. 02实战：图像识别模型实战
  3. 03实战：股价预测模型实战
  4. 04实战：文本分类模型实战
  5. 05实战：模型可视化实战
L3

NLP 自然语言处理

24
理论10
  1. 01理论：什么是 One-Hot 编码？有哪些使用场景？
  2. 02理论：什么是 Bag-of-Words 词袋模型？优缺点是什么？
  3. 03理论：什么是 Word2Vec 模型？优缺点是什么？
  4. 04理论：什么是 SkipGram 跳词模型？优缺点是什么？
  5. 05理论：什么是 CBOW 连续词袋模型？优缺点是什么？
  6. 06理论：什么是 N-Gram 模型？优缺点是什么？
  7. 07理论：NLP 经典之 RNN 循环神经网络模型详解
  8. 08理论：NLP 经典之 LSTM 长短期记忆网络模型详解
  9. 09理论：NLP 经典之 GRU 门控循环单元模型详解
  10. 10理论：NLP 经典之 Seq2Seq 序列到序列模型详解
手写5
  1. 01手写：手写词向量模型
  2. 02手写：手写 RNN 循环神经网络模型
  3. 03手写：手写 LSTM 长短期记忆网络模型
  4. 04手写：手写 GRU 门控循环单元网络模型
  5. 05手写：手写 Seq2Seq 网络模型
实战9
  1. 01实战：Bag-of-Words 实战
  2. 02实战：Word2Vec 之 SkipGram 实战
  3. 03实战：Word2Vec 之 CBOW 实战
  4. 04实战：N-Gram 实战
  5. 05实战：RNN 文本生成实战
  6. 06实战：RNN 股价预测实战
  7. 07实战：LSTM 文本生成实战
  8. 08实战：GRU 文本生成实战
  9. 09实战：Seq2Seq 机器翻译实战
L4

Transformer

32
理论22
  1. 01论文：《Attention Is All You Need》论文解析
  2. 02理论：什么是 Attention 注意力？如何理解注意力机制
  3. 03理论：什么 Attention Score 注意力分数？作用是什么？
  4. 04理论：什么是 Attention Weight 注意力权重？作用是什么？
  5. 05理论：什么是 QKV？如何理解 Q、K、V？作用分别是什么？
  6. 06理论：QKV 的推导过程是什么怎样的？
  7. 07理论：什么是缩放 Attention 注意力？使用场景是什么？
  8. 08理论：什么是 Self-attention 自注意力？使用场景是什么？
  9. 09理论：Multi-head Self-attention 多头注意力机制详解
  10. 10理论：Masked Self-attention 掩码自注意力机制详解
  11. 11理论：什么是 Causal Mask 因果掩码？使用场景是什么？
  12. 12理论：什么是 Positional Encoding 位置编码？作用是什么？
  13. 13理论：有哪些方式可以实现位置编码？
  14. 14理论：什么是 Residual Connection 残差连接？作用是什么？
  15. 15理论：什么是 Layer Norm 层归一化？作用是什么？
  16. 16理论：什么是温度采样？什么情况下要进行温度采样？
  17. 17理论：什么是多项式采样？什么情况下要进行多项式采样？
  18. 18理论：什么是 Teacher Forcing 教师强制？使用场景有哪些？
  19. 19理论：自注意力机制和 RNN 优缺点对比
  20. 20理论：Transformer 整体网络架构详解
  21. 21理论：Transformer Encoder 架构详解
  22. 22理论：Transformer Decoder 架构详解
手写7
  1. 01手写：手写 Self-attention 自注意力机制
  2. 02手写：手写 Multi-head Self-attention 多头注意力机制
  3. 03手写：手写 Positional Encoding 位置编码机制
  4. 04手写：手写 Feed Forward 机制
  5. 05手写：手写 Encoder 编码器架构
  6. 06手写：手写 Decoder 解码器架构
  7. 07手写：手写 Transformer 整体网络架构
实战3
  1. 01实战：用自己手写的 Transformer 实战机器翻译
  2. 02实战：用 PyTorch 提供的 Transformer 实战机器翻译
  3. 03实战：Transformer 专业领域文本生成模型实战
L5

语言大模型

40
理论20
  1. 01理论：Transformer 有哪些变体？使用场景分别是什么？
  2. 02理论：什么是 BERT？它的特点是什么？使用场景有哪些？
  3. 03理论：什么是 GPT？它的特点是什么？使用场景是什么？
  4. 04理论：什么是 MLM 掩码语言模型？底层是如何工作的？
  5. 05理论：什么是 NSP 下一句预测？底层是如何工作的？
  6. 06理论：什么是单向语境？什么是双向语境？
  7. 07理论：Encoder-Only 网络模型架构详解
  8. 08理论：Decoder-Only 网络模型架构详解
  9. 09理论：什么是 Autoregressive 自回归模型？什么场景下使用？
  10. 10理论：大型数据集如何获取？有哪些获取方式？
  11. 11理论：大型数据集数据预处理怎么做？有哪些常用方式？
  12. 12理论：BertTokenizer 与 GPT2Tokenizer 的区别是什么？
  13. 13理论：什么是预训练？什么是微调？
  14. 14理论：为什么要微调？微调的优缺点是什么？
  15. 15理论：LoRA 微调机制是如何工作的？为什么它高效？
  16. 16理论：什么是推理大模型？推理过程是如何实现的？
  17. 17理论：什么是 KV Cache？为什么需要 KV Cache？
  18. 18理论：什么是 MLA、GQA、MQA 等高级注意力机制?
  19. 19理论：什么 MoE 混合专家模型？为什么都在用它？优点是什么？
  20. 20理论：什么模型蒸馏？什么是白盒蒸馏？什么黑盒蒸馏？
手写7
  1. 01手写：手写实现 BERT 网络模型
  2. 02手写：手写实现 GPT 网络模型
  3. 03手写：手写 DeepSeek 之推理大模型
  4. 04手写：手写 DeepSeek 之 KV Cache 机制
  5. 05手写：手写 DeepSeek 之 GQA 分组查询注意力机制
  6. 06手写：手写 DeepSeek 之 MQA 多头查询注意力机制
  7. 07手写：手写 DeepSeek 之混合专家模型 MoE 机制
实战13
  1. 01实战：BERT 模型实战文本分类
  2. 02实战：GPT 模型实战文本生成
  3. 03实战：PyTorch 预训练一个亿级参数量 GPT 模型
  4. 04实战：HuggingFace 预训练大模型实战
  5. 05实战：HuggingFace 微调大模型实战
  6. 06实战：用 LoRA 微调 GPT 模型为一个 Chat GPT 模型实战
  7. 07实战：全量微调一个问答 ChatBot 聊天机器人大模型实战
  8. 08实战：LoRA 微调 Qwen3 大模型实战
  9. 09实战：服务器部署 GPT 模型与流式推理输出实战
  10. 10实战：LLaMA-Factory 微调 Qwen3 大模型实战
  11. 11实战：LLaMA-Factory 微调 DeepSeek-R1 大模型实战
  12. 12实战：DeepSeek 之模型蒸馏之黑盒蒸馏
  13. 13实战：DeepSeek 之模型蒸馏之白盒蒸馏
L6

多模态大模型

31
理论18
  1. 01理论：什么是 CNN 卷积神经网络
  2. 02理论：什么是卷积核？它的作用是什么？
  3. 03理论：什么是池化层？它的作用是什么？
  4. 04理论：什么是最大池化？什么是平均池化？
  5. 05理论：什么是 RestNet？
  6. 06理论：什么是 ImageNet?
  7. 07理论：什么是 Vision Transformer（ViT）？
  8. 08理论：Vision Transformer 和普通 Transformer 有什么区别？
  9. 09理论：什么 Clip 多模态模型？它的特点是什么？
  10. 10理论：什么是对比学习？
  11. 11理论：什么是 Diffusion Model 扩散模型？
  12. 12理论：什么是 Stable Diffusion？
  13. 13理论：什么是 U-Net？
  14. 14理论：什么是 VAE？
  15. 15理论：U-Net 在 Stable Diffusion 中的作用是什么？
  16. 16理论：VAE 在 Stable Diffusion 中的作用是什么？
  17. 17理论：文生图模型的底层实现原理是什么？
  18. 18理论：图生文模型的底层实现原理是什么？
手写6
  1. 01手写：手写 Vision Transformer 网络
  2. 02手写：手写 Clip 图文匹配多模态大模型
  3. 03手写：手写 LLaVa 图生文多模态大模型
  4. 04手写：手写 U-Net 网络模型
  5. 05手写：手写 VAE 网络模型
  6. 06手写：手写 Stable Diffusion 多模态大模型
实战7
  1. 01实战：卷积神经网络图像识别实战
  2. 02实战：Vision Transformer 图像识别实战
  3. 03实战：Clip 多模态大模型文搜图实战
  4. 04实战：LLaVA 多模态大模型图生文实战
  5. 05实战：U-Net 图像分割实战
  6. 06实战：VAE 图像生成实战
  7. 07实战：Stable Diffusion 多模态大模型文生图实战
L7

强化学习

37
理论23
  1. 01理论：什么是强化学习？和深度学习的区别是什么？
  2. 02理论：什么是环境、状态、奖励、轨迹？
  3. 03理论：什么是 Q-Learning 算法？
  4. 04理论：什么是 Q 表？
  5. 05理论：什么是当前奖励？
  6. 06理论：什么是未来奖励？
  7. 07理论：Q-Learning 算法的缺点是什么？
  8. 08理论：什么是 DQN 算法？为什么需要 DQN 算法？
  9. 09理论：什么是 REINFORCE 算法？
  10. 10理论：REINFORCE 算法的缺点是什么？
  11. 11理论：什么是策略网络？
  12. 12理论：什么是价值网络？
  13. 13理论：什么是 A2C 算法？
  14. 14理论：什么是 Actor 行动者？
  15. 15理论：什么是 Critic 评论家？
  16. 16理论：什么是 Advantage 优势？
  17. 17理论：什么是 PPO 算法？
  18. 18理论：PPO 算法的优势和特点是什么？
  19. 19理论：什么是 PPO 算法的截取？意义是什么？
  20. 20理论：什么是 GRPO 算法？
  21. 21理论：GRPO 算法的优势和特点是什么？
  22. 22理论：GRPO 算法中的组该如何理解？
  23. 23理论：GRPO 算法中为什么去掉了 Critic 网络？
手写6
  1. 01手写：手写实现 Q-Learning 算法
  2. 02手写：手写实现 DQN 算法
  3. 03手写：手写实现 REINFORCE 算法
  4. 04手写：手写实现 A2C 算法
  5. 05手写：手写实现 PPO 算法
  6. 06手写：手写实现 GRPO 算法
实战8
  1. 01实战：Q-Learning 算法简单迷宫游戏实战
  2. 02实战：Q-Learning 算法秘境寻宝游戏实战
  3. 03实战：DQN 算法秘境寻宝游戏实战
  4. 04实战：REINFORCE 算法秘境寻宝游戏实战
  5. 05实战：A2C 算法秘境寻宝游戏实战
  6. 06实战：PPO 算法秘境寻宝游戏实战
  7. 07实战：GRPO 算法秘境寻宝游戏实战
  8. 08实战：GRPO 算法微调 Qwen3 实战
← 上一门AI 原生超级全栈开发工程师训练营下一门 →Java AI Agent 开发工程师

课程咨询

微信 it_zhouyu · 添加时备注「课程」