大模型全栈课程目录

龙哥大模型算法全栈课

从大模型行业落地到算法底层原理，从企业实战项目到前沿论文复现，构建完整的大模型算法与工程能力。

400+节课
1万2千+分钟时长
实战、代码、算法、企业落地课
20+大业务场景与行业
2000+篇顶会论文提炼
01大模型微调训练评估
02RAG全技术栈
03Agent全技术栈
04知识图谱实战
05NL2SQL实战
06MCP实战
07大模型行业落地实战
08Agent2026技术实战
09机器学习与深度学习
10分布式训练与分布式推理
11手搓LLM/MOE/多模态
12AIGC模型/算法/训练
13手搓扩散模型/全模态
14强化学习全系列
15多模态全系列
16原生多模态/全模态全系列
17生成与扩散模型全系列
1826年LLM算法全系列
19视频生成
20音视频同步生成
01

大模型行业落地板块

聚焦大模型在企业、内容、知识库与智能体场景中的真实落地路径。

第01章

认知课

  1. 01人工智能介绍：迭代路径，大模型进化树，技术分类
  2. 02柏拉图表征假说与scaling law：KM缩放定律，chinchilla
  3. 03大模型开发环境准备（python+conda+vscode）

第02章

大模型微调训练

  1. 01大模型微调llama-factory环境准备
  2. 02微调数据集准备（SFT,继续预训练，偏好优化）
  3. 03微调过程lora微调与Qlora微调
  4. 04模型评估（批量推理与自动评估benchmark）
  5. 05模型部署（模型合并导出与量化，本地部署）

第03章

企业RAG技术实战

  1. 01RAG技术原理与RAGFlow项目实操
  2. 02Naive RAG与langchain实践
  3. 03高级RAG（一）知识图谱，层次化索引，句子窗口，子查询，HyDE
  4. 04高级RAG（二）提示词压缩，融合，llamaindex实践
  5. 05模块化RAG（一）顺序模式，条件模式，分支模式
  6. 06模块化RAG（二）迭代检索，递归检索，Toc，FLARE，self-RAG，RRF
  7. 07Embedding原理：word2vec/CBOW/skip-gram
  8. 08Embedding模型训练：llamaindex微调，autotrain微调
  9. 09Embedding模型评估：MRR评测，MTEB评测，C-MTEB评测
  10. 10Rerank技术原理与实践（一）交叉编码与双编码，句子transformer，代码实践
  11. 11Rerank模型微调与实践（二）rankGPT，模型微调，模型评估
  12. 12向量数据库简介与相似性测量：欧式距离，余弦相似度，点积相似度
  13. 13相似性搜索算法：k-means，肘部法则，k-means++
  14. 14近似邻近算法与过滤向量搜索：PQ量化，HNSW，局部敏感哈希，随机投影
  15. 15向量数据库选型：专用向量数据库，传统数据库支持vector，性能评测
  16. 16向量数据库代码示例：chroma与qdrant代码示例，springAI介绍
  17. 17RAG效果评估：评估指标，RAGAs评估，TruLens评估
  18. 18RAG行业落地：实践心得，落地经验，业务场景
  19. 19RAG技术总结-langchain1.0例子更新

第04章

Agent技术原理与行业实战

  1. 01Agent原理简介：planning、memory、reflection、action
  2. 02提示词工程：软提示词，fewshot，COT,TOT,CO-STAR,Self-Consistency
  3. 03Agent平台：国内外主流平台，Coze搭建智能客服，Dify实操
  4. 04Agent工具使用与function call：MRKL,TALM,function call
  5. 05Agent设计模式（一）：Fewshot，ReAct，Plan and solve，
  6. 06Agent设计模式（二）：REWOO，LLMCompiler，Reflection，
  7. 07Agent设计模式（三）：Reflexion，LATS，Self-discover
  8. 08Agent框架：Single Agent，Multi Agent，常见Agent框架比较
  9. 09Langchain项目原理与实战
  10. 10Langgraph项目原理与实战
  11. 11Langgraph 多Agent架构：协作多Agent，主管多Agent，层次多Agent
  12. 12AutoGen项目原理与实战（一）：AutoGen原理，顺序Chat，GroupChat，Nested Chat
  13. 13AutoGen项目原理与实战（二）：代码执行，工具使用，缓存，规划与反思，Rag
  14. 14CrewAI项目原理与实战：Crew,Task,Agent,Process

第05章

知识图谱与RAG

  1. 01知识图谱：RDF,RDFS,OWL，知识图谱架构,实体识别算法
  2. 02GraphRAG（一）：原理，部署使用，GraphRAG与传统RAG如何选型
  3. 03GraphRAG（二）：索引原理，Leiden算法，索引流程
  4. 04GraphRAG（三）：全局查询，局部查询，drift查询，graphrag实践
  5. 05LightRAG（一）：原理，实体与关系提取，双层检索，增强回答
  6. 06LightRAG（二）：示例代码，参数解读，graph可视化，自定义支持
  7. 07LightRAG（三）：Neo4j使用，API Server支持，性能评估

第06章

NL2SQL实战落地

  1. 01NL2SQL发展历程与技术路线（一）：场景与技术落地
  2. 02NL2SQL发展历程与技术路线（二）：代码实践与NL2SQL评估
  3. 03NL2SQL RAG增强技术原理（一）：vanna原理与实操
  4. 04NL2SQL RAG增强技术原理（二）：架构与源代码分析
  5. 05SQLCoder实践
  6. 06NL2SQL模型训练（一）
  7. 07NL2SQL模型训练（二）
  8. 08NL2SQL模型训练（三）

第07章

MCP原理与技术实战

  1. 01MCP入门与实操（一）
  2. 02MCP入门与实操（二）
  3. 03第三方框架与MCP落地
  4. 04Browser Use框架原理（一）
  5. 05Browser Use框架原理（二）
  6. 06Open Manus原理与代码分析

第08章

AI行业落地与开发-企业服务

  1. 01Coze工作流与智能客服
  2. 02AI知识库与数据准备
  3. 03deepseek本地部署流程（一）
  4. 04deepseek本地部署流程（二）
  5. 05Dify工作流与智能客服
  6. 06Dify源代码分析（一）
  7. 07Dify源代码分析（二）
  8. 08Dify知识库原理（一）
  9. 09Dify知识库原理（二）
  10. 10Dify知识库原理（三）
  11. 11Dify工具开发与二次开发
  12. 12AI运营与AI客服与社交平台打通（一）
  13. 13AI运营与AI客服与社交平台打通（二）

第09章

Agent2026技术实战

  1. 01手撕Agent记忆系统（一）
  2. 02手撕Agent记忆系统（二）
  3. 03手撕Agent记忆系统（三）
  4. 04手撕Agent记忆系统（四）
  5. 05手撕Agent记忆系统（五）
  6. 06OpenClaw架构，原理与落地实战（一）
  7. 07OpenClaw架构，原理与落地实战（二）
  8. 08OpenClaw架构，原理与落地实战（三）
  9. 09OpenClaw架构，原理与落地实战（四）
  10. 10OpenClaw架构，原理与落地实战（五）
  11. 11第一课：Harness Engineering 与 Loop engineering实战
  12. 12第二课：热门大模型项目落地实战

第10章

AI行业落地与开发-AIGC

  1. 01AI绘画 stable diffusion部署与开发及工具（1）
  2. 02AI绘画 stable diffusion部署与开发及工具（2）
  3. 03AI绘画 comfyUI部署与开发，mj集成等（1）
  4. 04AI绘画 comfyUI部署与开发，mj集成等（2）
  5. 05AI绘画 diffusers库开发
  6. 06AI绘画 stable diffusion 1.x架构原理（1）
  7. 07AI绘画 stable diffusion 1.x架构原理（2）
  8. 08AI绘画 stable diffusion 1.x架构原理（3）
  9. 09AI绘画 SD3与Flux架构原理
  10. 10AI语音TTS与ASR应用开发（1）
  11. 11AI语音TTS与ASR应用开发（2）
  12. 12AI语音ASR技术 whisper原理与开发
  13. 13AI语音ASR技术 SenseVoice原理、使用与训练
  14. 14AI语音TTS技术 CosyVoice原理，使用与训练（1）
  15. 15AI语音TTS技术 CosyVoice原理，使用与训练（2）
  16. 16AI语音TTS技术 F5-TTS原理，使用与训练
  17. 17AI语音TTS技术 GLM4-voice原理，使用与训练
  18. 18AI多模态Qwen2.5-Omini原理，使用
  19. 19AI多模态MiniCMP-o原理，使用与训练
  20. 20AI音乐（一）suno与udio集成与开发
  21. 21AI音乐（二）YuE原理、使用与训练
  22. 22AI音乐（三）SongGen原理，使用与训练
  23. 23AI音乐（四）其它开源项目

第11章

AI行业落地与开发

  1. 01AI视频（一）线上各种API接入
  2. 02AI视频（二）通义万相原理，使用训练
  3. 03AI视频（三）CogVideoX原理
  4. 04AI视频（四）其它开源项目
  5. 05AI视频（五）视频自动剪辑
02

大模型算法入门板块

从机器学习、深度学习到大模型工程基础，建立稳定的算法与实现能力。

第12章

机器学习

  1. 01机器学习入门与线性回归手撕
  2. 02逻辑回归手撕
  3. 03手撕决策树与随机森林
  4. 04手撕GBDT
  5. 05手撕XGBoost
  6. 06手撕LigthGBM

第13章

深度学习

  1. 01深度学习入门（一）
  2. 02深度学习入门（二）
  3. 03深度学习入门（三）
  4. 04深度学习入门（四）
  5. 05手撕各种激活函数（一）
  6. 06手撕各种激活函数（二）
  7. 07手撕各种损失函数
  8. 08手撕各种归一化
  9. 09手撕各种优化器（一）
  10. 10手撕各种优化器（二）
  11. 11手撕自动微分（一）
  12. 12手撕自动微分（二）

第14章

卷积网络

  1. 01卷积网络入门（一）
  2. 02卷积网络入门（二）
  3. 03手撕经典卷积网络（一）
  4. 04手撕经典卷积网络（二）
  5. 05手撕目标检测（一）
  6. 06手撕目标检测（二）
  7. 07手撕目标检测YOLO（一）
  8. 08手撕目标检测YOLO（二）

第15章

手搓大模型与Transformer

  1. 01基础知识（数学基础）
  2. 02注意力机制（原理本质）
  3. 03手搓llama3.2大模型（一）
  4. 04大模型位置编码原理
  5. 05旋转位置编码原理
  6. 06手搓llama3.2大模型（二）
  7. 07MHA/MQA/GQA/MLA（deepseek）原理
  8. 08LightAttention1/2，MiniMax四百万上下文原理
  9. 09大模型八股文（一）
  10. 10大模型八股文（二）

第16章

手搓MOE模型与多模态模型

  1. 01MOE混合专家技术原理
  2. 02手搓qwen3 30B-A3B模型
  3. 03多模态技术原理与模型训练
  4. 04手搓qwen2.5-VL模型：架构，数据，训练，代码（一）
  5. 05手搓qwen2.5-VL模型：架构，数据，训练，代码（二）
  6. 06手搓qwen2.5-VL模型：架构，数据，训练，代码（三）

第17章

分布式推理与分布式训练

  1. 01vLLM单机部署（一）：PageAttetion，docker部署
  2. 02vLLM单机部署（二）：Linux安装，API开发与使用，性能测试，参数优化
  3. 03常用推理框架与Ray分布式框架（一）：Ray Core
  4. 04Ray分布式框架（二）：系统架构，GCS，分布式调度，分布式存储
  5. 05vLLM分布式推理与架构（一）：部署，技术特点，推理加速
  6. 06vLLM分布式推理与架构（一）：vllm架构分析，推理优化，与Ray结合
  7. 07Tensorboard与WandB的深度详细使用
  8. 08分布式训练技术（一）
  9. 09分布式训练技术（二）
  10. 10常用分布式训练框架
  11. 11NativeDDP分布式训练与医疗大模型训练（一）
  12. 12NativeDDP分布式训练与医疗大模型训练（二）
  13. 13DeepSpeed分布式训练技术原理与法律大模型训练（一）
  14. 14DeepSpeed分布式训练技术原理与法律大模型训练（二）
  15. 15FSDP分布式训练与安全大模型训练
03

大模型算法进阶板块

面向强化学习、多模态和生成模型进阶，展开更深入的前沿技术训练。

第18章

26年LLM算法全系列

  1. 01手撕大模型注意力（一）
  2. 02手撕大模型注意力（二）
  3. 03手撕大模型注意力（三）
  4. 04手撕大模型注意力（四）
  5. 05手撕MLA
  6. 06手撕DSA
  7. 07手撕大模型分词器（一）
  8. 08手撕大模型分词器（二）
  9. 09手撕大模型分词器（三）
  10. 10手撕位置编码（一）
  11. 11手撕位置编码（二）
  12. 12手撕长度外推
  13. 13手撕静态记忆（一）
  14. 14手撕静态记忆（二）
  15. 15手撕静态记忆（三）
  16. 16手撕Resnet与HC（一）
  17. 17手撕Resnet与HC（二）
  18. 18手撕HC
  19. 19手撕HC-lte
  20. 20手撕deltanet
  21. 21手撕gateddeltanet（一）
  22. 22手撕gateddeltanet（二）
  23. 23手撕kimi deltanet
  24. 24手撕TTT（一）
  25. 25手撕TTT（二）

第19章

大模型强化学习-RL基础

  1. 01马尔可夫决策过程与bellman方程（一）
  2. 02马尔可夫决策过程与bellman方程（二）
  3. 03基于值强化学习与代码实现，Q-learning,double Q-learning,DQN
  4. 04基于策略强化学习与代码实现（一）
  5. 05基于策略强化学习与代码实现（二）
  6. 06基于策略的化学习与代码实现（三）
  7. 07基于策略强化学习与代码实现（四）
  8. 08基于策略强化学习与代码实现（五）
  9. 09模仿学习与行为克隆与代码实现
  10. 10逆强化学习与代码实现（一）
  11. 11逆强化学习与代码实现（二）

第20章

大模型强化学习-RLHF

  1. 01强化学习知识回顾
  2. 02手撕PPO算法与代码（一）
  3. 03手撕PPO算法与代码（二）
  4. 04手撕PPO算法与代码（三）
  5. 05大模型RLHF与PPO训练（一）
  6. 06大模型RLHF与PPO训练（二）
  7. 07手撕DPO算法与大模型RLHF（一）
  8. 08手撕DPO算法与大模型RLHF（二）

第21章

大模型强化学习-Reasoning RL

  1. 01手撕GRPO算法与源代码（一）
  2. 02手撕GRPO算法与源代码（二）
  3. 03deepseek-r1技术报告解读（一）
  4. 04deepseek-r1技术报告解读（二）
  5. 05deepseek-r1复现训练（一）
  6. 06deepseek-r2复现训练（二）
  7. 07手撕DAPO算法与训练
  8. 08手撕GSPO算法与训练
  9. 09手撕GFPO算法与训练

第22章

大模型强化学习-Agent RL

  1. 01GUI Agent RL训练与实战（一）
  2. 02GUI Agent RL训练与实战（二）
  3. 03GUI Agent RL训练与实战（三）
  4. 04coder Agent RL训练与实战（一）
  5. 05coder Agent RL训练与实战（二）
  6. 06coder Agent RL训练与实战（六）
  7. 07webSearch Agent RL训练与实战（一）
  8. 08webSearch Agent RL训练与实战（二）
  9. 09webSearch Agent RL训练与实战（二）
  10. 10Multi Agent RL训练与实战（一）
  11. 11Multi Agent RL训练与实战（二）

第23章

大模型强化学习-Diffusion RL

  1. 01应用于扩散模型的Flow GRPO算法
  2. 02应用于扩散模型的Dance GRPO算法

第24章

大模型强化学习-其它

  1. 01基于隐藏状态的奖励模型（一）
  2. 02基于隐藏状态的奖励模型（二）
多模态大模型

第25章

多模态基础

  1. 01多模态入门
  2. 02手撕ViT架构与原理
  3. 03Swin-Transformer架构与原理
  4. 04手撕CLIP架构与原理
  5. 05手撕MAE与FLIP架构与原理
  6. 06手撕BLIP架构与原理
  7. 07手撕BLIP-2架构与原理
  8. 08手撕SigLIP架构与原理
  9. 09SigLIP-2架构与原理（一）
  10. 10SigLIP-2架构与原理（二）
  11. 11手撕DINOv1/DINOv2架构与原理
  12. 12DINOv3架构与原理（一）
  13. 13DINOv3架构与原理（二）
  14. 14Perceiver/Flamingo/llava架构与原理
  15. 15手撕CogVLM/CogVLM2架构与原理
  16. 16多模态大模型总结-表征、对齐、融合、训练

第26章

多模态VL

  1. 01手撕FastVLM架构与原理、代码（一）
  2. 02手撕FastVLM架构与原理、代码（二）
  3. 03手撕TIPSv2架构与原理、代码（一）
  4. 04手撕TIPSv2架构与原理、代码（二）
  5. 05InternVL3.5技术报告解读（一）
  6. 06InternVL3.5技术报告解读（二）
  7. 07Seed1.5-VL技术报告解读（一）
  8. 08Seed1.5-VL技术报告解读（二）
  9. 09GLM-4.5V技术报告解读（一）
  10. 10GLM-4.5V技术报告解读（二）
  11. 11GLM-5V技术报告解读（一）
  12. 12GLM-5V技术报告解读（二）

第27章

原生多模态与全模态

  1. 01手撕Emu3架构与原理（一）
  2. 02手撕Emu3架构与原理（二）
  3. 03手撕Emu3.5架构与原理（一）
  4. 04手撕Emu3.5架构与原理（二）
  5. 05手撕MAR架构与原理，代码（一）
  6. 06手撕MAR架构与原理，代码（二）
  7. 07Harmon架构与原理
  8. 08LUMINA-IMAGE 2.0架构与原理
  9. 09OmniGen2架构与原理
  10. 10BLIP3-o架构与原理（一）
  11. 11BLIP3-o架构与原理（二）
  12. 12BAGEL架构与原理
  13. 13Qwen3-Omni技术报告解读
  14. 14longcat-next技术报告解读（一）
  15. 15longcat-next技术报告解读（二）
  16. 16longcat-next技术报告解读（三）
  17. 17longcat-next技术报告解读（四）
  18. 18Tuna架构与原理
  19. 19Tuna2架构与原理
生成模型与扩散模型

第28章

VAE系列

  1. 01生成模型基础与AE手撕
  2. 02手撕VAE算法，原理，代码，训练(一)
  3. 03手撕VAE算法，原理，代码，训练(二)
  4. 04手撕VQ-VAE算法，原理，代码，训练(一)
  5. 05手撕VQ-VAE算法，原理，代码，训练(二)
  6. 06手撕DC-AE算法，原理，代码
  7. 07手撕VA-VAE算法，原理，代码
  8. 08手撕DDT算法，原理，代码
  9. 09手撕RAE算法，原理，代码

第29章

GAN系列

  1. 01手撕GAN算法，原理，代码，训练(一)
  2. 02手撕GAN算法，原理，代码，训练(二)
  3. 03手撕WGAN算法，原理，代码，训练
  4. 04手撕WGAN-GP算法，原理，代码，训练
  5. 05手撕VQ-GAN算法，原理，代码

第30章

扩散模型系列

  1. 01手撕DDPM算法，原理，代码
  2. 02手撕LDM算法，原理，代码
  3. 03手撕Score matching算法，原理，代码(一)
  4. 04手撕Score matching算法，原理，代码(二)
  5. 05手撕Score matching-SDE算法，原理，代码(一)
  6. 06手撕Score matching-SDE算法，原理，代码(二)

第31章

流匹配系列

  1. 01手撕Flow matching算法，原理，代码(一)
  2. 02手撕Flow matching算法，原理，代码(二)
  3. 03手撕Rectified Flow算法，原理，代码
  4. 04手撕JiT算法，原理，代码(一)
  5. 05手撕JiT算法，原理，代码(二)

第32章

求解器系列

  1. 01手撕DDIM算法，原理，代码(一)
  2. 02手撕DDIM算法，原理，代码(二)
  3. 03手撕DPM-Solver算法，原理，代码(一)
  4. 04手撕DPM-Solver算法，原理，代码(二)

第33章

DiT系列

  1. 01手撕DiT算法，原理，代码
  2. 02手撕MaskDiT算法，原理，代码
  3. 03手撕SiT算法，原理，代码(一)
  4. 04手撕SiT算法，原理，代码(二)