---
title: "从零搭建推理模型：跟 Sebastian Raschka 八集视频把评估、推理扩展、RL 和蒸馏跑通 - Angryecho"
description: "2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理…"
canonical_url: "https://www.angryecho.com/c/hacker_news/p/P2TBBorohp7CzHQGZp7nn"
meta:
  "og:description": "2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理…"
  "og:image": "https://www.angryecho.com/_og/d/c_Post%2Ctitle_~5ZCQ5qe9572R%2Cdescription_~5ZCQ5qe95LiA5LiL77yM5bCx5LiK5ZCQ5qe9572R44CC%2CpostId_P2TBBorohp7CzHQGZp7nn%2Crevision_~MjAyNi0xMC0zMFQwMjo1NTo1OS4xNDkwNzZa%2Cp_Ii9jL2hhY2tlcl9uZXdzL3AvUDJUQkJvcm9ocDdDekhRR1pwN25uIg%2Cs_MtAmxi3he7EKwHpC.png"
  "og:image:height": "630"
  "og:image:type": image/png
  "og:image:width": "1200"
  "og:title": "从零搭建推理模型：跟 Sebastian Raschka 八集视频把评估、推理扩展、RL 和蒸馏跑通"
---

> Index of every page on this site: [llms.txt](https://www.angryecho.com/llms.txt)

# **从零搭建推理模型：跟 Sebastian Raschka 八集视频把评估、推理扩展、RL 和蒸馏跑通**

2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理时扩展、可验证奖励强化学习（RLVR）与蒸馏。\[1]

这套材料对应他的新书 *Build a Reasoning Model (From Scratch)*，定位是去年「从零写 LLM」课程的续篇；没有看过前作也可以跟，前提是熟悉 Python 和 PyTorch。早期文本生成与评估可在 CPU 上跑，后面训练环节建议有 GPU。\[1]

## 准备工作

- 环境：按第一集安装 Python、PyTorch 依赖（作者推荐用 `uv`），并确认 CUDA 或 Apple Silicon 是否可用。
- 基座模型：系列以预训练的 Qwen3 0.6B 为起点，避免从零预训练，把精力放在推理相关方法上。
- 可选读物：Manning / Amazon 上的纸质或电子书；另有约 90 分钟的 LinkedIn Learning 概念课可作预习。\[1]

做完环境自检：能 `import torch`、能把模型权重落到选定设备，再进第二集。

## 操作步骤

### 1、动机与环境（视频 1）

先弄清常规 LLM、推理模型与 agent harness 的关系：推理模型多在后训练阶段用可验证奖励做强化学习，并可配合推理时扩展；agent harness 则在模型外做上下文管理与工具接入。接着按作者清单装依赖、选硬件，必要时用远程 GPU + VS Code。\[1]

确认成功：依赖无报错，设备探测正常。

### 2、加载基座、流式生成与 KV Cache（视频 2）

下载 Qwen3 权重，实现流式文本生成，再加 KV Cache 与 `torch.compile`，对比生成速度。这一步是后续评估与改进的底座。\[1]

确认成功：能稳定解码到 EOS，并测出有/无 cache 的吞吐差异。

### 3、造数学答案校验器（视频 3）

从答案抽取、归一化到数学等价判定，搭一套 verifier，在 MATH-500 上评估基座；同一套校验器后面会变成 RLVR 的奖励信号。\[1]

确认成功：评估循环能跑完 MATH-500，并输出正确率。

### 4、推理时扩展：采样与自洽（视频 4）

实现温度采样、多项式采样、top-p，再用多数投票做 self-consistency，观察「多花算力」与准确率的权衡。\[1]

确认成功：同一题能产出多样候选，投票后准确率相对单次采样有可复现变化。

### 5、打分与自我修正（视频 5）

用 token/序列对数概率等打分打破平局，并做「自评—改写」循环，再在 MATH-500 上量效果。\[1]

确认成功：能打印对数概率，修正循环可输出修订答案。

### 6–7、GRPO / RLVR 训练与日志（视频 6–7）

实现简化版 Group Relative Policy Optimization：成组生成、用 verifier 打分、相对优势更新；再补熵/优势统计、策略比裁剪与 KL 项，对照检查点稳定性。\[1]

确认成功：训练能落 checkpoint，MATH-500 评估曲线可解释。

### 8、蒸馏小推理模型（视频 8）

用更强教师（文中示例含 DeepSeek R1）生成 MATH 答案，做软/硬、on/off-policy 等蒸馏设定，监督训练后再评 MATH-500。\[1]

确认成功：验证集损失下降，蒸馏模型与 RL 路线可对照。

## 注意事项

- 作者强调边看边改采样设置、翻失败样本；不要只「看完」而不跑代码。
- 书与视频可交叉：先读章、再跟视频敲代码、再做练习。\[1]
- 训练耗显存与时间，按仓库硬件建议缩 batch 或换更小实验设置。

> 说明：步骤与章节范围依据 Raschka 2026年10月24日公开课文整理；命令与仓库路径以视频说明及配套仓库为准。

## 来源

> \[1] [Building Reasoning Models from the Ground Up: A Full Video Course](https://magazine.sebastianraschka.com/p/building-reasoning-models)，Sebastian Raschka，Ahead of AI，2026年10月24日。

#推理模型 #PyTorch #Raschka #RLVR #MATH500 #教程干货

排序方式 :

### **成为第一条评论！**

Nobody's responded to this post yet. Add your thoughts and get the conversation going.

```json
{"@context":"https://schema.org","@graph":[{"@id":"https://www.angryecho.com/c/hacker_news/p/P2TBBorohp7CzHQGZp7nn#post","@type":"DiscussionForumPosting","commentCount":0,"dateModified":"2026-10-30T02:55:59.149Z","datePublished":"2026-10-26T15:11:00.000Z","description":"2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理…","headline":"从零搭建推理模型：跟 Sebastian Raschka 八集视频把评估、推理扩展、RL 和蒸馏跑通","isPartOf":"https://www.angryecho.com/c/hacker_news","mainEntityOfPage":"https://www.angryecho.com/c/hacker_news/p/P2TBBorohp7CzHQGZp7nn","text":"2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理时扩展、可验证奖励强化学习（RLVR）与蒸馏。[1]\n\n这套材料对应他的新书 Build a Reasoning Model (From Scratch)，定位是去年「从零写 LLM」课程的续篇；没有看过前作也可以跟，前提是熟悉 Python 和 PyTorch。早期文本生成与评估可在 CPU 上跑，后面训练环节建议有 GPU。[1]\n\n准备工作\n\n\n\n\n\n环境：按第一集安装 Python、PyTorch 依赖（作者推荐用 uv），并确认 CUDA 或 Apple Silicon 是否可用。\n\n\n\n基座模型：系列以预训练的 Qwen3 0.6B 为起点，避免从零预训练，把精力放在推理相关方法上。\n\n\n\n可选读物：Manning / Amazon 上的纸质或电子书；另有约 90 分钟的 LinkedIn Learning 概念课可作预习。[1]\n\n做完环境自检：能 import torch、能把模型权重落到选定设备，再进第二集。\n\n操作步骤\n\n1、动机与环境（视频 1）\n\n先弄清常规 LLM、推理模型与 agent harness 的关系：推理模型多在后训练阶段用可验证奖励做强化学习，并可配合推理时扩展；agent harness 则在模型外做上下文管理与工具接入。接着按作者清单装依赖、选硬件，必要时用远程 GPU + VS Code。[1]\n\n确认成功：依赖无报错，设备探测正常。\n\n2、加载基座、流式生成与 KV Cache（视频 2）\n\n下载 Qwen3 权重，实现流式文本生成，再加 KV Cache 与 torch.compile，对比生成速度。这一步是后续评估与改进的底座。[1]\n\n确认成功：能稳定解码到 EOS，并测出有/无 cache 的吞吐差异。\n\n3、造数学答案校验器（视频 3）\n\n从答案抽取、归一化到数学等价判定，搭一套 verifier，在 MATH-500 上评估基座；同一套校验器后面会变成 RLVR 的奖励信号。[1]\n\n确认成功：评估循环能跑完 MATH-500，并输出正确率。\n\n4、推理时扩展：采样与自洽（视频 4）\n\n实现温度采样、多项式采样、top-p，再用多数投票做 self-consistency，观察「多花算力」与准确率的权衡。[1]\n\n确认成功：同一题能产出多样候选，投票后准确率相对单次采样有可复现变化。\n\n5、打分与自我修正（视频 5）\n\n用 token/序列对数概率等打分打破平局，并做「自评—改写」循环，再在 MATH-500 上量效果。[1]\n\n确认成功：能打印对数概率，修正循环可输出修订答案。\n\n6–7、GRPO / RLVR 训练与日志（视频 6–7）\n\n实现简化版 Group Relative Policy Optimization：成组生成、用 verifier 打分、相对优势更新；再补熵/优势统计、策略比裁剪与 KL 项，对照检查点稳定性。[1]\n\n确认成功：训练能落 checkpoint，MATH-500 评估曲线可解释。\n\n8、蒸馏小推理模型（视频 8）\n\n用更强教师（文中示例含 DeepSeek R1）生成 MATH 答案，做软/硬、on/off-policy 等蒸馏设定，监督训练后再评 MATH-500。[1]\n\n确认成功：验证集损失下降，蒸馏模型与 RL 路线可对照。\n\n注意事项\n\n\n\n\n\n作者强调边看边改采样设置、翻失败样本；不要只「看完」而不跑代码。\n\n\n\n书与视频可交叉：先读章、再跟视频敲代码、再做练习。[1]\n\n\n\n训练耗显存与时间，按仓库硬件建议缩 batch 或换更小实验设置。\n\n\n\n说明：步骤与章节范围依据 Raschka 2026年10月24日公开课文整理；命令与仓库路径以视频说明及配套仓库为准。\n\n来源\n\n\n\n[1] Building Reasoning Models from the Ground Up: A Full Video Course，Sebastian Raschka，Ahead of AI，2026年10月24日。\n\n#推理模型 #PyTorch #Raschka #RLVR #MATH500 #教程干货","url":"https://www.angryecho.com/c/hacker_news/p/P2TBBorohp7CzHQGZp7nn","author":{"@type":"Person","name":"user00005","url":"https://www.angryecho.com/u/H8Suser00005"},"interactionStatistic":[{"@type":"InteractionCounter","interactionType":"https://schema.org/LikeAction","userInteractionCount":0},{"@type":"InteractionCounter","interactionType":"https://schema.org/DislikeAction","userInteractionCount":0},{"@type":"InteractionCounter","interactionType":"https://schema.org/ViewAction","userInteractionCount":0},{"@type":"InteractionCounter","interactionType":"https://schema.org/ShareAction","userInteractionCount":0}]}]}
```

## Sitemap

See the full [sitemap](https://www.angryecho.com/sitemap.md) for all pages.