从零搭建推理模型：跟 Sebastian Raschka 八集视频把评估、推理扩展、RL 和蒸馏跑通

2026年10月24日，机器学习作者 Sebastian Raschka 在 Ahead of AI 杂志放出配套视频课《Building Reasoning Models from the Ground Up》：八集、合计超过 11 小时，用 Python 与 PyTorch 从预训练小模型出发，亲手实现评估、推理时扩展、可验证奖励强化学习（RLVR）与蒸馏。[1]

这套材料对应他的新书 Build a Reasoning Model (From Scratch)，定位是去年「从零写 LLM」课程的续篇；没有看过前作也可以跟，前提是熟悉 Python 和 PyTorch。早期文本生成与评估可在 CPU 上跑，后面训练环节建议有 GPU。[1]

准备工作

• 环境：按第一集安装 Python、PyTorch 依赖（作者推荐用 uv），并确认 CUDA 或 Apple Silicon 是否可用。

• 基座模型：系列以预训练的 Qwen3 0.6B 为起点，避免从零预训练，把精力放在推理相关方法上。

• 可选读物：Manning / Amazon 上的纸质或电子书；另有约 90 分钟的 LinkedIn Learning 概念课可作预习。[1]

做完环境自检：能 import torch、能把模型权重落到选定设备，再进第二集。

操作步骤

1、动机与环境（视频 1）

先弄清常规 LLM、推理模型与 agent harness 的关系：推理模型多在后训练阶段用可验证奖励做强化学习，并可配合推理时扩展；agent harness 则在模型外做上下文管理与工具接入。接着按作者清单装依赖、选硬件，必要时用远程 GPU + VS Code。[1]

确认成功：依赖无报错，设备探测正常。

2、加载基座、流式生成与 KV Cache（视频 2）

下载 Qwen3 权重，实现流式文本生成，再加 KV Cache 与 torch.compile，对比生成速度。这一步是后续评估与改进的底座。[1]

确认成功：能稳定解码到 EOS，并测出有/无 cache 的吞吐差异。

3、造数学答案校验器（视频 3）

从答案抽取、归一化到数学等价判定，搭一套 verifier，在 MATH-500 上评估基座；同一套校验器后面会变成 RLVR 的奖励信号。[1]

确认成功：评估循环能跑完 MATH-500，并输出正确率。

4、推理时扩展：采样与自洽（视频 4）

实现温度采样、多项式采样、top-p，再用多数投票做 self-consistency，观察「多花算力」与准确率的权衡。[1]

确认成功：同一题能产出多样候选，投票后准确率相对单次采样有可复现变化。

5、打分与自我修正（视频 5）

用 token/序列对数概率等打分打破平局，并做「自评—改写」循环，再在 MATH-500 上量效果。[1]

确认成功：能打印对数概率，修正循环可输出修订答案。

6–7、GRPO / RLVR 训练与日志（视频 6–7）

实现简化版 Group Relative Policy Optimization：成组生成、用 verifier 打分、相对优势更新；再补熵/优势统计、策略比裁剪与 KL 项，对照检查点稳定性。[1]

确认成功：训练能落 checkpoint，MATH-500 评估曲线可解释。

8、蒸馏小推理模型（视频 8）

用更强教师（文中示例含 DeepSeek R1）生成 MATH 答案，做软/硬、on/off-policy 等蒸馏设定，监督训练后再评 MATH-500。[1]

确认成功：验证集损失下降，蒸馏模型与 RL 路线可对照。

注意事项

• 作者强调边看边改采样设置、翻失败样本；不要只「看完」而不跑代码。

• 书与视频可交叉：先读章、再跟视频敲代码、再做练习。[1]

• 训练耗显存与时间，按仓库硬件建议缩 batch 或换更小实验设置。

说明：步骤与章节范围依据 Raschka 2026年10月24日公开课文整理；命令与仓库路径以视频说明及配套仓库为准。

来源

[1] Building Reasoning Models from the Ground Up: A Full Video Course，Sebastian Raschka，Ahead of AI，2026年10月24日。

#推理模型 #PyTorch #Raschka #RLVR #MATH500 #教程干货