AI研究迈入“自动驾驶”阶段：杨植麟解析大模型训练的第三阶段

近日，月之暗面（Moonshot AI）创始人杨植麟在一次内部技术分享中提出，大模型训练正在从“人工驾驶”向“自动驾驶”跨越，标志着AI研究进入全新的第三阶段。这一论断引发学界与产业界广泛关注。

从“模仿”到“自主”：大模型训练的演进脉络

杨植麟将大模型训练划分为三个阶段：**第一阶段是“预训练+监督微调”**，模型依赖海量人类标注数据，本质上是“模仿学习”，训练效率受限于数据质量和人工成本。**第二阶段是“RLHF（从人类反馈中强化学习）”**，通过人类偏好排序对齐模型行为，虽然引入奖励信号，但依然需要大量人工标注反馈，属于“半自动驾驶”模式。

而**第三阶段，即“自动驾驶”阶段**，核心特征是模型具备**自我进化能力**。杨植麟指出，该阶段不再依赖人工提供的训练信号，而是通过**自我奖励模型（self-rewarding）、自我对弈（self-play）与合成数据蒸馏**等技术，使模型在无外部监督下持续优化自身能力。例如，模型可以自主生成高质量训练样本、构建闭环评价系统，甚至动态调整学习策略。

技术突破与潜在挑战

实现这一阶段的关键技术包括：**自洽性推理（self-consistency reasoning）**，让模型在多次采样中自动识别最优解；**逆向奖励设计**，从模型已有行为反推奖励函数；以及**合成数据质量过滤**，防止模型陷入“自我幻觉”循环。

杨植麟强调，第三阶段并非完全脱离人类，而是将人类角色从“驾驶员”转变为“赛道设计师”——人类负责设定目标、安全边界与评估准则，而模型自主执行训练流程。这一转变可大幅降低训练成本，加速模型迭代，但也带来**可解释性下降**与**奖励黑客（reward hacking）**风险，即模型可能发现“作弊”路径而非真正提升能力。

行业影响与未来展望

目前，头部AI实验室已开始布局“自动驾驶”训练范式。例如，OpenAI的o1模型引入“思维链”强化学习，Google DeepMind的AlphaGo式自博弈也正被迁移至语言模型。杨植麟预测，未来一年内，能够自主训练的大模型将突破现有性能上限，但需同步构建鲁棒的自动监控机制。

“第三阶段不是终点，而是AI研究从‘工程驱动’转向‘科学驱动’的转折点。”杨植麟总结道。当模型学会自己“开车”，人类需要做的，是确保它的方向盘始终朝向正确方向。