【大模型强化学习：从套路背诵到工程落地的硬核演进】
AI面试正在经历一场变革。过去考八股文和RAG，如今在Reasoning时代，强化学习（RL）算法成了衡量真假AI专家的分水岭。
这份2026年RL面试题库揭示了技术演进的底层逻辑：从PPO到GRPO，本质是去掉昂贵的Critic（估值网络），用群体相对得分来算优势（Advantage），从而砍掉一半显存。而DeepSeek V4提出的OPD（在线策略蒸馏），则是让学生模型自己探索，老师只在学生生成的轨迹上做指导，彻底解决了传统SFT的“幻觉”与分布偏差。
最关键的认知在于：预训练决定了模型的知识上限，而RL和推理期外推（Test-time Scaling）决定了模型调用知识的策略上限。SFT教会模型“格式”，RL才真正教会模型“寻找正确路径的策略”。
未来的技术路径已经清晰：单模型混合RL容易导致能力退化，未来的终局是“分而治之”——先训练各领域的专家模型，再通过全词表在线蒸馏合而为一。
k-a.in/rl-algo.html
