[LG]《How to Train Your Advisor: Steering Black-Box LLMs with Advisor Models》P Asawa, A Zhu, M Zaharia, A G. Dimakis... [UC Berkeley] (2025)
如何训练你的顾问：用ADVISOR MODELS引导黑盒大语言模型
近期，前沿大模型多以黑盒服务形式提供，仅能通过提示词进行有限定制。传统的静态提示优化虽有成效，却难以适应不同输入、用户和环境的多变需求。
本文提出了一种创新框架——ADVISOR MODELS（顾问模型），它通过强化学习训练轻量级的顾问模型，实时生成针对每个输入的自然语言指导，动态引导黑盒模型输出更优结果。顾问模型作为中间层，利用环境反馈不断优化，无需访问黑盒模型参数，实现个性化和环境适应性。
主要贡献与发现：
1、通过用户隐性偏好学习（如写作长度、阅读难度），顾问模型可精确掌握并调整输出，远超静态提示优化（奖励提升至94-100%）。
2、在复杂推理任务（如低资源机器翻译、税务规则推理）中，顾问模型显著提升性能，体现其对专业知识的辅助能力。
3、顾问模型支持跨黑盒模型迁移，且保持黑盒模型的原有能力不受影响，避免灾难性遗忘，增强系统鲁棒性。
4、训练成本可通过在较低成本模型上预训练顾问，再迁移至高端模型，大幅降低。
ADVISOR MODELS将提示优化转变为动态策略学习，开启了对黑盒系统可解释、可训练的接口新篇章。未来方向包括更结构化多步指导、顾问模型的记忆机制研究及复杂系统的协同优化。
全文详见：
大语言模型 强化学习 黑盒模型 个性化AI 提示优化 AI定制化
