人类反馈强化学习（RLHF）是让模型输出与人类偏好对齐的核心技术，由InstructGPT/ChatGPT推广。它分三步：1）SFT得到初始策略；2）用人类对模型输出的偏好排序数据训练一个奖励模型（Reward Model）；3）用PPO等强化学习算法最大化奖励模型评分，同时通过KL散度约束防止偏离过远。 RLHF解决了"模型输出有用、无害、诚实"的对齐问题，让基础模型变成可对话、可指令遵循的助手。它使ChatGPT一举成名，成为现代对齐的事实标准。 RLHF的挑战在于偏好数据采集昂贵、奖励模型可能被"钻空子"（reward hacking）、训练不稳定。后续出现了DPO等简化方法，但RLHF仍是高质量对齐的主流方案。