📖
微调
训练方法
一句话概括
在预训练模型基础上用特定任务数据继续训练,使其适配具体应用场景。
详细解析
微调(Fine-Tuning)是在预训练模型的基础上,使用有标注的任务数据继续训练,更新部分或全部参数,使模型适配具体应用。它让通用基础模型"专精化",如针对代码、医疗、对话等场景。
微调分为全参数微调(更新所有参数,效果好但成本高)和参数高效微调(PEFT,如LoRA、QLoRA,仅训练少量附加参数,显存友好)。监督微调(SFT)使用指令-回答对,让模型学会遵循指令。
微调需要高质量、与目标分布一致的数据,数据量通常为数千到数百万条。过度微调可能导致"灾难性遗忘"(丢失预训练能力)或过拟合。微调是构建垂直应用、定制模型行为的关键手段。