训练方法/术语条目
微调
在预训练模型基础上用特定任务数据继续训练,使其适配具体应用场景。
大白话:在预训练模型基础上用特定任务数据继续训练,使其适配具体应用场景
换成大白话
微调(Fine-Tuning)是在预训练模型的基础上,使用有标注的任务数据继续训练,更新部分或全部参数,使模型适配具体应用。它让通用基础模型"专精化",如针对代码、医疗、对话等场景。 微调分为全参数微调(更新所有参数,效果好但成本高)和参数高效微调(PEFT,如LoRA、QLoRA,仅训练少量附加参数,显存友好)。监督微调(SFT)使用指令-回答对,让模型学会遵循指令。 微调需要高质量、与目标分布一致的数据,数据量通常为数千到数百万条。过度微调可能导致"灾难性遗忘"(丢失预训练能力)或过拟合。微调是构建垂直应用、定制模型行为的关键手段。
它通常在什么场景出现
这个术语常见于模型选择、训练与微调、推理与部署、评测或产品功能说明等场景;当你遇到“微调”时,多半是在讨论模型行为、处理方式或指标口径。
具体出现在哪类场景,可以用下方“跨库查找”搜索包含该概念的模型、训练、评测或产品资料。
容易混淆的地方
不要把“微调”理解成模型本身的能力或在某个榜单上的具体名次;它更多是描述一种机制、一种处理方式或一个指标口径,而不是模型实力的绝对结论。
来源与更新时间
术语释义来自公开资料和持续维护的目录字段;具体每条定义的最后维护时间与待核实信息,以本页为准。