AlpacaEval 评测基准

评测方法与适用范围

AlpacaEval是由Stanford University提出的指令跟随自动评测基准，用于评估大模型在指令跟随任务上的回答质量，是与人类偏好高度对齐的自动评测方案。

给定805个指令，对比模型回答与基线模型（如GPT-4、Davinci-003）的回答，使用GPT-4等强模型作为裁判判定胜负。通过胜率（Win Rate）和长度控制胜率（LC Win Rate）评估模型能力，后者控制回答长度对评分的影响。

AlpacaEval 2.0包含805个指令，来源于AlpacaFarm、Open Assistant等真实用户数据。指令覆盖写作、推理、编程、问答等多种任务类型，确保评测的全面性。

AlpacaEval是评估大模型指令跟随能力的主流自动基准，被广泛用于模型迭代和能力对比。其与人类偏好排名的高对齐度（约0.98）使其成为衡量模型回答质量的可靠指标，被OpenAI、Anthropic、Meta等头部厂商采用，是当前人类偏好自动评测的重要参考。

先确认模型版本、评测日期和提示设置是否一致；不同版本或不同工具链下的结果不能直接横向合并。

单项分数只反映该基准覆盖的能力。实际选型还应结合真实任务、稳定性、速度、价格和安全要求。

星盘保留原始来源入口，并将基准说明与实时排行榜分开呈现，避免把单次榜单快照解释为模型的绝对能力。

这项基准只测量它明确覆盖的那一类任务。分数不能代表一个模型在真实业务中的综合表现、响应速度、稳定性、价格或安全性。

不能因为一个模型在某个单项基准上领先，就认为它在所有任务上都更好；不同任务背后的数据难度、提示设计和评分口径并不相同。

不要用某一时刻的榜单快照替代持续观察。模型版本、评测工具链和题目集都可能变化，跨版本或跨基准的比较需要单独核对。