📖
竞技场盲测
评测相关
一句话概括
让用户在不知模型身份的情况下对比两个模型回答并投票的评测方式。
详细解析
竞技场盲测(Arena)是一种人类偏好评测方式,以LMSYS Chatbot Arena为代表。用户提交一个提示,两个匿名模型(如Model A和Model B)同时回答,用户在不知道模型身份的情况下投票选出更好的回答,系统据此更新Elo评分。
盲测的核心价值是消除品牌偏见——用户不会因"这是GPT-4"或"这是开源模型"而倾向性投票,纯粹基于回答质量评判。这使Arena成为公认最贴近真实使用体验的评测,其排行榜被广泛引用。
Arena的局限在于:用户样本偏技术人群、投票主观、长任务难盲测、可能被刷票。它也衍生出Hard Prompts、Coding、Vision等细分Arena,覆盖不同场景。Arena与自动基准互补,共同构成模型评测体系。