GSM8K 评测基准

评测方法与适用范围

GSM8K（Grade School Math 8K）是由OpenAI提出的小学数学应用题基准，用于评估大模型在多步数学推理方面的能力。

给定一道小学数学应用题，要求模型通过多步推理得出最终数值答案。通过精确匹配最终答案评估正确性，常用准确率（accuracy）指标。允许使用思维链（CoT）提示，模型需逐步推理后给出答案。

共8,500道题，分为7,473道训练题和1,319道测试题。题目由人类标注员编写，覆盖小学阶段（1-8年级）的各类数学应用题，包括加减乘除、分数、几何、概率等。每题配有2-8步的解题过程。

GSM8K是评估大模型数学推理能力的经典基准，被几乎所有主流大模型采用。虽然顶级模型在GSM8K上的准确率已接近或超过95%，但它仍是衡量模型基础数学推理能力的重要指标，常作为模型能力评估的"入门级"数学基准。

先确认模型版本、评测日期和提示设置是否一致；不同版本或不同工具链下的结果不能直接横向合并。

单项分数只反映该基准覆盖的能力。实际选型还应结合真实任务、稳定性、速度、价格和安全要求。

星盘保留原始来源入口，并将基准说明与实时排行榜分开呈现，避免把单次榜单快照解释为模型的绝对能力。

这项基准只测量它明确覆盖的那一类任务。分数不能代表一个模型在真实业务中的综合表现、响应速度、稳定性、价格或安全性。

不能因为一个模型在某个单项基准上领先，就认为它在所有任务上都更好；不同任务背后的数据难度、提示设计和评分口径并不相同。

不要用某一时刻的榜单快照替代持续观察。模型版本、评测工具链和题目集都可能变化，跨版本或跨基准的比较需要单独核对。