# OpenAI 炮轰 AI 评测基准：731 题近三成存疑，通过率“注水”揭示行业隐忧
近日，OpenAI 研究团队在一篇技术分析报告中，针对某广泛使用的 AI 评测基准（以下简称“基准X”）提出尖锐批评。该基准共计 731 道题目，OpenAI 发现其中近 30% 的题目存在表述模糊、答案错误或数据污染等问题。更令人担忧的是，在短短 8 个月内，模型在该基准上的通过率从 23% 飙升至 80%，增速远超模型实际能力提升，OpenAI 直言该基准已“实质性失效”。
## 数据污染与过拟合：通过率飙升的幕后推手
通过率“奇迹”般翻三倍，核心原因在于基准数据的“记忆化”而非“推理化”。一方面，随着模型训练语料库不断扩展，大量基准题目被直接或间接嵌入预训练数据中——尤其是那些源自公开竞赛、论文附录或开源代码库的题目。模型“见题”而非“解题”，导致评测结果无法反映真实泛化能力。另一方面，OpenAI 指出，近三成问题自身存在质量缺陷：例如逻辑不闭合、多解歧义或跨越版本依赖的过时信息，使得评分标准本身失真。这种“注水”效应在 8 个月内的加速，正对应着大模型训练数据规模与迭代频率的急剧上升。
## 对行业生态的警示：当“跑分”变成“跑偏”
该事件暴露了当前 AI 评测体系的两大结构性困境。第一，静态基准的“半衰期”急剧缩短——模型能力每季度跃升，而基准更新周期动辄半年以上，导致评测结果与模型的实际推理能力、鲁棒性、安全性脱钩。第二，过度依赖单一分数（如通过率）会催生“刷榜”行为：开发者或模型供应商可能针对性优化基准集，甚至出现“测试集泄露”的灰色产业。OpenAI 此举虽然意在批评特定基准，实则向整个行业发出信号：若评测生态不转向动态、抗污染、多选题型的综合框架，未来的 AI 能力评估将沦为一场自欺欺人的数字游戏。
## 走向更健壮的评估范式
OpenAI 建议，未来的基准应具备以下几项特征：**动态抽题**（如从大型题库中随机抽取并定期更换）、**对抗性验证**（引入人工或自动化审查剔除数据污染）、**多元指标**（不仅看准确率，还需考量推理路径、错误类型分布与稳定性）。事实上，已有研究团队开始尝试“无题评测”，即通过交互式任务（如代码调试、多轮对话修正）来迫使模型展示真实推理链条。对于整个 AI 行业而言，放弃对“高分”的执念，转而对模型能力进行持续、透明、多维的观察，才是通向可信 AI 的必经之路。
