OpenAI 指摘 AI 评测基准 SWE-Bench Pro：约 30% 存在评测缺陷
7 月 9 日消息，OpenAI 昨日（7 月 8 日）发布博文，挑战行业权威评测基准 SWE-Bench Pro，认为在 731 个公开测试任务中，约 30% 存在评测缺陷。
注：SWE-Bench Pro 是由 Scale AI 推出的大语言模型与 AI 智能体编程能力评测基准，因高度贴近实际企业级开发且具备极高的防作弊标准，现已成为 AI 软件工程领域的行业权威基准。
OpenAI 在博文中指出，在 731 个公开测试任务中，前沿模型在 8 个月内通过率从 23.3% 升至 80.3%，认为该基准已无法有效评估模型的软件开发能力。
OpenAI 介绍称，其数据点分析流程标记出 200 个失效任务，占全部 731 个公开任务的 27.4%；并行开展的人工标注活动识别出 249 个失效任务，占 34.1%。基于上述两条审查路径，OpenAI 预估 WE-Bench Pro 约 30% 的任务存在缺陷。
在问题类型方面，OpenAI 将其划分为 4 类：
测试过严，把题面未写明的实现方式也列为硬性要求
提示不充分，隐藏测试执行未写明、且无法合理推断的要求
测试范围过窄，不完整修复也可能通过。
提示具有误导性，指向与测试要求不一致的行为
OpenAI 还披露一个典型问题，题面要求把内容转为 Markdown 时，行首加入 1 个空格，但隐藏测试却要求 2 个空格，导致模型按说明编写代码仍被判错。
基于这次分析，OpenAI 撤回此前对 SWE-Bench Pro 的采用建议，并称后续需要由资深软件开发者专门为 AI 评测设计新的基准。
相关资讯
-
07.10
冒险家艾略特的千年奇谭如何快速刷钱刷魔石-冒险家艾略特的千年奇谭快速刷钱刷魔石的路线分享
-
07.10
青行灯新史诗皮肤拾幕陈书爆料 决战平安京新皮肤拾幕陈书怎么样
-
07.10
决战平安京一反木绵昙黛拂霜皮肤获得方法介绍
-
07.10
决战平安京阿修罗雾海蚀风皮肤介绍
-
07.10
潮汐守望者璐璐厉害吗-潮汐守望者璐璐强不强
-
07.10
鹅鸭杀手游新角色何时推出-鹅鸭杀手游新角色上线时间
游戏推荐
推荐专题
热门阅读
推荐下载
-
-
下载
- |
-
-
下载
- 《行尸走肉第一章》免安装中文汉化硬盘版下载
- 单机|436 MB
- 一款以动作冒险为主题的游戏
-
-
下载
- 《街头霸王X铁拳》免安装中文汉化硬盘版下载
- 单机|111MB
- 一款非常好玩的格斗游戏
-
-
下载
- |
-
-
下载
- 《暗黑破坏神3》免安装繁体中文正式版下载
- 单机|7630 MB
- 一款以角色扮演为主题的游戏
-
-
下载
- 《马克思佩恩3》免安装硬盘版下载
- 单机|27033 MB
- 一款以第三人称射击为主题的游戏