Кодинг · OpenAI совместно с командой SWE-bench · 2024-08
Отобранное вручную подмножество SWE-bench: 500 реальных issue из двенадцати Python-репозиториев, каждое со скрытым набором тестов. Самый цитируемый тест агентного кодинга.
Агенту дают репозиторий и описание проблемы из настоящего GitHub-issue. Он должен внести правку, после которой проходит скрытый тестовый набор, приложенный к задаче.
Ключевая особенность версии Verified — ручная проверка. Отбор вёл 93 опытных разработчика: они убеждались, что формулировка задачи содержит достаточно информации для решения, а тесты не заваливают корректные варианты.
Доля решённых задач
Доля задач, где после правки агента проходит скрытый набор тестов. Оракул детерминированный: тесты либо зелёные, либо нет.
При аннотировании 38,3% задач оказались недоспецифицированы, а у 61,1% нашлись тесты, способные забраковать верное решение. В сумме отсеяли 68,3% исходного набора. Это стоит помнить, когда встречаете старые цифры «по SWE-bench» без уточнения версии: они мерили другой, куда более шумный набор.
Набор публичный и лежит на GitHub с 2024 года. Отделить «модель научилась чинить баги» от «модель видела этот патч при обучении» на нём невозможно. Именно поэтому появился SWE-bench Pro с защитой от контаминации.
Значения — со слов вендоров моделей, своих замеров мы не делали.
Весь справочник — на витрине бенчмарков.