Не путать с Multi-SWE-bench
Существует отдельный набор Multi-SWE-bench от ByteDance Seed (arXiv:2504.02605): 1632 задачи, 39 репозиториев, 7 языков. Имена похожи, наборы разные, числа несопоставимы.
Кодинг · Команда SWE-bench
SWE-bench Multilingual
Тот же формат, что у SWE-bench, но за пределами Python: 300 задач из 42 репозиториев на девяти языках. Набор намеренно небольшой, чтобы прогон был быстрым.
Что этот тест измеряет
Проверяет, переносится ли умение чинить чужой код на языки, отличные от Python. Задачи выведены из реальных pull request’ов.
Языки: JavaScript, TypeScript, Rust, Ruby, Go, C, C++, PHP и Java.
Что внутри
- Задач
- 300
- Репозиториев
- 42
- Языков
- 9
Как считается балл
Доля решённых задач
Доля задач, где после правки проходит скрытый тестовый набор.
Где подвох
Наши разборы с этим тестом
Значения — со слов вендоров моделей, своих замеров мы не делали.
Другие тесты в категории «Кодинг»
Источники
- SWE-bench Multilingual — официальная страница
- arXiv:2504.02605 — Multi-SWE-bench (другой набор, для отстройки)
Весь справочник — на витрине бенчмарков.