Рассуждение · Авторы GPQA

GPQA Diamond

Graduate-Level Google-Proof Q&A — срез Diamond

Сто девяносто восемь вопросов по биологии, физике и химии, написанных обладателями PhD. Самый трудный срез GPQA: в него попали только те вопросы, где эксперты справились, а неэксперты — нет.

Что этот тест измеряет

Знание уровня аспирантуры в естественных науках. Каждый вопрос написан экспертом и последовательно решён двумя другими экспертами-валидаторами.

В срез Diamond вопрос попадал только при двойном условии: оба независимых валидатора ответили верно, а большинство квалифицированных неэкспертов — неверно. Это и есть определение «сложно, но решаемо».

Название «Google-proof» буквально: неэксперты с неограниченным доступом к вебу и в среднем более получаса времени набирают лишь 34%.

Что внутри

Вопросов
198
Формат
выбор одного варианта
Дисциплины
биология · физика · химия

Как считается балл

Точность ответа

Доля правильных ответов на вопросы с выбором варианта. База случайного угадывания — 25%.

Ориентиры

Числа приведены на момент публикации соответствующего источника и устаревают быстро. Нужны, чтобы понимать порядок величины, а не для сравнения моделей.

Где подвох

Набор маленький, и это важно

При 198 вопросах один вопрос — это половина процентного пункта. Разница между 86,4 и 86,0 у двух моделей — это два вопроса, то есть шум, а не превосходство. Читать такие сближения как «обошла» некорректно.

Потолок ниже 100% по построению

Сами авторы отмечают, что часть вопросов эксперты задним числом признали дефектными. Модель, набравшая условные 90%, упирается уже не в знания, а в качество разметки.

Наши разборы с этим тестом

Значения — со слов вендоров моделей, своих замеров мы не делали.

Другие тесты в категории «Рассуждение»

Источники

Весь справочник — на витрине бенчмарков.