Случайность в оценках агентов: улучшение или шум? / Research Insights Made Simple #44

Агент стал решать на два процентных пункта больше задач после изменения промпта или обвязки. Это настоящее улучшение — или просто удачный прогон? 2 ноября в 10:00 МСК в Research Insights Made Simple разберём исследование "On Randomness in Agentic Evals" ( https://arxiv.org/abs/2602.07150v3 ). Его авторы повторили одинаковые запуски агентов на SWE-bench Verified и изучили, насколько результаты зависят от случайности. Поговорим о том: - почему результаты неизменного агента могут заметно различаться от прогона к прогону; - помогает ли нулевая температура добиться повторяемости; - чем отличаются pass@1, pass@k и pass^k; - сколько прогонов может понадобиться, чтобы заметить улучшение; - как учитывать разброс при сравнении моделей, промптов и обвязок. Исследование рассматривает конкретные модели и задачи, поэтому отдельно обсудим, какие выводы можно перенести на собственные оценки агента. Как вы сейчас сравниваете версии своих агентов: хватает ли одного прогона или повторяете оценку несколько раз?