SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks
SkillsBench: Оценка Эффективности Работы Навыков Агента В Различных Задачах Этот документ представляет SKILLSBENCH, новый бенчмарк, разработанный для систематической оценки эффективности «Навыков Агента» (Agent Skills) в улучшении работы агентов на основе больших языковых моделей (LLM). Навыки Агента — это структурированные пакеты процедурных знаний, предназначенные для расширения возможностей LLM-агентов во время инференса, что устраняет отсутствие стандартного метода измерения их эффективности. Бенчмарк включает 86 задач, охватывающих 11 различных доменов, каждая из которых оценивается в трех условиях: без Навыков, с курируемыми Навыками и с самостоятельно сгенерированными Навыками, с использованием детерминированных верификаторов. Эмпирическая оценка, проведенная на 7 конфигурациях агент-модель и более чем 7 308 траекториях, показывает, что курируемые Навыки значительно повышают средний процент успешного выполнения на 16,2 процентных пункта. Однако их влияние существенно различается в разных доменах, а самостоятельно сгенерированные Навыки в среднем не приносят пользы, что указывает на ограничение способности моделей создавать эффективные процедурные знания. Исследование также подчеркивает, что сфокусированные Навыки с меньшим количеством модулей, как правило, превосходят обширную документацию, а меньшие LLM, дополненные Навыками, могут достигать производительности, сравнимой с более крупными моделями без них. SKILLSBENCH восполняет критический пробел, предоставляя важные данные для практиков для принятия обоснованных решений и для исследователей для разработки лучших принципов проектирования Навыков. #НавыкиАгента #АгентыLLM #Бенчмаркинг #SkillsBench #ПроцедурныеЗнания #ИскусственныйИнтеллект #МашинноеОбучение #ОценкаLLM #ИИИсследования #ПроизводительностьАгентов Поддержка: https://boosty.to/krastykovyaz документ - https://arxiv.org/pdf/2602.12670 подписаться - https://t.me/arxivpaperu создано с помощью NotebookLM
SkillsBench: Оценка Эффективности Работы Навыков Агента В Различных Задачах Этот документ представляет SKILLSBENCH, новый бенчмарк, разработанный для систематической оценки эффективности «Навыков Агента» (Agent Skills) в улучшении работы агентов на основе больших языковых моделей (LLM). Навыки Агента — это структурированные пакеты процедурных знаний, предназначенные для расширения возможностей LLM-агентов во время инференса, что устраняет отсутствие стандартного метода измерения их эффективности. Бенчмарк включает 86 задач, охватывающих 11 различных доменов, каждая из которых оценивается в трех условиях: без Навыков, с курируемыми Навыками и с самостоятельно сгенерированными Навыками, с использованием детерминированных верификаторов. Эмпирическая оценка, проведенная на 7 конфигурациях агент-модель и более чем 7 308 траекториях, показывает, что курируемые Навыки значительно повышают средний процент успешного выполнения на 16,2 процентных пункта. Однако их влияние существенно различается в разных доменах, а самостоятельно сгенерированные Навыки в среднем не приносят пользы, что указывает на ограничение способности моделей создавать эффективные процедурные знания. Исследование также подчеркивает, что сфокусированные Навыки с меньшим количеством модулей, как правило, превосходят обширную документацию, а меньшие LLM, дополненные Навыками, могут достигать производительности, сравнимой с более крупными моделями без них. SKILLSBENCH восполняет критический пробел, предоставляя важные данные для практиков для принятия обоснованных решений и для исследователей для разработки лучших принципов проектирования Навыков. #НавыкиАгента #АгентыLLM #Бенчмаркинг #SkillsBench #ПроцедурныеЗнания #ИскусственныйИнтеллект #МашинноеОбучение #ОценкаLLM #ИИИсследования #ПроизводительностьАгентов Поддержка: https://boosty.to/krastykovyaz документ - https://arxiv.org/pdf/2602.12670 подписаться - https://t.me/arxivpaperu создано с помощью NotebookLM