Evaluation
API-агент может сделать работу и всё равно провалить задачу
APIFlow-Bench проверяет длинные зависимые REST workflows и раскладывает успех на
семь инженерных способностей. Synthetic API worlds проходят self-test без LLM и
oracle solvability check; grading следит за canary по реальному call path и
сверяет typed answer card.
У 19 моделей в одном scaffold success снизился с 93% на отдельных subtasks до
74% на чистых цепочках из 20 шагов и до 61% с добавлением 8% испытаний, которые
не прошла ни одна модель. Best-of-five улучшал результат на 7 пунктов, а
all-five reliability расходилась уже на 44. Самая показательная цифра: 77%
неудачных чистых запусков достигли правильного final state, но ошиблись в
delivery.
Все результаты принадлежат авторам preprint и требуют воспроизведения. Однако
benchmark ловит важную границу. «Сделал изменения» и «вернул проверяемый
результат тому, кто его ждёт» — разные способности. В production вторая часто
является частью задачи, а не косметикой вокруг неё.
Источник: APIFlow-Bench.
AgentLogs переносит исследование с benchmark-задач на реальные траектории
AgentLogs собирает публичные запуски GitHub Copilot cloud agent. Авторы
просканировали 1 812 362 популярных public repositories и нашли agent activity
в 35 810. Dataset включает 307 416 задач, 549 239 сессий и более 64,2 млн log
entries: prompts, intermediate reasoning, tool calls, Git-операции и token usage.
Это гораздо ближе к реальной разработке, чем набор финальных patches. Но public
footprint не представляет private enterprise usage, а наличие reasoning и logs
зависит от интерфейсов и privacy filtering GitHub. Перед анализом нужны dataset
card, лицензии и отдельная проверка на чувствительные данные.
Сильная сторона набора — возможность изучать процесс: где агент тратит токены,
как человек формулирует задачу, какие tool sequences ведут к отказу и что
происходит после review. Масштаб важен лишь потому, что сохраняет промежуточные
причины, а не только успешный commit.
Источник: AgentLogs.