3. Архитектура и эксплуатация агентных систем
Designer-RSI: агент улучшает себя через versioned skills, не меняя веса модели
Что произошло. Designer-RSI оставляет frontier model frozen, но позволяет внешней procedural memory накапливать и переписывать natural-language skills на основе реальных user trajectories. Agent управляет профессиональным design software через более 230 tools. Replay gate принимает новую версию skill только если она исправляет failures и не ломает ранее успешные cases.
Почему это важно. Это более управляемая форма continual adaptation, чем fine-tuning модели: model weights остаются фиксированными → skills эволюционируют → regression gate решает, что сохранить. Такой слой легче версионировать, откатывать и аудитить.
Что показали данные. За пять rounds на 1 406 реальных briefs и 1 869 автоматически оценённых trajectories skill bank вырос с 76 до 139. На Claude Sonnet 4 GenEval2 execution success вырос с 72,7% до 99,3%, generation quality — на 11,99 пункта. В 200 held-out briefs widening отдельно дал 49,4% win rate против no-skill baseline, deepening — 48,6%, вместе — 58,5% (p=0,025). Весовые обновления и human labels не использовались. Это preprint, не peer-reviewed result.
Что нужно уже понимать: procedural memory, skills, replay gate, continual adaptation, regression testing.
Что это может изменить для продукта или engineering-команды. Внутренние agent skills имеет смысл рассматривать как software artifacts: версия, источник изменения, eval suite и rollback. Перед fine-tuning модели стоит проверить, не решается ли задача дешевле через управляемую procedural memory.
Дата появления в arXiv recent: 21 сентября 2026; submitted 18 сентября.
Первоисточник: https://arxiv.org/abs/2609.22086
DENSE: старые agent traces могут улучшать следующие попытки и одновременно снижать token spend
Что произошло. DENSE превращает execution traces в evidence-grounded shortcut trees: сохраняет локальные признаки прогресса, recovery и незавершённые obligations, сжимает повторяющиеся попытки и передаёт результат следующему run как reusable feedback. Важная деталь — авторы не используют post-hoc outcome labels.
Почему это важно. Production traces становятся не только observability data, но и reusable improvement asset. Это может создавать compounding effect без обновления весов: run → trace → distilled feedback → более дешёвый/лучший следующий run.
Что показали данные. На Terminal-Bench 2.1 у четырёх recipient models strict pass rate вырос на 7,12–15,64 процентного пункта относительно initial executions, а число наблюдаемых recipient tokens в повторных runs снизилось на 19,0–43,6%. REFIT сравнивает методы на общих initial trajectories и запускает fresh retry в reset environment. Это preprint, ещё без peer review.
Что нужно уже понимать: trajectory reuse, self-refinement, shortcut tree, token efficiency, fresh retry.
Что это может изменить для продукта или engineering-команды. Стоит сохранять структурированные traces успешных и неуспешных runs и тестировать, можно ли distill'ить из них reusable guidance. Но traces часто содержат credentials, customer data и proprietary context — sanitization и retention policy нужны до превращения логов в память агента.
Дата появления в arXiv recent: 21 сентября 2026; submitted 18 сентября.
Первоисточник: https://arxiv.org/abs/2609.21423
Production evals: 38,5% полного benchmark могут давать около 1 pp ошибки оценки
Что произошло. Исследование Efficient Benchmarking in Production анализирует recurring evaluation production analytics-agent с десятками тысяч monthly active users. Авторы сравнили random sampling, reuse исторических результатов, fixed representative subsets и Item Response Theory adaptive testing на 574 исторических benchmark runs.
Почему это важно. Full agent benchmark слишком дорог, чтобы запускать после каждого изменения prompt, skill, retrieval или model routing. Если regression suite нельзя запускать часто, команда фактически работает без CI для agent behavior.
Что показали данные. Multidimensional 2PL adaptive testing при 200 вопросах — 38,5% полного run — достигло 1,03 процентного пункта MAE к full score. Но в production авторы выбрали более простой difficulty-stratified fixed subset: он хуже теоретически, зато проще операционно и переносился без recalibration на пять других agent families; результаты оставались стабильными при calibration window вплоть до одного дня. Это first-hand deployment study, опубликованный как preprint.
Что нужно уже понимать: recurring eval, representative subset, IRT, MAE, evaluation cost.
Что это может изменить для продукта или engineering-команды. Практичный pattern — маленький дешёвый regression suite на каждый change плюс периодический full benchmark. Подмножество нужно калибровать статистически, а не выбирать «любимые задачи» вручную.
Дата появления в arXiv recent: 21 сентября 2026; submitted 18 сентября.
Первоисточник: https://arxiv.org/abs/2609.21267
