3. Архитектура и эксплуатация агентных систем
3. Harness Evolution: сначала определить тип сбоя, и только потом решать, нужен ли fine-tuning
Что произошло. Исследователи сравнили два пути улучшения long-horizon agents: изменять harness при неизменной модели и обучать веса по успешным траекториям. Ошибки разделены на процессные (сломанные вызовы tools, циклы, исчерпание шагов) и содержательные (задача выполнена, но решение плохое).
Почему важно. Увеличение модели не исправляет автоматически неправильный tool protocol или неудачный retry loop; усложнение harness не всегда компенсирует слабое reasoning. Нужна диагностика до выбора дорогого способа улучшения.
Что показали данные. На DeepPlanning эволюция harness подняла средний score Qwen3.5-4B с 0,16 до 0,30, Qwen3.5-9B — с 0,32 до 0,44; у 4B доля доведённых до конца задач выросла с 55% до 90%. LoRA, обученная на успешных траекториях, добавила +0,13 score при возвращении к исходному harness. На 117 невиденных задачах WebArena-Lite улучшение harness составило +0,09, но обучение адаптера дополнительного выигрыша не принесло. Это академические тесты на двух средах; scores нельзя переводить в универсальный процент «интеллекта».
Что нужно уже понимать: agent harness; failure taxonomy; trajectory; LoRA; held-out evaluation.
Для продукта и engineering. Перед model upgrade разметить хотя бы выборку неудачных runs по причинам. Для процессных сбоев исправлять tool feedback, state и limits; fine-tuning рассматривать там, где проблема в качестве решения и есть достоверные успешные траектории.
Дата: 8 октября; research backfill. Первоисточник: arXiv — Harness Evolution Hits a Ceiling.
4. Research World Models: агент может предсказать эффект эксперимента до расходования GPU-бюджета
Что произошло. Исследователи предлагают Research World Model: языковую модель, которая ранжирует предлагаемые изменения обучения или inference по ожидаемому результату, используя журнал прежних экспериментов. Она не заменяет реальные тесты, а выбирает, какие из них выполнить в условиях ограниченного бюджета.
Почему важно. Автономные research agents способны придумать гораздо больше изменений, чем инфраструктура может проверить. История собственных запусков становится активом: помогает тратить compute на наиболее перспективные эксперименты.
Что показали данные. Изучены свыше 2 600 записей из девяти исследовательских сред, соответствующих историческому объёму экспериментов более 171 тысячи H100 GPU-hours; это охват исходных записей, не стоимость обучения нового подхода. Добавление опыта улучшило Spearman correlation между прогнозом и результатом невиденных изменений на +0,27. Перенос знаний о pretraining из OLMo3, Marin и Nanochat на Qwen3 сократил regret выбора на 78% против варианта без опыта; в многотуровом autoresearch лучший достигнутый выигрыш вырос на 15,8% при использовании знаний той же среды и на 11,6% при переносе из других. Это академические эксперименты, не гарантия точности прогнозов на новом домене.
Что нужно уже понимать: surrogate model; experiment ranking; Spearman correlation; selection regret; GPU budget.
Для продукта и engineering. Если команда регулярно делает model/harness A/B, сохранять структурированные гипотезы, конфигурации, бюджет, исход и confidence. Сначала стоит проверить простой прогнозирующий ранжировщик на истории экспериментов, не превращая его в замену контрольному тестированию.
Дата: 8 октября; research backfill. Первоисточник: arXiv — Language Models as AI Research World Models.
5. AdvSim2Real: устойчивость browser-agent к prompt injection обучают против адаптивного противника
Что произошло. AdvSim2Real одновременно меняет сложность учебных web-задач, обучает атакующего вставлять инструкции в страницы и улучшает защищаемого агента. Всё это проводится в симулированной web-среде с последующей проверкой на настоящем браузере; открыт исходный код.
Почему важно. Защита, обученная на фиксированном наборе prompt injections, плохо переносится на атаки, которые подстраиваются под её поведение. Противник, меняющий стратегию во время обучения, позволяет исследовать более реалистичные failure modes без риска взаимодействия с реальными внешними сайтами.
Что показали данные. На 150 web-задачах у агента Qwen3.5-4B успешность под невиданным ранее атакующим выросла с 23,00% до 30,72%, то есть примерно на 33,6% относительно, а не на 33,6 процентного пункта. В одном реальном browser-тесте completion вырос с 25,56% до 44,44%. Это академический эксперимент на ограниченной выборке и симуляторе; достигнутая защита явно далека от полной.
Что нужно уже понимать: prompt injection; adversarial curriculum; browser agent; sim-to-real; completion rate.
Для продукта и engineering. Использовать симуляторы и адаптивные атаки для regression/evals browser-agent, но сохранять самостоятельные сетевые ограничения, allowlists и approval gates: обучение модели не заменяет authorization.
Дата: 6 октября; ранее пропущенный research backfill. Первоисточники: arXiv — AdvSim2Real, GitHub — воспроизводимый код.