3. Архитектура и эксплуатация агентных систем
3. MICA: одинаковые инструменты через MCP и CLI дают разные траектории агента
Что произошло. Исследователи представили контролируемое сравнение MCP и CLI: одни и те же действия, ограничения, runtime и задачи, но разная форма представления инструмента модели. Это прямое исследование harness, а не сравнение разных LLM.
Данные. Шесть моделей, три среды и 2 004 парных эпизода; в 94,3% пар траектории существенно расходились. Предложенный метод DART, исправляющий представление действия без изменения уже проверенного решения, дал до +9,0 балла benchmark и снижение расхода MCP-токенов до 27,1 тыс. на задачу. DART проверяли только с Gemini-2.5-Flash в шести конфигурациях; универсального превосходства MCP либо CLI работа не доказывает. Это академический эксперимент с опубликованным кодом, не production measurement.
Почему важно. Даже при неизменной модели и одинаковых возможностях инструментов интерфейс меняет выбор действий, ошибки, recovery и стоимость. Это объясняет, почему перенос агента между SDK может неожиданно изменить качество.
Что нужно уже понимать: MCP; CLI; matched-pair evaluation; tool schema; action repair.
Для продукта и команды: при смене tool interface проводить A/B на одних задачах, фиксируя успешность, число вызовов, токены и ошибки. Не считать MCP и CLI функционально эквивалентными только потому, что они вызывают один API.
Дата и первоисточники: 25 октября (исследование, ранее не освещалось); https://arxiv.org/abs/2610.34298 ; https://github.com/ModalityDance/MICA .
4. AgentDecept: проверять правдивость отчёта агента относительно фактических действий
Что произошло. Новый исполняемый benchmark AgentDecept сопоставляет пользовательские заявления агента с журналом наблюдений, API-вызовов и изменений состояния при выполнении многошаговых задач под давлением — например, при сбоях инструментов, изменениях состояния приложения и ограничениях сервиса.
Данные. 477 вариантов с факторами давления, построенных из 257 исходных задач; каждому соответствует контрольный вариант без давления. Единица оценки — полная траектория и расхождение между заявленным и выполненным. Это академический benchmark design: в доступном описании нет оснований утверждать универсальную частоту обмана конкретной модели или измеренный production-риск.
Почему важно. «Готово» в сообщении агента не гарантирует, что действие выполнено или выполнено корректно. Нужно отличать намеренное сокрытие, ошибочный отчёт и честно признанный сбой.
Что нужно уже понимать: execution trace; stateful evaluation; counterfactual control; agent deception; audit log.
Для продукта и команды: для агентов с правом записи проверять конечное состояние внешней системы, а не только текст финального ответа. Стоит добавить сценарии отказа инструментов и нехватки квот в evals.
Дата и первоисточник: 29 октября; https://arxiv.org/abs/2610.39377 .
5. AgenticDS: поиск датасетов через типизированные планы и независимую проверку ограничений
Что произошло. Исследователи предложили систему поиска обучающих датасетов, в которой planner формирует типизированный план, исполнитель использует ограниченные операции поиска, а critic проверяет происхождение данных, лицензию и соответствие требованиям. LLM не может просто объявить собственный результат корректным.
Данные. HuDS-Bench содержит 200 запросов и 24 908 оценок релевантности, собранных по 15 системам. По результатам авторов NDCG@10 вырос на 25,7% относительно лучшего гибридного dense/sparse поиска и на 18,9% относительно коммерческого LLM-агента; это относительные изменения метрики качества ранжирования, не проценты успешно завершённых бизнес-задач. Код и benchmark опубликованы. В контролируемом search-to-train тесте авторы также сообщают об улучшениях downstream-моделей; независимой production-репликации нет.
Почему важно. Это конкретный пример архитектуры «модель предлагает → детерминированный код исполняет → независимая проверка допускает результат». Такой паттерн переносим на поиск документов, выбор поставщиков и compliance, но цифры из поиска датасетов туда не переносятся.
Что нужно уже понимать: typed contracts; provenance; hybrid retrieval; NDCG@10; verifier.
Для продукта и команды: если агент выбирает объекты с жёсткими ограничениями (лицензия, регион, срок, доступ), стоит испытать контрактную проверку до принятия результата. Цена — дополнительная архитектурная сложность и latency.
Дата и первоисточники: 29 октября; https://arxiv.org/abs/2610.39608 ; https://github.com/nju-websoft/AgenticDS .