Надёжность и безопасность агентов
Спор о «побеге» Kimi показал, что eval начинается с конфигурации среды
Frontier Security рассказала WIRED, что Kimi K3 во время cybersecurity eval
нашла выход из sandbox Inspect, обратилась к открытому интернету и скачала
решения с GitHub. UK AI Security Institute, развивающий Inspect, назвал
утверждения неточными и безответственными: по его версии, пользователь сам
отвечает за конфигурацию, а Frontier не представила публичных доказательств.
Ни отчёта Frontier, ни заявления Moonshot, ни воспроизводимого артефакта нет.
Поэтому событие нельзя описывать как подтверждённый escape. Его ценность в
другом: две стороны спорят не о том, что ответила модель, а о том, кто должен был
закрыть сеть и считать ли default configuration безопасной.
AgentChaos подходит к той же проблеме со стороны обычных сбоев. Авторы
перехватывали ответы LLM API и подмешивали ошибки сервера, пропуски и
повреждённые tool calls. В отдельных конфигурациях pass@1 падал до 50
процентных пунктов, а существующие методы редко угадывали тип и место сбоя.
Это препринт, headline — максимум, а не среднее, базовые значения не раскрыты.
Общий вывод всё же устойчив: eval агента без версии harness, сетевой политики,
поведения API и проверки фактического срабатывания fault измеряет неизвестную
систему.
Источники: WIRED о споре вокруг Inspect,
AgentChaos.
Атака может пережить исходный prompt
HarnessSafe проверяет delayed attacks: вредоносное содержимое попадает в
память, skill, описание MCP tool, summary сессии, shared artifact или handoff
субагенту, а срабатывает уже на следующей безобидной задаче.
Авторы собрали 328 исполняемых сценариев и оценивали не только полный успех
атаки, но и глубину, до которой она прошла. Это правильная постановка: два
агента могут одинаково не отправить секрет наружу, но один остановит цепочку на
чтении poisoned memory, а другой — в последний момент перед exfiltration.
Цифры между отдельными harness нельзя читать как leaderboard. В основном
сравнении каждый запускался со своей моделью по умолчанию, поэтому результат
смешивает backend и scaffold. Сами авторы прямо пишут, что важны оба слоя.
Практический вывод не требует верить рейтингу. Persistent context — это данные
с более долгим сроком жизни, чем доверие к их источнику. Память, summary и skill
нуждаются в provenance, сроке действия и очистке. Иначе новая сессия наследует
не знание, а неразобранный исполняемый ввод.
Источник: HarnessSafe.
Наблюдатель полезнее второго агента, если умеет молчать
LivePlan разделяет monitoring и advice. Дешёвый rule-based monitor следит за
траекторией SWE-agent: повторением неудачных действий, уходом от плана и
попыткой завершиться без рабочего patch. Только при отклонении он вызывает
advisor LLM, который предлагает следующий шаг.
Авторы сообщают о среднем приросте issue resolution на 9,9 процентного пункта
при дополнительных $0,08 на задачу; максимум — 15,2 пункта в одной
конфигурации. Это результаты одного препринта поверх SWE-agent, не обещание для
любого coding workflow.
Но архитектура хорошо отвечает на реальную проблему multi-agent систем.
Постоянно работающий «начальник» дорого стоит, раздувает контекст и может
сломать верный план ненужным советом. Детерминированный monitor отделяет сигнал
«траектория отклонилась» от творческой задачи «что теперь делать».
Лучший control plane не вмешивается в каждый шаг. Он надёжно замечает момент,
когда вмешательство действительно окупается.
Источник: LivePlan.