3. Архитектура и эксплуатация агентных систем
Task-scoped authorization обнуляет вредный side effect даже после успешного prompt injection
Что произошло. Работа “Compromise Is Not Consequence” отделяет компрометацию модели от последствий. Авторы замораживают один и тот же model-generated action и повторяют его при четырёх режимах авторизации: широком bearer credential, scoped JWT, sender-constrained token и OPA policy.
Почему это важно. Prompt-injection detector никогда не будет идеальным. Поэтому production security должна отвечать на второй вопрос: что сможет сделать уже скомпрометированный agent? Task-scoped permissions ограничивают blast radius независимо от того, почему модель решила выполнить действие.
Что показали данные. В 128 сценариях и четырёх tool domains широкие bearer credentials приводили к вредному выполнению в 8,9–37,8% валидных attacked post-exposure decisions в зависимости от model configuration. Все три scoped режима дали 0 вредных выполнений в этой серии. В расширении AgentDojo broad policy дала 11 attack flags из 24, scoped policy — 0 из 24; utility при этом была 5/24 против 6/24. Это академический эксперимент, не доказательство абсолютной безопасности scoped auth.
Что нужно уже понимать: least privilege; bearer token; capability/scoped credential; policy enforcement; prompt injection.
Что это может изменить для продукта или engineering-команды. Для consequential tools стоит выдавать права под конкретную задачу, resource и action, а не долгоживущий широкий токен. Инвестиции в detector полезны, но authorization boundary должна предполагать, что detector иногда пропустит атаку.
Дата: 5 октября 2026.
Первоисточник: arXiv — Compromise Is Not Consequence
multi-CaMeL: межагентное сообщение должно переносить provenance, а не только текст
Что произошло. Исследователи показали, что single-agent защита CaMeL плохо композиционируется в multi-agent системе: данные, помеченные как недоверенные у одного агента, после передачи естественным языком могут быть заново интерпретированы другим агентом как инструкция. multi-CaMeL разделяет trusted instruction и untrusted data в agent-to-agent channel.
Почему это важно. A2A/MCP-style взаимодействие создаёт новую trust boundary. Если downstream agent видит только строку текста, provenance теряется, и безопасность одного harness не гарантирует безопасность цепочки.
Что показали данные. На MultiAgentDojo/AssetOpsBench attack success rate составил 0,0% у multi-CaMeL, 0,2% у варианта CaMeL только на отдельных agents и 12,9% без CaMeL. Есть utility trade-off, который уменьшается на более сильных моделях. Это академический benchmark, а не production deployment.
Что нужно уже понимать: data provenance; prompt injection; agent-to-agent protocol; taint tracking; trust boundary.
Что это может изменить для продукта или engineering-команды. Между agents лучше передавать typed payload с происхождением и policy metadata, а не свободный текст. Особенно это относится к результатам browser/search/retrieval, которые не должны превращаться в trusted instructions после одного handoff.
Дата: 5 октября 2026.
Первоисточник: arXiv — multi-CaMeL
S1-MAS: orchestration multi-agent системы можно отдать маленькому “System 1” controller
Что произошло. S1-MAS разделяет вычислительный труд: лёгкий controller выполняет bounded decisions — выбор задачи, назначение роли, routing сообщения и termination; сильные LLM workers включаются только для open-ended reasoning. Отдельный reader извлекает только condition-relevant evidence из разрешённых источников.
Почему это важно. Multi-agent systems часто тратят frontier tokens на координацию, которую можно выразить как конечный выбор. Это продолжение тренда decision models: дешёвый control plane сверху, дорогой reasoning — только там, где он действительно нужен.
Что показали данные. На семи benchmark и сравнении с AgentVerse, DyLAN и SelfOrg авторы сообщают снижение token consumption GPT-4o на 44,9–97,2% и измеренной end-to-end latency на 37,8–93,0% при одновременно лучшей accuracy. Task-specific training не требовался. Это academic preprint; абсолютный выигрыш зависит от структуры benchmark и доступных bounded decisions.
Что нужно уже понимать: System 1/System 2; model routing; multi-agent orchestration; bounded decision; termination policy.
Что это может изменить для продукта или engineering-команды. Если multi-agent pipeline дорогой, первым экспериментом должен быть не новый worker, а вынос routing/termination/role selection в маленькую decision model или deterministic policy. Считать нужно accepted-task quality на единицу latency и tokens.
Дата: 6 октября 2026.
Первоисточник: arXiv — S1-MAS
“Правильная память” может быть недопустима в текущем контексте
Что произошло. Исследование “The Right Memory in the Wrong Context” вводит distinction между релевантностью memory и её допустимостью: факт может быть полезен для ответа, но относиться к другому principal, policy scope или lifecycle state.
Почему это важно. Обычный memory stack сначала ищет semantic match, а потом отдаёт результат LLM. Для enterprise agents этого недостаточно: секрет другого клиента или устаревшее состояние может быть идеально релевантным и одновременно недопустимым.
Что показали данные. В повторном анализе 3 767 queries namespace filtering поднял anchor recall с 0,432 до 0,533 и долю случаев, где 80% recall вообще достижим, с 0,237 до 0,311, одновременно сократив число точных similarity evaluations на 98,3%. В отдельном 72-case diagnostic text-only verifier не смог надёжно выявлять policy violations при требуемом 1% false-denial limit. Авторы отдельно отмечают, что часть эффектов на final-answer accuracy observational, а controlled disclosure evidence пока слабее.
Что нужно уже понимать: memory namespace; principal; lifecycle state; authorization-before-retrieval; false denial.
Что это может изменить для продукта или engineering-команды. Memory authorization стоит применять до попадания memory в prompt: сначала principal/policy/lifecycle filter, затем semantic retrieval. Просить LLM “не использовать чужую память” после retrieval — слабая граница.
Дата: 5 октября 2026.
Первоисточник: arXiv — The Right Memory in the Wrong Context