Оптимизация и training worlds
Агент оптимизирует kernel только после проверки в реальном inference path
LLM4LLM начинает с target inference script, выделяет phase-aware задачи, ищет
patch и принимает его после in-model validation. На десяти workloads авторы
заявляют geometric-mean end-to-end latency speedup 3,91× на A100 и 6,98× на
H100; работа принята на EMNLP 2026.
Цифры авторские, а workload и harness определяют baseline. Acceptance на
конференцию не является независимым воспроизведением и не превращает максимум в
универсальное ускорение serving.
Главная ценность — место gate. Изолированный kernel может быть быстрее и при
этом неверно работать на shape, dtype или memory path реальной модели.
Оптимизация становится полезной только после включения в target script и
проверки выхода всей системы.
Источник: LLM4LLM.
Качество synthetic world оказалось отдельным bottleneck обучения агента
Авторы генерируют websites как scaffold страниц, links, database records,
state-change markers и task constraints, затем проверяют structural, semantic,
consistency и feasibility defects. На 500 environments доля выполнимых задач
выросла с 48,6% до 94,8%. State меняется только через validated transitions, а
reward компилируется из проверяемых predicates.
94,8% — выполнимость среды, не success rate агента. Domains синтетические,
verifier авторский, а transfer на WebArena, WebShop и MiniWoB++ требует проверки
полного evaluation.
Сломанный training world учит не тому поведению, которое записано в задаче.
Если цель невозможно достичь, policy либо получает шумный reward, либо учится
эксплуатировать дефект симуляции. Генерация большого числа environments ничего
не даёт без oracle, который сначала докажет, что мир согласован и задача имеет
решение.
Источник: verified synthetic web environments.