Evaluation и knowledge
Forecasting agents требуют live evaluation без знаний из будущего
Survey разделяет standalone LLM workflows, tool- и retrieval-augmented agents и
гибриды со statistical models. Он охватывает finance, weather, health, energy и
operations и собирает negative evidence: чувствительность к малым изменениям,
ablations без улучшения от LLM и gains, которые могут происходить из temporal
contamination.
Это обзор, не новая forecasting model и не pooled meta-analysis. Неудача LLM в
части ablations не доказывает бесполезность всех подходов.
Практические требования хороши: live evaluation, calibration при distribution
shift и совместная публикация accuracy и cost. Особенно важно время. Модель,
которая видела последующий исход в pretraining или retrieval, не прогнозирует
прошлое — она вспоминает будущее.
Источник: survey forecasting agents.
OaK строит ontology под путь решения, а не под красоту графа
Ontology-as-a-Kernel извлекает concepts и relations из требований и training
data, строит knowledge graph, генерирует functions для graph reasoning и меняет
ontology по feedback judge. Авторы тестируют подход на TravelPlanner,
CRMArenaPro и ToolQA и сообщают лучшее evidence grounding и multi-step
reliability.
В abstract нет абсолютных scores и стоимости construction; judge-driven
refinement наследует bias evaluator. Preprint не доказывает превосходство над
хорошим retrieval на любой задаче.
Интересен критерий. Knowledge graph оценивается не по общему впечатлению о
полноте, а по тому, помогает ли он пройти конкретный decision path и показать
evidence. Структура знаний становится исполняемым ядром задачи, а не ещё одним
бесконечным context dump.
Источник: Ontology-as-a-Kernel.