Подключить AI-агента к инструментам - лишь часть задачи. Гораздо сложнее организовать его работу там, где недостаточно уверенного ответа модели и необходимо соблюдать ограничения, контролировать действия и проверять последствия.
Например, если агент предлагает восстановить деградировавший сервис, кто проверит: выдержит ли инфраструктура переключение трафика? выполнены ли все необходимые условия? действительно ли сервис восстановился?
Я решил исследовать эти вопросы на примере управляемого AI-агента с локальной Qwen3.8:27b. Для этого разработал отдельную среду исполнения «Governed Agent Runtime», в которой модель выбирает следующий шаг, но допустимость и выполнение операций контролирует детерминированный runtime.
В начале область исследования ограничивалась отдельными предложениями, позже реализация перешла к многошаговому исполнению и, хотя агент справился с последовательными действиями, остались вопросы к отдельным пояснениям модели.
Также в ходе работы пришлось пересмотреть собственную систему оценки результатов.
Все эксперименты проводились на синтетическом платежном сервисе. Результаты можно посмотреть в демонстрационном интерфейсе:
https://антонтрофимов.рф/gov-agent/
Реализация и материалы представлены в репозитории проекта - ссылка в конце статьи.
Разработка велась на основе спецификаций (SDD).
Читать далее