Как тестировать LLM-агента, который никогда не отвечает одинаково
Набор из 310 тестов качества ответов на замороженных данных из продакшена, а затем переписанный агент, улучшение которого этот набор смог доказать.
Открыть схему в полном размереЗадача
Наши ассистенты продаж отвечают покупателям и брокерам, вызывая инструменты поверх живого каталога и базы знаний. После первого ответа ещё до трёх проходов LLM переписывали его (рефлексия, согласование, перевод), и каждый мог исказить факты. Понять, стали ли ответы после изменения лучше или хуже, было невозможно: старые тесты проверяли вспомогательные функции на старой выгрузке данных и оставались зелёными, пока агент был сломан.
Почему это было сложно
- Один и тот же вопрос даёт разные ответы при каждом запуске, а разные модели по-разному используют инструменты.
- Код не может оценить смысл ответа, а LLM-судья тоже ошибается.
- Тест должен запускать агента ровно так, как он развёрнут, и на неизменных данных, хотя данные в продакшене меняются, а каждая пересинхронизация выдаёт новые id.
- Полный прогон — это около 900 реальных диалогов, то есть реальные токены, и сетевые ошибки не должны считаться провалами.
Что я сделал
- 1Заморозил данные продакшена: выгрузки только на чтение, sha256 и происхождение для каждого файла. При обновлении закреплённые id переносятся на новые.
- 2Тест запускает настоящий ход агента на настоящей модели с настройками самого тенанта, и я проверил, что он совпадает с продакшеном. Сначала не совпадал: другой бюджет токенов, порог поиска и словарь.
- 3Сначала проверяет код (id, инструменты и числа, заранее вычисленные по снимку), а LLM-судья оценивает только смысл, с зоной «не уверен». Тест проходит, только если прошли все 3 запуска; формулировки никогда не сравниваются, а сетевые ошибки повторяются и не засчитываются как провал. Около 20 минут на 8 шардах.
- 4Затем переписал ход: цикл инструментов и одна запись ответа, проверки в коде (рекомендовать можно только id, которые вернули инструменты), бюджет раундов прямо в промпте и никаких запасных путей, скрывающих пустой ответ. A/B-тест против продакшена доказал это до мержа.



