как измерять качество ai-агента и какие метрики важны на самом деле

Один и тот же агент может писать хорошие ответы и при этом проваливать бизнес-задачу. Поэтому оценку стоит вести на трёх уровнях: качество конкретного ответа, качество прохождения сценария и влияние на финальный результат. Для поддержки это могут быть корректность ответа, доля решённых обращений без эскалации и среднее время до закрытия. Для продаж набор будет другим.

Когда все метрики смешаны в одну, команда начинает спорить о вкусе вместо результата. Менеджеру кажется, что ответ «звучит сухо», а интегратору кажется, что всё работает, потому что API не падает. Разделение уровней убирает этот шум.

На старте полезно собрать небольшой golden set из 30-50 реальных кейсов. Не синтетических примеров «как должно быть», а настоящих диалогов, заявок или задач, где видно контекст, ограничения и желаемый исход. По ним легче увидеть не только средний ответ, но и повторяющиеся типы ошибок.

Дальше нужен простой ручной review: корректно, допустимо с правкой, недопустимо. Этого достаточно для первой недели. Слишком сложная шкала на пилоте обычно мешает, потому что команда тратит время на оформление оценок вместо разбора, почему агент ошибся.

Сигнал к расширению это не только рост точности, но и снижение операционной нагрузки: меньше ручных правок, меньше повторных контактов, меньше времени на типовой кейс. Если агент отвечает лучше, но менеджеры тратят по 3 минуты на каждую проверку, экономического эффекта не будет.

Пилот стоит расширять только после того, как агент стабильно держит рабочее качество на одном узком сценарии и ошибки становятся понятными и редкими. Если после 7-10 дней ошибки всё ещё хаотичны, не стоит масштабировать покрытие: сначала нужно сузить контур и перепроверить данные, инструкции и правила эскалации.