как запустить пилот ai-агента за 7 дней и понять, окупится ли он

За неделю нельзя честно проверить весь отдел продаж или всю поддержку, зато можно проверить один типовой поток. Например: первая квалификация входящих лидов, суммаризация звонков или ответы на повторяющиеся запросы из базы знаний. Сценарий должен быть узким, повторяемым и измеримым.

На этом же шаге нужен критерий успеха. Не абстрактное «стало лучше», а конкретное условие: ответ быстрее 2 минут, не меньше 80% корректных черновиков, снижение ручного времени на кейс хотя бы на 30%. Без такого критерия пилот превращается в бесконечную демонстрацию.

Если агент сразу уходит в production без review, команда очень быстро теряет доверие после первых ошибок. На пилоте лучше держать human-in-the-loop: агент делает первый проход, человек подтверждает, правит или отклоняет. Это медленнее, но именно так видно реальную стоимость контроля.

В эти дни важно не только собирать удачные кейсы, но и раскладывать ошибки по типам: плохой контекст, слабая инструкция, нехватка данных, неверная эскалация, сбой интеграции. Когда ошибки разложены, становится понятно, что чинить. Когда их просто копят, пилот выглядит хуже, чем есть на самом деле.

Окупаемость пилота не сводится к цене модели. Нужно сложить генерацию, проверки человека, интеграционные обходы, повторы из-за ошибок и время команды на поддержку запуска. Только после этого можно сравнивать новый сценарий с тем, как эта же работа делалась руками раньше.

Если к концу недели сценарий даёт предсказуемое качество и хотя бы частично разгружает команду, его можно расширять. Если качество держится только за счёт тяжёлой ручной проверки, честнее остановить пилот и сузить задачу, чем тащить в прод контур, который пока не готов.