Оценка эффективности ИИ-оператора

Мы подготовили для вас новый раздел статистики, который позволит отслеживать эффективность вашего ИИ-оператора и подскажет, как лучше изменить его поведение.

Вы сможете контролировать качество ответов и результат автоматизации, чтобы клиенты получали идеальный сервис. Для этого перейдите в раздел "Статистика" > "ИИ-оператор".

Вы можете выбрать период, за который хотите оценить работу ИИ-оператора: сегодня, вчера, последние 7 дней, последние 30 дней и произвольный период.

Рядом с каждой метрикой вы увидите процент: это изменение показателя относительно предыдущего периода такой же продолжительности.

Ниже опишем каждый блок статистики:

Доля диалогов без оператора#

Это доля чатов, которую ИИ-оператор завершил самостоятельно, без приглашения оператора. Чем выше этот показатель, тем реже нужна помощь сотрудника для решения вопроса клиента.

В блоке стоит цель: 75%. По нашим исследованиям, это является уровнем зрелой автоматизации.

Мы рекомендуем оценивать этот показатель вместе с блоком "Качество решений" и "Оценка качества обслуживания". Это позволит оценить, корректную ли консультацию дает ИИ-оператор, когда сам завершает чат.

Сэкономлено времени#

Отображает сумму длительности закрытых без участия сотрудника чатов. Сколько часов нагрузки удалось снять с агентов.

Эквивалент сотрудника в этом случае считается как сумма сэкономленных часов / (8 * количество дней в выбранном периоде).

Чем больше значение метрики, тем больше потенциальной нагрузки ИИ-оператор снял с команды. Но помните, что длительность диалога не всегда равно активной работе сотрудника. Мы рекомендуем анализировать это значение вместе с объемом диалогов.

Среднее время диалога#

Считается длительность от первого сообщения клиента до завершения диалога. В этом блоке сравнивается средний показатель чатов только с ИИ-оператором и обращений с участием сотрудника.

Учитывайте, что длительность включает и ожидание ответа от клиента.

Мы рекомендуем оценивать этот параметр вместе с "Качеством решений", так как слишком короткие диалоги могут быть сигналом к отсутствию решения проблемы клиента.

Время первого ответа#

Показывает среднее время от сообщения клиента до первого ответа. Как и прошлом блоке, здесь сравнивается показатель чатов только с ИИ-оператором и обращений с участием сотрудника.

Чем меньше значение, тем быстрее клиент получает реакцию на свое обращение. Чтобы оценить пользу таких ответов, мы рекомендуем анализировать их вместе с метрикой "Оценка качества обслуживания".

Оценка качества обслуживания#

ИИ анализирует диалог с клиентом и проставляет оценку от 0 до 5. Берутся диалоги только с участием ИИ-оператора. В них учитывается:

• Контекст диалога.
• Тон клиента.
• Негатив или благодарность.
• Скрытое недовольство.
• Сарказм и пассивная агрессия.
• Финальный результат, если в диалоге было несколько тем.
• Языковые и культурные особенности общения.

Диалог может получит оценку "0", если в нем не удалось определить эмоции клиента, сам диалог был неинформативный или нецелевой или если ИИ-оператор не уверен в корректности оценки.

Динамика этого показателя может помочь оценить изменения в базе знаний или настройках ИИ-оператора.

Обратите внимание: Это оценка от ИИ, а не от самого клиента.

Настроение диалогов#

ИИ анализирует настроение клиента в диалоге, завершенном без участия сотрудника. Выделяется три состояния: позитивное, нейтральное и негативное.

Если настроение не удается определить, ставится оценка "Нейтральное".

Настроение не всегда равно качеству решения, но может стать сигналом проблем с качеством ответов или отношением к продукту.

Качество решений#

В этом блоке оценивается итог общения с ИИ-оператором: получил ли клиент решение проблемы, понятны ли для него дальнейшие шаги. Есть три оценки: "Полностью решено", "Частично решено" и "Не решено".

Полностью решено: клиент получил ответ на свой основной вопрос. Он корректен и достаточен для решения его задачи.

Частично решено: клиенту была оказана помощь, но ее недостаточно. Например:

• Решена только часть проблемы.
• Ответ слишком общий.
• Пропущена важная деталь при ответе.
• Клиенту недостаточно информации.

Не решено: пользователь не получил решения. Например:

• Ответа нет или он не по теме.
• ИИ-оператор использовал неподтвержденные факты или действия.
• Клиент ушел до того, как получил ответ.
• Для решения требовался перевод на сотрудника, но решения пользователь все равно не получил.

Обратите внимание: в этом параметре ИИ оценивает результат для клиента, а не вежливость или тон общения. И благодарность клиента не всегда означает, что запрос полностью решен.

Эта метрика позволяет оценить качество автоматизации и определить, когда ИИ-оператор действительно помогает пользователям, а не просто завершает чат.

Топ-5 причин эскалации#

Основные причины, по которым ИИ-оператор приглашает в диалог человека. В блоке показывается 5 самых частых причин за выбранный период.

Какие могут быть причины:

• Клиент запросил оператора.
• Тема вне базы знаний. ИИ-оператор не нашел нужной информации в доступных знаниях.
• Сложный запрос. Вопрос клиента слишком сложный для самостоятельного решения ИИ-оператором.
• Жалоба клиента. Посетитель явно жалуется или эскалирует ситуацию.
• Недовольство клиента. Пользователь раздражен или недоволен, даже если не формулирует этого напрямую.
• Нужна экспертная оценка. Требуется профессиональная оценка сотрудника.
• Оплата и возвраты. Вопрос связан с оплатой, списаниями, подписками, возвратами, промокодами или балансом.
• Требуется действие оператора. Нужно выполнить действие, доступное только сотруднику. Например, изменить заказ, оформить заявку или обновить данные.
• Неподдерживаемый запрос. ИИ-оператор не поддерживает такие вопросы или они находятся вне его компетенций: по другому продукту или услуге.
• Проверка внутренних данных. Требуется проверка данных от сотрудника: статус заказа, доставку, бронь и пр.
• Неясный запрос. ИИ-оператор не может точно определить, что именно нужно клиенту.
• Политики и ограничения. В вопросе клиента есть моменты, которые ИИ не должен трактовать самостоятельно.
• Не уверен в ответе. ИИ-оператор понимает запрос, но не уверен, что сможет дать корректный ответ.
• Другое.

Благодаря этим причинам вы можете понять, как улучшить ответы ИИ-оператора. Например, если в списке есть "Тема вне базы знаний", это повод улучшить документы и информацию, которая есть у ИИ-оператора.

Динамика автоматизации#

На графике показывает, как менялось соотношение диалогов, закрытых без участия сотрудника и тех, которые были переданы на оператора.

При анализе эффективности ИИ-оператора мы рекомендуем оценивать все показатели в целом, а не опираться на какой-то один критерий.

Хороший результат автоматизации состоит как из самостоятельного закрытия ИИ-оператором диалогов, так и из высокого качества решений и оценки настроения клиентов.

Для более тонкой настройки, мы составили статьи, которые помогут улучшить показатели:

Советы по составлению базы знаний для ИИ-оператора.

Советы по настройке промптов для ИИ-оператора.

Экспериментируйте с настройками и повышайте эффективность ИИ-оператора, чтобы он приносил максимальную пользу вам и клиентам!