Четверг, второй этаж контакт-центра в Алматы. Три супервайзера сидят за овальным столом, у каждого — наушники и распечатанный чек-лист. Задача простая: послушать один пятиминутный звонок и поставить оценку. Разговор как разговор — клиент поговорил, сказал «спасибо, подумаю» и повесил трубку.
Айгуль ставит 78 баллов. Марат смотрит на свой лист, морщится и пишет 62. Жанна уверенно выводит 85. Двадцать три балла разброса. Один и тот же диалог, один и тот же оператор, три разных мнения.
«Да он вообще не выявил потребность!» — Марат явно недоволен. «Как не выявил? Он же задавал уточняющие вопросы», — Жанна недоумённо листает свои заметки. «Погодите, а зачем он вообще про бюджет спросил посередине? Это же не по скрипту», — Айгуль окончательно запуталась.
Узнаёте себя? Если у вас больше одного человека слушают звонки — добро пожаловать в клуб. Каждый супервайзер смотрит на диалог через свою призму. А оператор в это время пытается понять: вчера его хвалили за инициативу, сегодня — ругают за отход от скрипта. Где логика?
Вот про это и поговорим. Как сделать так, чтобы три человека ставили примерно одинаковые оценки за один и тот же звонок. Без теории и академических рассуждений — только то, что реально работает в жизни.
«Калибровка — это не про то, чтобы все думали одинаково. Это про то, чтобы все понимали критерии одинаково. Разница огромная»
Принцип единства стандартов
Quality Assurance
Почему разброс оценок — это не мелочь, а серьёзная проблема
Можно махнуть рукой: подумаешь, люди по-разному оценивают. Все мы разные, это же естественно. Беда в том, что эта милая субъективность бьёт по вполне конкретным вещам — по деньгам, по мотивации людей, по качеству работы. А с виду вроде ничего страшного.
К чему приводит рассогласованность оценок
Демотивация операторов
Представьте: вас сегодня похвалили за инициативу, а завтра отругали за то же самое — просто проверял другой человек. Как тут работать? Руки опускаются, люди уходят.
Несправедливые KPI
Получается, премию получает не тот, кто лучше работает, а тот, кому повезло с проверяющим. Звучит нечестно? Так оно и есть.
Ненадёжная аналитика
Вы смотрите в отчёт: средний балл 75. А на самом деле? Кто знает. Данные настолько зашумлённые, что строить на них выводы — это гадание на кофейной гуще.
Страдает клиентский опыт
Один клиент позвонил — его обслужили по высшему классу. Другой — ему ответили кое-как. А почему? Потому что операторы ориентируются на разные стандарты.
Бесполезные апелляции
«А вот у Марата я бы получил 80!» — знакомая фраза? Когда операторы знают, что оценка зависит от человека, они идут спорить. И вместо работы над качеством — бесконечные разборки.
Невозможность обучать
Тренер учит одному, а супервайзер потом оценивает по-другому. Оператор в растерянности: так как правильно-то? А вы пожимаете плечами.
Вот вам цифра из жизни: когда калибровки не делают, согласованность оценок где-то 60-70%. Если по-простому — каждый третий звонок оценивается наугад. Представьте: треть вашей системы контроля качества — это рулетка. Красное или чёрное?
А стоит начать нормально калиброваться — показатель спокойно вырастает до 90% и выше. Как до этого дойти — сейчас расскажу.
Что такое QA-калибровка и как она работает
Идея проста до неприличия. Собираете всех, кто проверяет звонки, за одним столом. Включаете один и тот же разговор. Каждый молча оценивает — без подглядывания к соседу. А потом сравниваете: у Айгуль 80, у Марата 65. Почему? Вот тут начинается самое интересное — не выяснение «кто прав», а разговор о том, как вы понимаете каждый пункт чек-листа.
Представьте оркестр перед концертом. Каждый музыкант настраивает свой инструмент по камертону. У каждой скрипки свой тембр, но если их не настроить под один стандарт — будет какофония. В контакт-центре камертон — это чек-лист и общее понимание, что за ним стоит. Без этого — каждый играет в свою дуду.
Как проходит калибровочная сессия
Подготовка
Ведущий ищет «вкусные» диалоги: один эталонный, один откровенно плохой, пару средних и обязательно что-то спорное
Индивидуальная оценка
Все слушают молча — никаких вздохов и переглядываний! Каждый заполняет чек-лист сам, не подглядывая к соседу
Сравнение и обсуждение
«На счёт три — показываем!» Сравниваем цифры и разбираем: откуда такая разница? Что каждый увидел или не заметил?
Фиксация договорённостей
Договорились? Записываем! Иначе через неделю никто не вспомнит, о чём вообще был разговор
И знаете что? Калибровка — это не экзамен и не проверка на профпригодность. Если у кого-то оценки сильно отличаются от остальных — это не повод краснеть или оправдываться. Может, человек заметил то, что другие пропустили. Может, он по-другому понял формулировку в чек-листе. Отлично! Давайте разберёмся вместе — для этого и собрались.
Как создать чек-лист, который работает
А теперь давайте честно поговорим о том, почему оценки расходятся. Спойлер: чаще всего виноват не человек, а инструмент. Дурацкие чек-листы — вот главный источник хаоса. Вот мой любимый пример из практики: «Вежливость — 10 баллов». И всё. Занавес. А что, простите, такое вежливость? Это когда улыбка в голосе? Когда не нахамил? Когда извинился за проблему? Когда назвал по имени? Три человека прочитают такой пункт — и у каждого своя картинка в голове.
Хороший чек-лист работает иначе. Он не описывает качества характера — он описывает конкретные действия. Не «каким должен быть оператор», а «что именно он должен сделать в этом разговоре». Было или не было — вот и весь вопрос. Никаких «ну, вроде был вежливым...».
Плохой чек-лист
- Вежливость — 10 баллов
- Выявление потребности — 15 баллов
- Грамотная речь — 10 баллов
- Работа с возражениями — 15 баллов
- Общее впечатление — 20 баллов
Слишком размыто. Каждый понимает по-своему.
Хороший чек-лист
- Назвал себя и компанию в первые 5 секунд — 5 баллов
- Спросил имя клиента и использовал его минимум 2 раза — 5 баллов
- Задал минимум 3 открытых вопроса про ситуацию клиента — 10 баллов
- Озвучил следующий шаг с конкретной датой/временем — 10 баллов
- При возражении задал уточняющий вопрос, а не сразу аргументировал — 10 баллов
Конкретные действия. Легко проверить: было или нет.
Из чего состоит хороший чек-лист оценки
Понятно, что у банка и у интернет-магазина чек-листы будут разные. Но есть базовые блоки, которые встречаются практически везде. Если вы строите чек-лист с нуля — начните с этой структуры, а потом адаптируйте под себя:
| Блок | Что проверяем | Вес | Тип оценки |
|---|---|---|---|
| Открытие разговора | Приветствие, представление, уточнение запроса, создание контакта | 15% | Да/Нет |
| Выявление потребности | Открытые вопросы, активное слушание, резюмирование | 25% | Шкала 0-3 |
| Решение вопроса | Полнота информации, точность, понятность объяснений | 25% | Шкала 0-3 |
| Работа с возражениями | Выслушал, уточнил, аргументировал, не спорил | 15% | Шкала 0-3 |
| Закрытие разговора | Следующий шаг, резюме, прощание, благодарность | 10% | Да/Нет |
| Критические ошибки | Грубость, обман, нарушение регламента, отказ помочь | Обнуление | Триггер |
Обратили внимание на последнюю строку? Критические ошибки — это красная карточка. Нагрубил клиенту — всё, ноль баллов, идите домой. Соврал про условия акции — тоже ноль. И неважно, какой он гениальный переговорщик. Есть вещи, которые перечёркивают вообще всё остальное. Как в футболе: можешь забить три гола, но если ударил соперника — удаление.
Если хотите глубже в метрики качества — почитайте наше руководство по метрикам качества чат-ботов и операторов.
Пограничные кейсы: где ломается любой чек-лист
Окей, у вас есть идеальный чек-лист. Конкретный, измеримый, все пункты расписаны. Можно расслабиться? Как бы не так. Жизнь всегда подкидывает диалоги, которые ни в какой чек-лист не влезают. Клиент ведёт себя странно, оператор импровизирует, что-то идёт не по плану — и вот вы сидите втроём и спорите: это снижать или не снижать?
За годы работы с казахстанскими контакт-центрами я насобирал целую коллекцию таких головоломок. Вот самые популярные — и как мы договаривались их решать:
Ситуация: Клиент эмоционален, постоянно перебивает, не даёт задать уточняющие вопросы. Оператор пытается вставить слово, но не успевает.
Спор: Снижать ли баллы за «не выявил потребность», если оператор физически не мог это сделать?
Решение: Оцениваем попытки. Если оператор делал паузы, пытался вставить вопросы, проявлял терпение — баллы не снижаем. Если молча слушал и не пытался направить разговор — снижаем частично. Фиксируем в чек-листе: «При агрессивном клиенте оценивается не результат, а попытки и техника управления диалогом».
Ситуация: Клиент звонит с простым вопросом: «Во сколько вы работаете?». Оператор отвечает за 30 секунд. Разговор закончен.
Спор: Как оценивать? Половина чек-листа не применима — не было потребности, которую нужно выявлять, не было возражений.
Решение: Создаём отдельный «мини-чек-лист» для простых запросов. Оцениваем только применимые пункты: приветствие, точность ответа, предложение дополнительной помощи, прощание. Или помечаем как «не подлежит оценке» с комментарием.
Ситуация: По скрипту нужно спросить «Как вы о нас узнали?» в начале разговора. Оператор не спросил. Но клиент остался доволен, записался на услугу, сам рассказал, что пришёл по рекомендации.
Спор: Снижать за невыполнение скрипта или нет, если результат достигнут?
Решение: Зависит от политики компании. Рекомендую: различать «обязательные» пункты скрипта (критичные для бизнеса или compliance) и «желательные». За обязательные — снижаем всегда. За желательные — снижаем частично или не снижаем, если результат достигнут. Но это должно быть заранее прописано.
Ситуация: Клиент говорит на казахском, оператор отвечает на русском. Или наоборот. Или разговор идёт на смеси языков с переключениями.
Спор: Снижать ли за то, что оператор не перешёл на язык клиента? Как оценивать грамотность при смешении языков?
Решение: Фиксируем политику: если оператор владеет языком клиента — должен перейти (иначе снижаем). Если не владеет — не снижаем, но фиксируем для маршрутизации. Грамотность оцениваем в рамках используемого языка. Смешение без потери смысла — не ошибка в контексте Казахстана.
Ситуация: Связь прерывалась, были помехи, эхо. Оператор переспрашивал, клиент раздражался.
Спор: Снижать ли баллы оператору за то, что он не контролирует?
Решение: Не снижаем за технические проблемы. Но оцениваем, как оператор с ними справился: извинился ли, предложил ли перезвонить, сохранил ли терпение. Фиксируем технические проблемы отдельно для IT-команды.
Главный совет: каждый такой случай записывайте. Разобрали пограничную ситуацию — сразу в базу знаний QA-команды. Года через полтора у вас накопится настоящая энциклопедия спорных случаев. И когда в следующий раз прилетит что-то странное, вы просто скажете: «А, это как тот случай с клиентом из Караганды, помните? Мы тогда решили не снижать».
Кстати, про то, как организовать базу знаний так, чтобы в ней можно было что-то найти, у нас есть отдельная статья — база знаний службы поддержки.
Как проводить калибровочные сессии: пошаговый процесс
Ладно, хватит рассуждений — давайте к практике. Как конкретно организовать калибровку, чтобы это было не «посидели, поговорили, разошлись», а реально работающий процесс? Потому что я видел калибровки, после которых люди выходили ещё более запутанными, чем заходили. Так делать не надо.
Подготовка (за 1-2 дня до сессии)
- Выберите 4-6 диалогов. Нужен микс: один «вау, как красиво!», один «ой, что это было?» и пара спорных. Длина — 3-7 минут, иначе все уснут.
- Уберите имена операторов. Серьёзно, это важно. «Это же Алия, она всегда хорошо работает» — так нельзя. Оценивайте разговор, а не человека.
- Подготовьте бумажки: чек-листы каждому, таблица для сравнения, записи или транскрипты. Ничего сложного, но без этого будет хаос.
- Напомните людям накануне. Календари у всех забиты, а калибровки без полного состава — это так себе затея.
Проведение (60-90 минут)
Первые 5 минут
Проговорите правила: слушаем молча, оценки не показываем до команды, никого не критикуем — разбираем только критерии.
Каждый диалог (15-20 минут)
- Слушаем вместе — без пауз и «ой, послушайте ещё раз»
- Каждый заполняет свой чек-лист. Тишина!
- «Раз-два-три — показываем!» Все одновременно
- Разбираем: почему у кого-то 70, а у кого-то 85?
- Договорились — записали. Не договорились — записали тоже
Завершение и follow-up
- Пробегитесь по итогам: где больше всего спорили? О чём договорились? Пять минут на резюме.
- Обновите документы сразу. «Потом внесу» = «Никогда не внесу». Вы это знаете.
- Отправьте краткий протокол — даже тем, кто не пришёл. Пара абзацев: что слушали, что решили.
- Забронируйте следующую встречу. Прямо сейчас, пока все тут. Иначе опять будете месяц искать слот.
Как часто проводить калибровки
«Как часто?» — вопрос, который задают всегда. Честный ответ: зависит от ситуации. Но вот ориентиры из практики — можете отталкиваться от них:
Запуск / Новая команда
2 раза в неделю
Первые недели — как интенсив. Пока не начнёте понимать друг друга с полуслова. Обычно хватает 4-6 недель.
Стабильный процесс
1 раз в неделю
Рабочий режим. Новые кейсы появляются, люди начинают «дрейфовать» — надо держать руку на пульсе.
Зрелая команда
2 раза в месяц
Команда притёрлась, всё работает. Но расслабляться нельзя — плюс внеплановые, если меняются скрипты или продукты.
Как измерить эффективность калибровки
Ок, вы проводите калибровки. Но работает ли это? Или вы просто каждую неделю тратите час на ритуал, который ни на что не влияет? Давайте разберёмся, как понять, что калибровка реально даёт результат:
Inter-Rater Reliability (IRR)
Межоценочная надёжностьПроще говоря: насколько ваши супервайзеры согласны друг с другом. Чем выше число — тем лучше они откалиброваны.
Цель: 85%+ совпадений в пределах ±5 баллов
Calibration Variance
Разброс на калибровкеОдин поставил 90, другой 60 — это 30 баллов разброса. Много это или мало? Смотрите ниже.
Цель: не более 10-12 баллов на 100-балльной шкале
Appeal Rate
Процент апелляцийЕсли операторы постоянно бегают оспаривать оценки — значит, что-то не так с вашей системой. Либо критерии мутные, либо люди оценивают по-разному.
Цель: менее 5% оценок оспаривается
Rater Drift
Дрейф оценщикаМарат раньше ставил в среднем 75, а теперь — 65. Или наоборот, подобрел. Это и есть дрейф. Человек незаметно для себя меняет планку.
Цель: отклонение не более 5% от среднего по команде
Заведите привычку: раз в месяц смотрите на эти цифры. Показатели поползли вниз? Пора чаще калиброваться. Всё стабильно? Отлично, продолжайте в том же духе. Но совсем расслабляться не стоит — стоит отпустить, и всё начнёт разъезжаться.
Если лень вручную всё это считать — можно подключить AI-аналитику звонков. Она неплохо ловит странности в оценках и помогает увидеть паттерны.
Роль AI в процессе калибровки
Сразу скажу: AI не заменит калибровочные сессии. Не надейтесь. Но в качестве помощника — работает отлично. Вот как его можно использовать (и как мы используем у своих клиентов):
AI как «нулевой оценщик»
Пусть AI тоже оценит диалог. Показываете его оценку после того, как все супервайзеры дали свои. Что это даёт:
- Ещё одна точка зрения — беспристрастная и без «плохого настроения»
- Иногда AI замечает то, что люди пропустили
- Если AI сильно расходится с командой — либо его надо дообучить, либо команда что-то не видит
AI для отбора диалогов
Зачем тратить время на случайную выборку? Пусть AI найдёт самое интересное:
- Диалоги на грани: вроде нормально, но что-то смущает
- Странные случаи: клиент вёл себя нетипично
- Ситуации, где сам AI не уверен — идеально для разбора
- Новые типы запросов, которых раньше не встречалось
И вот что важно: AI тоже надо калибровать! Да-да. Договорились на сессии, что теперь какой-то критерий понимаем иначе? Обновили чек-лист? Отлично. А модель обновили? Нет? Тогда ваш умный алгоритм будет упрямо судить по старым правилам, а вы — удивляться, почему он несёт ерунду.
Больше про AI в контроле качества — в статье про QA-аналитику разговоров с помощью AI.
Нужна помощь с системой контроля качества?
Поможем настроить процесс QA в контакт-центре: разработаем чек-листы, внедрим AI-аналитику, обучим супервайзеров проводить калибровки. Работаем с компаниями в Казахстане.
Обсудить проект10 практических советов для успешной калибровки
Напоследок — шпаргалка, которую можно распечатать и повесить на стену. Это не теория из книжек, а реальные советы, проверенные на десятках контакт-центров. Каждый пункт — из живого опыта:
Никаких имён операторов
Как только вы узнаёте, чей это звонок, объективность летит в трубу. Проверено.
Сначала — молча, потом — вместе
Стоит кому-то хмыкнуть или покачать головой — и всё, остальные уже подстраиваются.
Показывайте оценки одновременно
Иначе самый скромный подождёт, посмотрит на других и подправит свою цифру. Классика.
Разбирайте расхождения, а не людей
Не «Марат, ты опять завысил», а «Давайте разберёмся, что каждый из нас увидел в этом моменте».
Документируйте всё
«Мы же это обсуждали!» — «Когда? Не помню». Записывайте сразу, потом спасибо скажете.
Включайте и новичков, и «старожилов»
Новенький спросит «а почему так?» — и вдруг выяснится, что никто толком не знает почему.
Иногда приглашайте операторов
Они расскажут контекст, который вы не услышите в записи. «А, этот клиент звонит третий раз за день!»
Используйте «эталонные» диалоги
«Хороший звонок — это какой?» Покажите. Одна запись стоит тысячи объяснений.
Калибруйте после каждого изменения
Запустили новый продукт? Поменяли скрипт? Срочно собирайтесь — старые договорённости могут не работать.
Делайте это регулярно
Час в неделю лучше, чем четыре часа раз в квартал. Привычка — ваш главный союзник.
Коротко: калибровка — это не опция, а необходимость
Давайте начистоту: если у вас звонки проверяет больше одного человека, калибровка — не роскошь и не «было бы неплохо». Это must have. Без неё вся система контроля качества — красивая декорация. Оценки — лотерея, операторы — в растерянности, аналитика — красивые цифры ни о чём.
А когда калибровки проводятся регулярно, вы получаете совсем другую картину:
- Единый стандарт, который понимают все — и супервайзеры, и операторы, и тренеры
- Честные KPI — премию получает тот, кто реально лучше работает
- Аналитика, которой можно верить и на которой можно строить решения
- Нормальное обучение — тренер учит тому, что потом будут проверять
- Стабильный сервис — клиенту не нужно «везти» с оператором
С чего начать? Да прямо с понедельника. Соберите супервайзеров на час, послушайте три звонка вместе, сравните цифры. Если разброс большой — поздравляю, вы нашли проблему. Теперь можно её решать. Если разброса нет — ещё лучше, но не расслабляйтесь. Проверяйте периодически, потому что оценки имеют свойство потихоньку разъезжаться.
А если хотите сделать всё правильно с первого раза — с грамотными чек-листами, обученной командой и подключённой AI-аналитикой — напишите нам. Поможем разобраться. Работаем с контакт-центрами по всему Казахстану и знаем местную специфику.