В прошлом году мы запустили AI-бота для сети стоматологий в Алматы. Бот работал хорошо — записывал на приём, отвечал на вопросы о ценах, напоминал о визитах. Но руководитель клиники был недоволен.
«Клиенты жалуются, что бот слишком сухой, — сказал он. — Как будто общаются с автоответчиком. А мы ведь семейная клиника, у нас тёплая атмосфера. Дети не боятся к нам ходить. А тут — робот какой-то».
Мы изменили промпт. Добавили больше эмпатии, неформальных фраз, эмодзи в подходящих местах. Запустили новую версию.
Через неделю звонит тот же руководитель: «Теперь говорят, что слишком фамильярно. Одна клиентка написала, что бот ей подмигивает, а она в клинику идёт зуб лечить, а не на свидание».
Так мы научились главному: ощущения — плохой советчик. Нужны данные. И нашли способ найти идеальный тон за неделю — через A/B-тестирование промптов.
«Каждый думает, что знает, как должен говорить бот. Маркетолог хочет продающего, поддержка — вежливого, директор — солидного. A/B-тест показывает, чего хотят клиенты. И обычно это сюрприз для всех».
Из практики проектов CrmAI
30+ A/B-тестов промптов в 2024-2025
Почему интуиция не работает при выборе тона бота
Прежде чем погружаться в методологию тестирования, давайте разберёмся, почему вообще нужно тестировать. Казалось бы — написали промпт, посмотрели ответы, подкрутили формулировки. Где тут наука?
Проблема в том, что мы оцениваем тон бота изнутри компании. А клиенты видят его совсем иначе.
Когда вы читаете ответ бота, вы знаете контекст: какие у вас цены, какой сервис, какая репутация. Клиент этого не знает. Он видит только текст в мессенджере — и решает, доверять или нет. За доли секунды. По первым двум предложениям.
Вот реальные примеры, как одна и та же информация звучит по-разному:
Версия A: Формальная
«Уважаемый клиент, благодарим вас за обращение. Стоимость первичной консультации терапевта составляет 5 000 тенге. Для записи на приём, пожалуйста, укажите предпочтительную дату и время.»
Версия B: Дружелюбная
«Привет! Консультация терапевта — 5 000 тг. Когда вам удобно заглянуть? Могу посмотреть ближайшие свободные окошки»
Версия C: Экспертная
«Первичный приём терапевта: 5 000 тг, около 30 минут. На консультации врач соберёт анамнез и при необходимости направит к узкому специалисту. Подобрать время?»
Версия D: Заботливая
«Понимаю, что поход к врачу — дело непростое. Консультация стоит 5 000 тг, занимает полчаса. Наши терапевты очень внимательные, расскажете им всё спокойно. Когда удобнее прийти?»
Какая версия лучше? Честный ответ — зависит от клиники, от города, от того, кто её клиенты. Для премиальной клиники в бизнес-центре может сработать формальный тон. Для районной поликлиники с большим потоком — короткий и дружелюбный. Для детской клиники — заботливый.
Но это всё гипотезы. Единственный способ узнать правду — спросить у клиентов. Точнее, не спросить, а понаблюдать: какой вариант приводит к записи, а какой — к брошенному диалогу.
И вот тут начинается A/B-тестирование.
Что такое A/B-тестирование промптов и как это работает
Идея проста: берём двух (или больше) версий промпта и показываем их разным клиентам случайным образом. Потом смотрим, какая версия дала лучший результат.
Это не новая концепция. Маркетологи давно тестируют заголовки писем, цвета кнопок, тексты лендингов. Разработчики продуктов тестируют интерфейсы. Просто для AI-ботов это пока делают единицы. А зря.
Разница в конверсии между хорошим и плохим промптом может достигать 40%. Это не опечатка — сорок процентов. Мы видели кейсы, где простая замена «Чем могу помочь?» на «Что случилось?» (для службы поддержки) увеличивала вовлечённость на треть.
Как работает A/B-тест промптов
100 клиентов
Случайное распределение
Промпт A
50 клиентов
Промпт B
50 клиентов
Сравнение
Конверсия, CSAT, время
Важный момент: A/B-тест — это не «попробовали два дня и выбрали». Это статистически корректное сравнение, которое учитывает случайные колебания. Если вчера было больше записей с промптом A, это ещё не значит, что он лучше — возможно, просто день такой выдался.
Чтобы сделать надёжный вывод, нужно накопить достаточно данных. Сколько именно — зависит от разницы, которую вы хотите обнаружить, и от объёма трафика. Об этом чуть позже.
Подробнее о метриках качества ботов мы писали в статье Метрики качества чат-бота: от containment до CSAT.
Что именно можно тестировать в промпте
Промпт — это не только «тон». Это целый набор инструкций для AI, и каждый элемент влияет на результат. Вот основные вещи, которые имеет смысл тестировать:
| Элемент промпта | Варианты для теста | На что влияет |
|---|---|---|
| Тон общения | Формальный vs неформальный, дружелюбный vs деловой, эмпатичный vs нейтральный | Доверие, CSAT, готовность продолжать диалог |
| Длина ответов | Короткие (1-2 предложения) vs развёрнутые (3-5 предложений) | Время диалога, вовлечённость, понятность |
| Приветствие | «Здравствуйте» vs «Привет» vs сразу к делу | Первое впечатление, tone setting |
| Использование имени | Обращение по имени vs без имени | Персонализация, ощущение «меня помнят» |
| Эмодзи | Без эмодзи vs 1-2 уместных vs много | Восприятие бренда, «человечность» |
| CTA в конце | Вопрос vs предложение vs оба варианта | Конверсия в целевое действие |
| Структура ответа | Сплошной текст vs списки vs с заголовками | Читаемость, понимание, время на экране |
Важное правило: тестируйте одну вещь за раз. Если вы одновременно меняете тон, длину и добавляете эмодзи — вы не узнаете, что именно повлияло на результат. Это как в химии: меняешь одну переменную, остальные держишь постоянными.
Исключение — когда вы тестируете принципиально разные концепции. Например, «консультант» против «помощника». Тогда меняется всё сразу, потому что это разные роли бота.
Пример из практики: тестирование приветствия
Клиент: интернет-магазин товаров для дома в Нур-Султане.
Гипотеза: более короткое приветствие увеличит конверсию, потому что клиенты хотят быстро получить ответ.
Версия A (текущая)
«Здравствуйте! Добро пожаловать в магазин "Уют". Меня зовут Виртуальный помощник, и я с радостью помогу вам с выбором товаров, оформлением заказа или ответами на вопросы. Чем могу быть полезен?»
Версия B (тестовая)
«Привет! Чем помочь?»
Результат за 7 дней (412 диалогов):
- Версия A: 34% дошли до оформления заказа
- Версия B: 41% дошли до оформления заказа
- Разница: +20.6% относительно
- Статистическая значимость: 94% (достаточно для решения)
Вывод: короткое приветствие работает лучше для этого сегмента. Но для премиального бренда результат мог бы быть противоположным — потому и нужно тестировать.
Какие метрики использовать для сравнения
Недостаточно сказать «версия B лучше». Нужно определить, по какому критерию лучше. И этот критерий должен соответствовать вашей бизнес-цели.
Вот метрики, которые мы обычно используем:
Конверсия
Процент диалогов, которые привели к целевому действию: заявка, запись, покупка.
CSAT
Оценка удовлетворённости клиента после диалога (опрос 1-5).
Время диалога
Сколько времени занял диалог до результата.
Число сообщений
Сколько реплик понадобилось для достижения цели.
Drop-off rate
Процент брошенных диалогов (клиент ушёл, не завершив).
Эскалации
Как часто клиент просит оператора.
Какую метрику выбрать главной? Зависит от задачи бота.
Если бот продаёт — главная метрика конверсия. Если отвечает на вопросы — CSAT и containment (процент вопросов, решённых без оператора). Если квалифицирует лиды — качество квалификации (сколько лидов оказались целевыми).
Но не забывайте про вторичные метрики. Если конверсия выросла, но CSAT упал — это тревожный сигнал. Возможно, вы просто стали агрессивнее дожимать клиентов, и они покупают, но недовольны. В долгосрочной перспективе это ударит по репутации.
О сквозной аналитике ботов читайте в статье Сквозная аналитика бота: от диалогов до выручки.
Хотите настроить A/B-тестирование для вашего бота?
Мы помогаем компаниям в Казахстане запускать и анализировать A/B-тесты промптов. Поможем выбрать метрики, настроить сплит, интерпретировать результаты.
Обсудить проектСколько данных нужно для достоверного результата
Это самый частый вопрос — и самый игнорируемый момент. Многие запускают тест на 50 диалогов, видят разницу в 5% и делают выводы. Это ошибка.
Статистика — штука коварная. При малом количестве данных случайные колебания могут выглядеть как закономерность. Сегодня версия A выиграла, завтра — версия B. Без достаточного объёма вы не отличите сигнал от шума.
Вот простая таблица: сколько диалогов нужно для теста в зависимости от ожидаемой разницы:
| Ожидаемая разница | Базовая конверсия | Минимум диалогов (на версию) | Комментарий |
|---|---|---|---|
| +30% относительно | 10% | ~200 | Большой эффект, быстро тестируется |
| +20% относительно | 10% | ~400 | Средний эффект, неделя при 100+ диалогах в день |
| +10% относительно | 10% | ~1500 | Малый эффект, нужно много данных |
| +5% относительно | 10% | ~6000 | Микро-оптимизация, для крупных компаний |
Что делать, если у вас мало трафика? Есть несколько стратегий:
- Тестируйте крупные изменения. Если у вас 100 диалогов в неделю — не тестируйте «привет» против «здравствуйте». Тестируйте принципиально разные подходы, где разница будет большой.
- Запускайте тест дольше. Лучше 3 недели с надёжным результатом, чем 3 дня с гаданием.
- Комбинируйте данные с качественным анализом. Смотрите не только на цифры, но и читайте диалоги. Иногда 10 примеров расскажут больше, чем 1000 чисел.
Главное правило: не торопитесь. Неправильный вывод из теста хуже, чем отсутствие теста. Вы внедрите «победившую» версию, которая на самом деле не лучше — и даже не узнаете об этом.
Пять частых ошибок в A/B-тестах промптов
Остановка теста слишком рано
Увидели «победителя» на второй день и выключили. Результат может перевернуться.
Изменение версий во время теста
«Подправили» промпт B на третий день — данные теперь несравнимы.
Игнорирование сегментации
Версия A лучше для новых клиентов, B — для повторных. Общий результат ничего не скажет.
Тестирование нескольких вещей сразу
Изменили тон и добавили эмодзи — что сработало? Неизвестно.
Неравномерное распределение
Версия A получила все утренние диалоги, B — вечерние. Сравнение нечестное.
Правильный подход
Случайное распределение, фиксированные версии, достаточный объём данных, одна переменная.
Пошаговый план: найти идеальный тон за неделю
Теперь давайте соберём всё в практический план. Предположим, у вас есть работающий бот с 50-100 диалогами в день. Как за неделю найти тон, который конвертирует лучше всего?
Анализ и гипотезы
- Прочитайте 20-30 последних диалогов. Где клиенты отваливаются? Что спрашивают чаще всего?
- Соберите обратную связь от менеджеров, которые видят эскалации
- Сформулируйте 2-3 гипотезы: «Если мы сделаем X, то Y вырастет на Z%»
- Выберите одну гипотезу для первого теста
Подготовка версий
- Напишите версию B промпта (A — текущая)
- Проверьте оба промпта на 5-10 тестовых сценариях
- Убедитесь, что разница только в том, что тестируете
- Настройте сплит-тестирование в платформе бота
Сбор данных
- Запустите тест и не трогайте промпты
- Ежедневно проверяйте, что сплит работает корректно (50/50)
- Не смотрите на «кто побеждает» — рано делать выводы
- Читайте выборочно диалоги из обеих версий — ищите инсайты
Анализ и решение
- Выгрузите данные: конверсия, CSAT, время, эскалации для обеих версий
- Проверьте статистическую значимость (p < 0.05 или уверенность > 95%)
- Если есть победитель — внедряйте
- Если нет статзначимости — либо продлите тест, либо примите нулевую гипотезу (разницы нет)
- Запланируйте следующий тест
Этот цикл можно повторять бесконечно. Нашли победителя — сделали его новой базой — запустили следующий тест. Постоянная оптимизация даёт кумулятивный эффект: +10% тут, +15% там — и через полгода бот работает вдвое эффективнее.
О том, как оценивать качество бота в целом, читайте в Оценка качества AI-бота: golden set, метрики, A/B-тесты.
Инструменты для A/B-тестирования промптов
Для тестирования не обязательно строить сложную инфраструктуру. Вот несколько подходов — от простого к продвинутому:
Простой вариант
Ручной сплит по времени: неделя с промптом A, неделя с промптом B. Сравнение в Excel.
Минус: не учитывает сезонность, день недели и другие факторы.
Средний вариант
Рандомизация на уровне бота: каждый новый диалог случайно получает версию A или B. Логирование в базу.
Нужно: доработка бота, простой дашборд для анализа.
Продвинутый вариант
Платформа A/B-тестирования: автоматическое распределение, статистика, multi-armed bandit для ускорения.
Примеры: LaunchDarkly, Optimizely, или кастомное решение.
Для большинства компаний достаточно среднего варианта. Если у вас есть разработчик и доступ к коду бота — можно настроить рандомизацию за день. А для анализа подойдёт обычный Google Sheets с формулами для расчёта конверсии и доверительных интервалов.
Если вам интересно, как устроена аналитика ботов изнутри, рекомендуем статью Чат-аналитика: почему бот не продал.
Три реальных кейса: что мы тестировали и что получили
Теория — это хорошо, но лучше всего работают примеры. Вот три кейса из нашей практики с казахстанскими компаниями.
Кейс 1: Интернет-магазин электроники (Алматы)
Гипотеза:
Добавление конкретных цифр в ответы увеличит доверие. Вместо «быстрая доставка» — «доставка за 2-4 часа по городу».
Результат (14 дней, 892 диалога):
- Конверсия в заказ: +18%
- Вопросы «а когда доставите?»: -45%
- CSAT: без изменений
Вывод: конкретика работает. Люди не любят неопределённость, особенно когда речь о деньгах и времени.
Кейс 2: B2B-компания, IT-услуги (Нур-Султан)
Гипотеза:
Формальный тон лучше для B2B-аудитории. Тестировали «вы» с полными предложениями против «ты» с короткими.
Результат (10 дней, 234 диалога):
- Конверсия в заявку: без статзначимой разницы
- CSAT: формальный +0.3 балла
- Время диалога: неформальный быстрее на 20%
Вывод: для B2B обе версии работают. Выбрали формальную, потому что выше CSAT и соответствует бренду компании.
Кейс 3: Сеть ресторанов (Шымкент)
Гипотеза:
Эмодзи увеличат вовлечённость и ощущение «дружелюбного места». Тестировали 0 эмодзи против 2-3 уместных.
Результат (7 дней, 567 диалогов):
- Бронирование столов: +23%
- Ответы клиентов с эмодзи: выросли в 3 раза
- CSAT: +0.4 балла
Вывод: для HoReCa эмодзи работают. Люди идут в ресторан за хорошим настроением — бот задаёт его с первого сообщения.
Обратите внимание: то, что сработало для ресторана, может не сработать для юридической фирмы. И наоборот. Универсальных рецептов нет — есть методология тестирования, которая находит правильный ответ для каждого бизнеса.
Заключение: тестирование — это не разовое действие
A/B-тестирование промптов — это не проект с началом и концом. Это процесс постоянной оптимизации, который должен стать частью культуры работы с ботом.
Вот главные мысли из этой статьи:
- Интуиция обманывает. То, что кажется «правильным тоном» внутри компании, может не работать для клиентов. Тестируйте, а не угадывайте.
- Одна переменная за раз. Иначе вы не поймёте, что сработало.
- Достаточно данных. 50 диалогов — это не тест, это случайность. Считайте нужный объём заранее.
- Метрика соответствует цели. Тестируете продающего бота — смотрите на конверсию. Поддержку — на CSAT.
- Тестирование — это цикл. Нашли победителя — запускайте следующий тест. Кумулятивный эффект огромен.
История с той стоматологией, с которой мы начали, закончилась хорошо. После трёх раундов тестирования мы нашли тон, который устроил и клиентов, и владельца клиники. Не слишком сухой, не слишком фамильярный — тёплый, но профессиональный. С заботой, но без заигрывания.
А главное — это не наше мнение. Это результат 1200 диалогов и статистически значимой разницы в 27% по записям на приём.
Хотите найти идеальный тон для вашего бота?
Мы помогаем компаниям в Казахстане настраивать и анализировать A/B-тесты промптов. Поможем сформулировать гипотезы, настроить тестирование и интерпретировать результаты.
Обсудить тестированиеЧитайте также
A/B-тесты диалогов: как доказать эффект бота
Общие принципы тестирования ботов
Оценка качества AI-бота: golden set и метрики
Как измерять качество бота комплексно
Метрики качества чат-бота
Containment, CSAT и другие ключевые показатели
Сквозная аналитика бота
Как связать диалоги с выручкой