Аудит AI‑контента: как избежать галлюцинаций в КП и RFP

Знакомая ситуация? Коллега из отдела продаж радостно показывает КП, которое он «сгенерировал за пять минут». Читаете и холодеете: «Наш офис в Дубае обеспечивает поддержку клиентов на Ближнем Востоке». Офиса в Дубае у вас нет. Никогда не было. Даже в планах не значился.

Или вот ещё лучше: на презентации клиент спрашивает про интеграцию с SAP, которую вы «обещали» в RFP‑ответе. Сейлз смотрит на продуктолога, продуктолог — на сейлза. Интеграции нет. GPT просто решил, что она должна быть, потому что «так звучит солидно».

AI действительно творит чудеса со скоростью создания коммерческих документов. Но есть нюанс: он с такой же уверенностью пишет правду и полную чепуху. И отличить одно от другого без проверки невозможно. Одна «галлюцинация» в enterprise‑сделке — и вы теряете контракт, который вели полгода. Давайте разберёмся, как этого не допустить.

Откуда берутся галлюцинации и почему с ними сложно бороться

Галлюцинация — это когда AI с абсолютной уверенностью выдаёт информацию, которой не существует в реальности. Причём делает это так убедительно, что даже опытный сотрудник может не заметить подвоха.

Самое неприятное в галлюцинациях — они выглядят абсолютно правдоподобно. AI не ставит пометку «это я выдумал». Он просто пишет, что у вас есть сертификация ISO 27001 (а она истекла два года назад), что вы работали с «крупным банком в Казахстане» (хотя в финансовом секторе у вас ни одного клиента), или что ваш продукт гарантирует «ROI 340% в первый год» (откуда эта цифра — загадка даже для самого AI).

Почему это происходит? AI обучен на миллионах коммерческих предложений и знает, как они «должны звучать». Он прекрасно понимает, что солидная компания имеет офисы в разных странах, сертификации, впечатляющие кейсы и красивые цифры. И если вы не дали ему конкретные данные — он заполнит пробелы сам. Не со зла, а потому что так его научили: текст должен быть полным и убедительным.

Есть ещё одна ловушка: при длинных промптах AI постепенно «забывает» ограничения, которые вы дали в начале. Вы написали «используй только проверенные данные», а через три страницы генерации он уже вовсю фантазирует про интеграции и кейсы.

На что смотреть в первую очередь: зоны риска

Не всё в AI‑тексте одинаково опасно. Есть места, где галлюцинации случаются чаще всего и бьют больнее всего. Именно на них стоит сфокусировать внимание при проверке.

Факты о компании — проверяйте каждую цифру

AI любит добавлять «солидности»: офисы в разных странах, сотни сотрудников, десятки лет на рынке. Если в вашем fact sheet написано «50 сотрудников», а AI написал «более 100 специалистов» — это уже проблема. Особенно коварны сертификации: AI не знает, что ваш ISO 27001 истёк в прошлом году, и уверенно указывает его как действующий. То же с партнёрскими статусами — «Gold Partner Microsoft» звучит красиво, но если у вас Silver — клиент это легко проверит.

Функционал продукта — самая частая ловушка

Это, пожалуй, главный источник проблем. AI видел тысячи описаний похожих продуктов и знает, какие функции «должны быть». Интеграция с SAP? Конечно! Поддержка API v3? Безусловно! Machine learning для прогнозирования? А как же! И неважно, что половины этого у вас нет — текст же должен впечатлять. Особенно опасно смешение функций разных тарифов: AI может описать возможности Enterprise‑плана, хотя клиенту вы предлагаете Standard.

Кейсы и референсы — территория фантазий

«Мы успешно внедрили решение в Kaspi Bank, сократив время обработки заявок на 67%». Звучит отлично. Только вот с Kaspi Bank вы никогда не работали, а цифра 67% взята буквально из воздуха. AI прекрасно знает структуру убедительного кейса и может сгенерировать его за секунды — включая название компании, которую вы видите впервые. Даже если клиент реальный, цифры результатов могут быть преувеличены в разы.

Цены и условия — где ошибка стоит денег

AI может взять цены из устаревшего прайса (или просто придумать их). SLA 99.99% звучит лучше, чем ваши реальные 99.9% — так почему бы не написать красивее? А условия поддержки из Enterprise‑тарифа отлично смотрятся в КП для клиента на Standard. Если клиент подпишет контракт на основе этих «обещаний», у вас будут проблемы.

Как встроить проверку в рабочий процесс (чтобы она реально работала)

Главная проблема с верификацией — её легко пропустить, когда горит дедлайн. «Потом проверю» превращается в «отправил как есть, вроде нормально выглядело». Поэтому проверка должна быть встроена в процесс так, чтобы обойти её было сложнее, чем выполнить.

Начинаем с правильных вводных

Половина галлюцинаций возникает потому, что AI просто не получил нужных данных. Вы попросили написать КП, но не дали fact sheet компании — и он сам решил, сколько у вас офисов и сотрудников. Решение простое: перед любой генерацией готовьте «пакет истины» — актуальный fact sheet, список реальных интеграций с указанием статуса (работает / в разработке / в планах), проверенные кейсы с разрешением на публикацию и действующий прайс. Чем полнее вводные — тем меньше AI придётся фантазировать.

Правильные промпты — это полдела

Разница между хорошим и плохим промптом — как между «напиши КП» и вот этим:

Ключевой трюк — явно разрешить AI признаться в незнании. По умолчанию он старается дать «полный» ответ, даже если для этого нужно что‑то додумать. Когда вы явно говорите «лучше отметь как неизвестное», он начинает это делать.

Автоматика ловит очевидное

Простые автоматические проверки отсекают грубые ошибки ещё до человеческого ревью. Например, сравнение упомянутых клиентов со списком approved — если в тексте появляется компания, которой нет в списке, это сразу флаг. То же с сертификациями, ценами (если цифра выходит за рамки прайса — красный флаг), и «опасными» словами типа «гарантируем», «100%», «лучший на рынке». Это не требует сложного AI — обычные правила и регулярные выражения справляются.

Человеческий ревью — разделяй и властвуй

Один человек не может качественно проверить всё. Продуктолог отлично видит ошибки в описании функционала, но может не заметить неверную цену. Сейлз знает актуальный прайс, но не следит за статусом сертификаций. Поэтому разделите ответственность: продуктолог проверяет функционал, Customer Success — кейсы и референсы (они знают, что реально было с клиентами), сейлз‑лид — цены и условия. Для крупных сделок добавьте юриста на проверку гарантий и обязательств.

Финальная подпись — не формальность

Перед отправкой кто‑то должен поставить своё имя под документом. Не «отдел продаж одобрил», а «Иванов И.И. проверил и подтвердил корректность». Когда человек подписывается лично — он относится к проверке гораздо серьёзнее. Никто не хочет быть тем, кто пропустил «офис в Дубае».

RFP — здесь ошибки особенно болезненны

Если в обычном КП галлюцинация — это неприятность, то в RFP‑ответе — потенциальная юридическая проблема. Дело в том, что ответы на RFP часто становятся частью контракта. Вы написали «поддерживаем интеграцию с Oracle» — и это уже не маркетинг, а обязательство. Клиент подпишет контракт, ожидая эту интеграцию, и будет в своём праве требовать её или расторгнуть сделку.

Есть и другой нюанс: крупные клиенты проводят due diligence. Они сравнивают ваши ответы с ответами конкурентов, проверяют заявленные кейсы, звонят референсам. Если AI написал, что вы работали с «крупным телекомом в Казахстане», а при проверке это не подтвердится — вы не просто потеряете сделку, вы потеряете репутацию.

Где AI особенно любит ошибаться в RFP

Вопрос «Поддерживаете ли интеграцию с X?» — AI отвечает «Да, полная поддержка», хотя на самом деле поддержка частичная. Правильный ответ: «Поддерживаем функции A и B, функция C в roadmap на Q3». Вопрос «Какой uptime гарантируете?» — AI пишет «99.99%», потому что это звучит солидно, хотя в вашем SLA прописано 99.9%. Разница кажется незначительной, но юридически — это разные обязательства. Вопрос «Опыт в нашей отрасли?» — AI уверенно генерирует кейс в нужной отрасли, потому что «должен же быть». Правильный ответ, если опыта нет: «Прямого опыта в вашей отрасли нет, но мы работали со смежными секторами X и Y, где решали аналогичные задачи».

Правило светофора для RFP

Простой способ снизить риски — разделить все вопросы RFP на три категории. Зелёные — описательные разделы (о компании, методология, общие подходы): здесь AI генерирует, человек проверяет. Жёлтые — технические вопросы о функционале: AI предлагает черновик, человек переписывает с учётом реальных возможностей. Красные — цены, SLA, юридические обязательства, гарантии: только человек, AI не участвует. Этот подход не идеален, но позволяет сфокусировать внимание там, где ошибки стоят дороже всего.

Практические инструменты, которые реально работают

Теория — это хорошо, но давайте поговорим о конкретных вещах, которые можно внедрить уже на следующей неделе.

База знаний вместо фантазий

Самый надёжный способ уменьшить галлюцинации — дать AI доступ к вашим реальным данным через RAG (Retrieval‑Augmented Generation). Загрузите туда документацию продукта, одобренные кейсы, fact sheet компании, актуальный прайс. Когда AI «видит» реальные данные, ему не нужно выдумывать. Ключевой момент — настройте высокий порог релевантности, чтобы AI брал только те данные, которые действительно подходят к запросу, а не притягивал что‑то «похожее».

Маркеры неуверенности

Простой, но мощный трюк — научить AI явно отмечать места, где он не уверен:

Теперь при ревью вы сразу видите потенциально проблемные места — они буквально помечены в тексте. Это экономит время и снижает риск пропустить галлюцинацию.

Проверка AI‑контента другим AI

Звучит как шутка, но работает: один AI генерирует текст, второй проверяет его на соответствие базе знаний. Второй AI получает задачу: «Вот текст КП, вот наша база знаний. Найди в тексте все утверждения, которые не подтверждаются базой знаний, и выдели их». Он находит «интеграцию с SAP», которой нет в документации, и отмечает это. Человек проверяет уже не весь текст, а только спорные места.

Чек‑лист прямо в шаблоне

Иногда самое простое решение — самое эффективное. Добавьте в конец каждого шаблона КП блок с чек‑листом: «Функции проверены по feature matrix — да/нет», «Кейсы проверены по approved list — да/нет», «Цифры подтверждены источником — да/нет», «Проверено: ФИО, дата». Этот блок удаляется перед отправкой клиенту. Но пока он там — он напоминает, что нужно проверить, и создаёт «бумажный след» ответственности.

Типичные ошибки, которые совершают все

За время работы с AI‑контентом мы насмотрелись на одни и те же грабли. Вот самые болезненные.

«AI написал — сразу отправили». Самая опасная ошибка. Текст выглядит профессионально, читается легко — зачем проверять? Затем, что именно в таком красивом тексте спрятаны несуществующие интеграции и выдуманные кейсы. Правило простое: ни одно AI‑сгенерированное КП не уходит клиенту без проверки. Для крупных сделок — минимум две пары глаз.

«Проверили орфографию — значит, всё ок». Текст без опечаток, грамматика идеальная — можно отправлять! Но орфография и факты — это разные вещи. AI пишет грамотно всегда, а вот правду — не всегда. Фактчекинг должен быть отдельным этапом, с отдельным ревьюером, который не просто читает, а сверяет каждое утверждение с источником.

«Ну AI же умный, он знает лучше». Опасное заблуждение. AI прекрасно знает, как должно звучать описание enterprise‑продукта. Но он понятия не имеет о ваших конкретных интеграциях, сертификациях и кейсах. Ваш продуктолог знает продукт лучше любого AI — и это не обсуждается.

«Пусть Вася всё проверит, он вроде шарит». Один человек физически не может быть экспертом в продукте, ценообразовании, юридических нюансах и клиентских кейсах одновременно. Он проверит то, в чём разбирается, и пропустит ошибку в области, где он не специалист. Разделяйте ответственность.

«Горит дедлайн, некогда проверять». Классика. КП нужно отправить до конца дня, клиент ждёт, времени на проверку нет. И вот уходит документ с офисом в Дубае. Решение — закладывать время на верификацию в процесс изначально. Если дедлайн в 18:00, значит, AI должен сгенерировать текст к 15:00, а не к 17:45. Лучше отправить на час позже, чем отправить с ошибками.

Как понять, что система работает

«Мы внедрили проверку» — это хорошо, но как понять, что она реально работает? Нужны метрики, которые покажут реальную картину.

Процент документов с ошибками (hallucination rate). Сколько AI‑сгенерированных КП содержали фактические ошибки до проверки? Если из 100 документов в 30 нашли галлюцинации — это сигнал, что нужно улучшать промпты или базу знаний. Целевой показатель — меньше 5%.

Сколько текста переписывается при ревью. Если ревьюеры переписывают половину документа — AI генерирует не то, что нужно. Если правки минимальные (меньше 20% текста) — система настроена хорошо.

Время на проверку. Если проверка одного КП занимает два часа — что‑то идёт не так. Либо слишком много ошибок, либо процесс неэффективен. Ориентир — 20–30 минут на стандартный документ.

Жалобы клиентов. Самый важный показатель, хотя и запаздывающий. Если клиенты указывают на неточности в КП — проверка не работает. Цель очевидна: ноль жалоб на фактические ошибки.

Если показатели ухудшаются — смотрите на входные данные. Обычно проблема в устаревшей базе знаний или в том, что AI получает недостаточно контекста для генерации.

Что в итоге

AI — это не замена сотрудникам, это инструмент, который нужно использовать с умом. Он пишет быстро и красиво, но не отличает правду от убедительной выдумки. Ваша задача — построить систему, которая ловит эти выдумки до того, как они дойдут до клиента.

Главный принцип прост: AI генерирует, человек проверяет. Это не «на всякий случай» и не «если есть время». Это обязательный этап, без которого документ не уходит.

Второй важный момент — качество входных данных. Чем полнее и точнее информация, которую вы даёте AI, тем меньше ему нужно додумывать и фантазировать. Fact sheet, feature matrix, approved cases, актуальный прайс — всё это должно быть под рукой и регулярно обновляться.

И последнее: разделяйте ответственность. Продуктолог проверяет функционал, потому что он в нём разбирается. Customer Success проверяет кейсы, потому что знает историю с клиентами. Сейлз проверяет цены, потому что работает с ними каждый день. Юрист смотрит гарантии в крупных сделках. Один человек не может быть экспертом во всём — и это нормально.

Да, проверка занимает 20–30 минут на документ. Но одна ошибка в enterprise‑сделке может стоить контракта на миллионы. Математика здесь простая.