Fine-tuning vs RAG vs промпт-инжиниринг: как выбрать подход для корпоративного бота

«Мы хотим бота, который знает всё о нашей компании». Каждый второй клиент приходит с этим. И тут же встаёт вопрос: как именно засунуть корпоративные знания в AI? Закинуть документы? Переобучить модель? Или хватит толкового промпта?

Рынок за последние пару лет прошёл несколько стадий: сначала все ломанулись fine-tuning'ить модели. Быстро выяснилось – дорого и геморройно. Появился RAG, и все выдохнули: «Ну наконец-то серебряная пуля!». Не тут-то было – RAG тоже не панацея. А есть задачи, которые закрываются простым промптом без всякой инфраструктуры.

Здесь разложим по полочкам три подхода: fine-tuning, RAG и промпт-инжиниринг. Когда какой использовать, сколько стоит и где можно вляпаться.

«Выбор между fine-tuning и RAG – это не технический вопрос. Это вопрос бизнес-задачи: что именно должен уметь бот, как часто меняются данные и какой бюджет вы готовы выделить».

Три подхода к «обучению» бота: что есть что

Для начала – терминология. «Обучить бота» может означать три совершенно разные вещи.

Промпт-инжиниринг (Prompt Engineering)

Самый простой подход. Вы не меняете модель, а даёте ей подробную инструкцию – системный промпт. «Ты – консультант компании X. Вот наши продукты: A, B, C. Вот цены. Вот правила общения с клиентами».

Модель не «учится» в прямом смысле – она просто следует инструкциям, которые вы ей дали. Это как дать новому сотруднику методичку перед первым рабочим днём.

RAG (Retrieval-Augmented Generation)

RAG – это «бот с базой знаний». Когда приходит вопрос, система сначала ищет релевантную информацию в вашей документации, а потом передаёт найденные фрагменты модели. Модель генерирует ответ на основе этих фрагментов.

Это как сотрудник с доступом к внутренней Wiki: он не помнит всё наизусть, но умеет быстро найти нужную информацию.

Fine-tuning (Дообучение)

Fine-tuning – это реальное изменение весов модели на ваших данных. Вы берёте базовую модель (GPT, LLaMA, Mistral) и дообучаете её на примерах: «вопрос – правильный ответ». После этого модель «помнит» ваши данные без необходимости их каждый раз подгружать.

Это как опытный сотрудник, который проработал в компании 5 лет и знает всё наизусть.

Промпт-инжиниринг: когда инструкции достаточно

Промпт-инжиниринг недооценивают. Люди сразу лезут в RAG или fine-tuning, хотя 60-70% задач закрываются грамотным системным промптом.

Как это работает

Вы пишете детальную инструкцию, которая передаётся модели вместе с каждым запросом пользователя. В этой инструкции описываете роль бота – кто он такой, как себя позиционирует. Задаёте tone of voice: какой стиль общения, что можно говорить, чего нельзя. Добавляете базовую информацию о продуктах, ценах, контактах. Прописываете алгоритмы поведения в разных ситуациях: «если клиент спрашивает про возврат – сначала уточни причину». И включаете примеры хороших ответов – это то, что называется few-shot learning.

Когда промпта достаточно

Небольшой объём информации. Если вся необходимая информация помещается в 3-5 тысяч токенов (примерно 2-3 страницы текста), промпт-инжиниринг – оптимальный выбор. Например, список из 10-15 продуктов с ценами, основные правила работы, FAQ из 20-30 вопросов.

Стабильные данные. Если информация меняется редко (раз в месяц или реже), нет смысла строить сложную инфраструктуру. Обновить промпт – дело 5 минут.

Типовые сценарии. Бот для записи на услуги, квалификации лидов, ответов на базовые вопросы – всё это отлично работает на промптах.

Преимущества

Главный плюс – скорость внедрения. Можно запустить бота за несколько часов, не за недели. При этом нулевые затраты на инфраструктуру: не нужна векторная база, не нужно дообучать модель. У вас полный контроль – вы точно знаете, какую информацию видит модель, ничего лишнего не просочится. И всё предсказуемо: меньше точек отказа, проще искать проблемы когда что-то идёт не так.

Ограничения

Лимит контекста. У каждой модели есть максимальный размер контекста. GPT-4 Turbo – 128K токенов, Claude 3 – 200K, но использовать весь контекст дорого и снижает качество ответов. Практический лимит для системного промпта – 5-10K токенов.

Нет динамических данных. Если информация часто меняется или её много – промпт не справится.

Ты – AI-консультант компании «СтройМаркет», сети магазинов строительных материалов в Казахстане.

## Твоя задача
Помогать клиентам с выбором товаров, отвечать на вопросы о наличии и ценах, записывать на консультацию.

## Информация о компании
- 5 магазинов: Алматы (2), Астана (2), Шымкент (1)
- Часы работы: 9:00-21:00 без выходных
- Доставка: бесплатно от 50 000 тенге

## Категории товаров
1. Сухие смеси (от 2 500 тенге/мешок)
2. Краски и лаки (от 4 000 тенге/литр)
3. Инструменты (от 1 500 тенге)
4. Сантехника (от 15 000 тенге)

## Правила общения
- Отвечай на русском, если клиент не пишет на казахском
- Будь вежлив, но лаконичен
- Если не знаешь точную цену – предложи связаться с менеджером
- Не обсуждай конкурентов

## Если клиент хочет заказать
Уточни: 1) Что нужно 2) Адрес доставки 3) Удобное время
Затем скажи, что менеджер перезвонит для подтверждения.

RAG: поиск плюс генерация

RAG (Retrieval-Augmented Generation) – сейчас это мейнстрим для корпоративных ботов. Суть простая: знания хранятся отдельно, а когда приходит вопрос – система находит нужные куски и скармливает их модели.

Как это работает

Процесс состоит из нескольких этапов:

1. Индексация. Ваши документы (PDF, Word, базы знаний, FAQ) разбиваются на фрагменты (chunks) и преобразуются в векторы – числовые представления смысла текста.
2. Хранение. Векторы сохраняются в специальную векторную базу данных (Pinecone, Weaviate, Qdrant, pgvector).
3. Поиск. Когда приходит вопрос, он тоже преобразуется в вектор, и система находит наиболее похожие фрагменты из базы.
4. Генерация. Найденные фрагменты вместе с вопросом передаются LLM, которая формирует ответ на основе этого контекста.

Когда RAG – правильный выбор

Большой объём документации. Сотни или тысячи документов, техническая документация, регламенты, инструкции. Всё это невозможно засунуть в промпт.

Данные меняются. Цены, наличие, акции, новые продукты. RAG позволяет обновлять базу знаний без переобучения модели.

Нужны ссылки на источники. RAG может указывать, откуда взята информация – это критично для поддержки и compliance.

Разные домены знаний. Бот для поддержки, который должен отвечать и про продукты, и про доставку, и про возвраты, и про гарантию.

Преимущества RAG

RAG масштабируется на ура – можно индексировать миллионы документов, для системы без разницы. Обновление базы занимает минуты: загрузили новый документ, переиндексировали – готово, модель ничего не надо переобучать. Все ответы можно привязать к конкретным документам – это критично для поддержки и compliance, когда нужно показать «откуда это взялось». Дешевле fine-tuning, особенно если данные часто меняются. И у вас полный контроль: видно, какие именно документы использовались для формирования ответа.

Подводные камни RAG

RAG – не серебряная пуля. Вот проблемы, с которыми мы сталкиваемся:

Качество поиска. Система нашла не те документы – ответ будет мимо. Тюнинг поиска (chunking, embedding model, re-ranking) – это отдельный квест. Подробнее – в статье про борьбу с галлюцинациями.

Качество документации. Если база знаний – свалка устаревших файлов, RAG будет нести чушь. Мусор на входе – мусор на выходе.

Контекстное окно. Найденные фрагменты занимают место в контексте. Если найти 10 релевантных чанков по 500 токенов – это уже 5000 токенов, которые платите за каждый запрос.

Latency. Поиск добавляет 100-500 мс к времени ответа. Для real-time голосового бота это может быть критично.

Сложные рассуждения. RAG хорош для фактических вопросов («какая цена на X?»), но слабее для вопросов, требующих синтеза информации из разных источников.

Fine-tuning: когда он реально нужен

Fine-tuning – это когда вы берёте модель и переучиваете её на своих данных. После этого она «помнит» вашу информацию – не надо каждый раз пихать в контекст.

Как это работает

Вы готовите датасет в формате «вопрос – правильный ответ» (или «инструкция – выполнение»). Этот датасет используется для дообучения модели: алгоритм корректирует веса нейросети так, чтобы она выдавала нужные ответы на нужные вопросы.

Для fine-tuning нужен датасет – минимум 50-100 примеров, а лучше 500-1000. И примеры должны быть качественные, вычитанные – мусор на входе даст мусор на выходе. Понадобятся вычислительные ресурсы: либо свой GPU, либо платформа типа OpenAI или Together AI. И главное – время на итерации: дообучили, протестировали, поняли что не то, скорректировали датасет, снова дообучили. Это не быстрый процесс.

Когда fine-tuning оправдан

Специфический стиль ответов. Если бот должен говорить определённым образом – в конкретном tone of voice, с использованием отраслевого жаргона, в формате, который невозможно описать промптом.

Глубокое понимание домена. Медицинская, юридическая, техническая терминология, которую базовая модель знает поверхностно. Fine-tuning помогает модели лучше «понимать» контекст вашей отрасли.

Сложные рассуждения. Если бот должен делать выводы, комбинировать информацию, применять специфические правила – fine-tuning может научить этим паттернам.

Снижение latency и стоимости. После fine-tuning не нужно передавать объёмный промпт или результаты поиска – модель «помнит» сама. Это экономит токены и ускоряет ответ.

Когда fine-tuning НЕ нужен

Данные часто меняются. Каждое изменение = новое дообучение. Цены меняются каждую неделю? Fine-tuning превратится в бесконечный забег.

Нужны ссылки на источники. Fine-tuned модель не скажет «это из документа X». Знания растворились в весах – концов не найти.

Мало данных. 20-30 примеров – мало. Модель переобучится и будет плохо работать на новых вопросах.

Бюджет ограничен. Fine-tuning – это деньги: датасет, GPU-часы, итерации. Для простых задач – перебор.

Сравнение: что выбрать?

Гибридные подходы: когда одного мало

В реальных проектах часто комбинируют подходы. Берут плюсы от каждого и закрывают слабые места.

Промпт + RAG

Самая распространённая комбинация. Системный промпт задаёт роль, tone of voice и базовые правила. RAG подтягивает актуальную информацию по запросу.

Пример: Бот службы поддержки. Промпт описывает, как общаться с клиентами, какие вопросы эскалировать. RAG находит ответы в базе знаний, FAQ, документации.

Fine-tuning + RAG

Fine-tuned модель понимает вашу терминологию и стиль. RAG обеспечивает доступ к актуальным данным.

Пример: Юридический бот. Fine-tuning обучает модель правовой терминологии и формату ответов. RAG подтягивает конкретные статьи законов и прецеденты.

Промпт + Fine-tuning

Fine-tuned модель знает ваш домен. Промпт управляет поведением в конкретных сценариях.

Пример: Бот для внутренней коммуникации. Fine-tuning на корпоративном жаргоне и процессах. Промпт задаёт разные роли: HR-бот, IT-хелпдеск, финансовый консультант.

Практические рекомендации

Начинайте с простого

Стартуйте с промпт-инжиниринга. Быстро, бесплатно, сразу видно, где модель тянет, а где нет. RAG или fine-tuning – только когда упрётесь в потолок.

Вложитесь в качество данных

Какой бы путь ни выбрали – данные решают. Для промпта нужны чёткие инструкции. Для RAG – актуальная, структурированная документация. Для fine-tuning – вычитанные, разнообразные примеры.

Измеряйте

Соберите golden set – типовые вопросы с эталонными ответами. Прогоняйте после каждого изменения. Без этого вы не узнаете, стало лучше или хуже.

Считайте экономику

Не только стоимость запуска, но и стоимость эксплуатации: токены, инфраструктура, поддержка. RAG дешевле на старте, но поисковые запросы накручивают счёт.

Сколько это стоит: реальные цифры

Конкретика по деньгам. Считаем для типичного проекта – бот службы поддержки для средней компании.

Промпт-инжиниринг

RAG

Fine-tuning

Итого: стартуйте просто, усложняйте когда припрёт

Выбор между промптом, RAG и fine-tuning – не технический холивар, а бизнес-решение. Какая задача? Сколько данных? Как часто они меняются? Какой бюджет? Ответы на эти вопросы определяют подход.

Промпт-инжиниринг – точка старта. Быстро, почти бесплатно, сразу видно, летит или нет. Если задача решается промптом – зачем усложнять?

RAG – рабочая лошадка для большинства корпоративных ботов. Масштабируется, обновляется на лету, показывает источники. Но нужна инфраструктура и нормальная документация.

Fine-tuning – тяжёлая артиллерия. Когда нужен уникальный стиль, глубокое понимание домена или минимальная задержка. Дорого, долго, но даёт результат, который по-другому не получить.

На практике подходы комбинируют. Старт с промпта, потом RAG для масштаба, fine-tuning – когда упёрлись в потолок. Главное помнить: лучший бот – не тот, что на самой хайповой технологии, а тот, что решает задачу бизнеса.

Читайте также

Если хотите погрузиться глубже – есть ещё одна статья про выбор между fine-tuning, RAG и промптом с другого угла. Про борьбу с выдумками модели – анти-галлюцинации. Как понять, хорошо ли работает бот – в статье про golden set и метрики качества. Про деньги – оптимизация стоимости AI-бота. И фундаментальный материал про RAG в реальном бизнесе.