Фоновый режим OpenAI: ночная обработка CRM на 40% дешевле | CrmAI

Фоновый режим OpenAI: ночная обработка CRM на 40% дешевле

17 ноября OpenAI открыла в Responses API окна завершения на 2 и 8 часов: запрос выполняется не сразу, зато дешевле на 30 и 40%. Разбираем, какие задачи CRM можно отдать в фон, как это считается и какие ограничения стоит знать до переключения.

Ночной офис: на экране очередь карточек сделок с отметками времени 2 и 8 часов, утром менеджер получает готовые сводки

Оптовая компания в Алматы, двадцать менеджеров. В полночь запускается скрипт: берёт все сделки, где за день что-то произошло, отправляет переписку в модель OpenAI и получает три вещи – короткую сводку, оценку «живая сделка или нет» и черновик сообщения клиенту. В девять утра менеджеры открывают CRM и видят готовое.

Работает отлично. Только за каждый из этих запросов компания платит как за мгновенный ответ, хотя результат лежит нетронутым восемь часов.

С 17 ноября это можно исправить. Фоновый режим OpenAI получил окна завершения (completion window) на 2 и 8 часов: вы говорите API «мне не к спеху», и цена токенов падает на 30 или 40%. Функция в публичной бете, и у неё есть условия, которые легко пропустить.

Главное за минуту

Что появилось

В Responses API у фоновых запросов можно выбрать окно: soonest (как раньше), 2h или 8h.

Сколько экономит

Цена токенов на 30% ниже Standard для окна 2 часа и на 40% ниже для окна 8 часов.

На каких моделях

GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra и GPT-6 Luna. Остальные модели скидку не получают.

Где подвох

Окно – цель, а не гарантия. Лимиты общие с Batch API, а данные запроса временно хранятся даже при store: false.

Как работают окна 2h и 8h в фоновом режиме OpenAI

Фоновый режим в Responses API существовал и раньше: запрос уходит с background: true, API сразу возвращает идентификатор, а результат забираете потом. Новое – параметр background_options.completion_window. По умолчанию там soonest, то есть «как можно скорее» по обычной цене. Значения 2h и 8h включают скидку.

Забрать ответ можно двумя способами. Первый – вебхук: подписываетесь на событие response.completed (плюс события о неудаче, незавершённом ответе и отмене), и API сам постучится в вашу интеграцию. Второй – опрашивать GET /v1/responses/{id}, пока статус queued или in_progress. Передумали – запрос отменяется отдельным вызовом.

Мелочи, на которых спотыкаются при первом подключении:

  • Стриминга в окнах 2h и 8h нет: параметр stream не передаётся или стоит false.
  • Скидка действует только на обычном уровне обработки. В запросе должно стоять service_tier: "default"; при auto скидка будет, только если API сам выберет Standard.
  • Ошибки нехватки мощностей API после приёма запроса повторяет сам. Свой цикл повторов на такие ошибки городить не нужно.
  • Вызов инструментов работает: в примере OpenAI для окна 8 часов запрос идёт с функцией. Последующие запросы в той же цепочке тоже получают скидку, а с continuation_id идут в очереди с повышенным приоритетом.

Последний пункт важнее, чем выглядит. Ночной анализ сделки – редко один запрос. Модель просит историю оплат, потом список открытых задач, потом пишет вывод. Всё это – одна цепочка, и вся она идёт по сниженной цене.

Какие задачи CRM можно отдать в фон

Правило простое: если результат никто не прочитает в ближайшие два часа, платить за мгновенный ответ незачем. Мы прошлись по типичным AI-задачам в CRM и разложили их по окнам.

Задача Когда нужен результат Окно
Сводки по звонкам и перепискам за день К утренней планёрке 8h, запуск после закрытия офиса
Оценка застрявших сделок и черновики follow-up К началу рабочего дня 8h
Контроль качества диалогов операторов по чек-листу Отчёт руководителю раз в день 8h
Разбор новой пачки лидов из рекламы: сегмент, приоритет, дубли В течение рабочего дня 2h
Чистка и обогащение карточек после импорта Не срочно 8h или Batch API
Ответ клиенту в WhatsApp, голосовой агент, подсказки оператору Сейчас Только обычный режим

Последняя строка – граница, которую не стоит пересекать ради экономии. Бот, который отвечает клиенту через полтора часа, обходится дороже любой скидки на токены. Фоновый режим – для аналитики и подготовки, а не для разговора.

Отдельно про контроль качества. Если сейчас руководитель вручную слушает пять звонков из сотни, ночной прогон всех диалогов по чек-листу – самое очевидное применение скидки. Утром у руководителя список диалогов, где менеджер забыл назвать срок или не предложил следующий шаг, а не пять случайных записей.

Сколько это экономит на практике

Возьмём оптовика из начала статьи и посчитаем по прайсу OpenAI. Допустим, за ночь обрабатывается 2 000 сделок на GPT-6.2 Sol. На каждую уходит около 20 000 входных токенов (переписка, карточка, история оплат) и 1 500 выходных.

  • Standard: 40 млн входных токенов по $2 – это $80, плюс 3 млн выходных по $10 – ещё $30. Итого $110 за ночь.
  • Окно 8h: те же токены на 40% дешевле – $66 за ночь.
  • За 22 рабочих дня: $2 420 против $1 452. Разница – около $970 в месяц без единой правки промптов.

А теперь честная обратная сторона. Сервисный центр, который раз в день сводит 150 звонков на GPT-6 Luna ($0,10 за миллион входных токенов), сэкономит центы. Переписывать интеграцию ради такой суммы смысла нет. Скидка заметна там, где объём большой или модель дорогая: Sol, Astra, длинные цепочки с инструментами.

Если вы всё ещё сидите на gpt-5-mini или gpt-5, считать скидку рано: эти модели отключаются 11 декабря, и сначала нужно выбрать замену. Подробный расчёт по вариантам – в статье «Отключение gpt-5-mini и gpt-5-nano: чем заменить до 11 декабря».

Посчитаем вашу экономию на фоновом режиме

Пришлите выгрузку использования OpenAI за месяц – покажем, какие запросы можно перевести в окна 2h и 8h и сколько это даст.

Посчитать экономию

Окна завершения или Batch API

У OpenAI уже был способ платить меньше за неспешную обработку – Batch API, и он дешевле: 50% от Standard против 30–40%. Зачем тогда окна?

Batch рассчитан на независимые запросы, которые собраны заранее и отправлены одним файлом. Для ночной разметки тысячи заявок по одному шаблону это по-прежнему лучший выбор. Окна завершения работают с обычными запросами Responses API по одному, с инструментами и продолжением цепочки. Агент, который сам решает, какие данные из CRM ему запросить, в Batch не помещается, а в окно 8h – помещается.

Есть и неочевидная связь. Запросы с окнами 2h и 8h делят лимит Batch/Background с заданиями Batch API, и входные токены засчитываются в момент отправки. Если ночью у вас уже крутится большой Batch, фоновые запросы встанут в ту же очередь лимитов. Мы бы разнесли их по времени или хотя бы проверили запас по лимиту перед запуском.

Данные клиентов: что хранится и сколько

Тут документация OpenAI формулирует прямо: фоновый режим временно хранит данные ответа, даже если в запросе стоит store: false или включено нулевое хранение (Zero Data Retention). Данные зашифрованы, но они лежат на стороне OpenAI, пока запрос в очереди и обрабатывается. Точный срок для окон не указан.

Для компании в Казахстане это не запрет, а повод навести порядок до переключения. Ночью в модель уходит больше данных, чем днём, – целые переписки, а не одно сообщение. Телефоны, ИИН и адреса клиентов лучше маскировать до отправки, а не надеяться на настройки хранения. Какие требования к обработке и маскированию действуют с октября, мы разбирали в статье «Новые правила сбора персональных данных: лиды, маскирование, ИИ».

Если заодно переходите на GPT-6.2

Окна вышли в один день с GPT-6.2 Astra и Sol, и соблазн поменять всё сразу понятен. Но у GPT-6.2 свои изменения в Responses API, и часть из них ломает привычную сборку запроса.

Верхнеуровневое поле instructions теперь добавляется после input, а не перед ним. OpenAI советует перенести постоянные инструкции бота в сообщение с ролью developer первым элементом input – так они попадают в кэш, а instructions оставить для указаний к конкретному запросу. Второе: если между запросами отредактировать начало истории, API выбрасывает сохранённые рассуждения модели. Ошибки нет, но ответы могут стать хуже, а токенов уйдёт больше. Похожую историю с Claude, где та же правка даёт уже ошибку 400, мы описали в статье «Claude Fable 5.2 и ошибка 400: как не сломать бота с данными CRM».

И мелкие, но жёсткие правки: GPT-6.2 отклоняет запросы с уровнем рассуждений none, а параметры temperature и top_p нужно убрать. Наш совет – сначала перевести ночные задачи в окна на той модели, на которой они уже работают, и только потом отдельным шагом менять модель.

Чего ждать не стоит

Ограничения, о которых OpenAI пишет или молчит

  • Гарантии срока. API «стремится» уложиться в выбранное окно после приёма запроса. Что будет, если не уложится, – отмена, списание или просто опоздание, – в документации не сказано. Утренние сводки, от которых зависит планёрка, стоит запускать с запасом.
  • Общего кэша. Обычные запросы не могут использовать кэш промптов, созданный фоновыми запросами с окнами. Ночью закэшировали базу знаний – днём бот всё равно заплатит за неё заново.
  • Ясности по кэшированным токенам. Скидка описана для цен токенов модели; распространяется ли она на кэшированный вход, прайс отдельно не уточняет.
  • Стабильности беты. Это публичная бета: параметры и условия могут поменяться, и закладывать экономию в годовой бюджет пока рано.

Что сделать до переключения

Порядок важен: сначала понять, какие задачи вообще могут ждать, потом перенастроить интеграцию, и только потом считать экономию.

  • Выписать все AI-задачи в CRM и отметить, где результат нужен сразу, а где – к утру или в течение дня.
  • Проверить, на какой модели работает каждая задача: скидка есть только у GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra и GPT-6 Luna.
  • Убедиться, что интеграция ходит в Responses API, а не в Chat Completions.
  • Настроить вебхук response.completed и обработку событий неудачи и отмены, чтобы сводка не терялась молча.
  • Проставить service_tier: "default" и убрать стриминг у фоновых запросов.
  • Сверить лимит Batch/Background с объёмом ночных задач, если параллельно работает Batch API.
  • Включить маскирование персональных данных до отправки.
  • Неделю сравнивать счёт и время готовности результата, прежде чем переводить всё.

Начать мы бы предложили с одной задачи – например, ночных сводок по звонкам. Она хорошо видна, легко проверяется утром, и по ней через неделю будет понятно, стоит ли переводить остальное.

Связанные материалы

Переведём ночную AI-обработку CRM в фоновый режим

Разберём ваши задачи, перенастроим запросы на окна 2h и 8h, подключим вебхуки и маскирование данных и покажем счёт до и после на ваших объёмах.

Обсудить перевод
Решения CrmAI по теме статьи

Хотите так же у себя?

Выберите услугу или опишите задачу в чате – подскажем, с чего начать в вашем бизнесе.