BI вокруг CRM: как построить аналитику от хранилища до дашборда

Знаю одного коммерческого директора — назовём его Аскар. Каждый понедельник он приезжает в офис к семи утра. Не потому что трудоголик — просто иначе не успеет собрать еженедельный отчёт. Сначала лезет в CRM, экспортирует сделки. Потом 1С — там продажи с суммами. Таблица маркетинга в Google Sheets — расходы на рекламу. Ещё одна таблица — логистика. К обеду у него файл на 15 вкладок и глаза квадратные.

На прошлой неделе директор спросил: «Какой ROI по клиентам из Instagram за последний квартал?» Казалось бы — простой вопрос. Но чтобы ответить, надо связать UTM-метки из CRM с покупками из 1С, учесть возвраты, вытащить расходы из рекламного кабинета... Аскар честно сказал: «Дайте пару дней». Директор посмотрел как-то нехорошо.

Это не про то, что Аскар плохой специалист. Это про архитектуру данных — вернее, про то, что её нет. Когда данные раскиданы по пяти системам в разных форматах — вы обречены на ручную работу. Но можно по-другому.

Почему отчётов в CRM мало

В любой нормальной CRM есть встроенные отчёты. Воронка, активность менеджеров, конверсия — всё на месте. Казалось бы, чего ещё надо? Зачем городить что-то отдельное?

А вот в чём загвоздка: CRM видит только себя. Она знает про лиды и сделки, но понятия не имеет про финансы, склад, логистику. А для принятия решений нужна полная картина, не кусочки.

Вот смотрите: в CRM у вас клиент с тремя закрытыми сделками за год. Красавчик, VIP! А копнёшь глубже — две сделки с маржой в 3%, по третьей был возврат, платит он с задержкой в два месяца, и ещё доставка к нему обходится вдвое дороже обычного. Это всё данные из 1С, склада, логистики — CRM их в упор не видит.

Собственно, для этого и нужен BI — Business Intelligence. Штука, которая тянет данные отовсюду, приводит их к одному виду и показывает в одном месте. CRM остаётся инструментом для работы с клиентами, но аналитику вы смотрите отдельно — там, где видно всё сразу.

Как это устроено технически

«Хранилище данных», «ETL» — звучит как что-то из NASA. На деле для среднего бизнеса всё проще, чем кажется. Никакого rocket science — обычные базы данных и скрипты, которые перекладывают данные из одного места в другое.

Разберём по кусочкам — от того, откуда берутся данные, до красивой картинки на экране директора.

Слой 1: Источники данных

Это все системы, в которых живут данные вашего бизнеса. Типичный набор для казахстанской компании:

• CRM-система — клиенты, сделки, лиды, активности менеджеров, UTM-метки
• 1С или учётная система — продажи, себестоимость, склад, дебиторка, платежи
• Рекламные кабинеты — затраты на рекламу по каналам (Google Ads, Яндекс.Директ, Facebook)
• Веб-аналитика — Яндекс.Метрика, Google Analytics, поведение на сайте
• Телефония — звонки, их длительность, записи, пропущенные
• Маркетплейсы — Kaspi, Wildberries, Ozon (если торгуете там)
• Внутренние таблицы — Excel и Google Sheets, которые пока никуда не делись

Каждый источник — это своя структура данных, свой формат, своя логика. В CRM клиент называется «Контрагент», в 1С — «Покупатель», в рекламе — это просто Client ID из cookie. Объединить всё это — задача следующих слоёв.

Слой 2: ETL/ELT — конвейер данных

ETL — это Extract-Transform-Load. Забираем данные откуда-то, причёсываем их, складываем куда надо. Звучит элементарно, но на практике именно тут всё и ломается.

Что конкретно происходит:

• Регулярная выгрузка — каждый час (или чаще) забирает новые данные из CRM, 1С, рекламы
• Очистка — убирает дубликаты, заполняет пропуски, исправляет ошибки форматов
• Сопоставление — связывает клиента из CRM с покупателем из 1С (matching по ИИН, телефону, названию)
• Расчёты — создаёт вычисляемые поля: LTV, когорты, метрики
• Загрузка — сохраняет результат в хранилище

Есть два подхода: классический ETL (трансформация до загрузки) и современный ELT (сначала грузим сырые данные, потом трансформируем в хранилище). Для большинства компаний ELT проще, потому что современные базы данных справляются с трансформациями быстро и дёшево.

Слой 3: Хранилище данных (DWH)

DWH (Data Warehouse) — это база данных, оптимизированная для аналитики. В отличие от операционных баз (CRM, 1С), которые оптимизированы для записи и быстрого доступа к отдельным записям, хранилище оптимизировано для чтения больших объёмов и агрегаций.

Почему нельзя просто делать отчёты из CRM или 1С напрямую?

• Нагрузка на рабочую систему — тяжёлый отчёт может замедлить работу всей CRM
• Нет исторических данных — CRM хранит текущее состояние, а не «как было месяц назад»
• Данные в разных местах — CRM не видит 1С, 1С не видит рекламу
• Разная логика — в CRM сделка «выиграна», в 1С деньги ещё не пришли

Хранилище решает все эти проблемы: данные копируются туда отдельно, с сохранением истории, в едином формате.

Выбор технологии хранилища

Для казахстанского бизнеса есть несколько практичных вариантов:

Для компании с оборотом до 5 млрд тенге в год PostgreSQL хватит с запасом. ClickHouse имеет смысл, когда данных много и нужны быстрые отчёты на лету — например, аналитика в реальном времени для e-commerce с миллионами транзакций.

Слой 4: Витрины данных (Data Marts)

Витрина — это готовая таблица с уже рассчитанными показателями, оптимизированная для конкретного отчёта или темы. Вместо того чтобы каждый раз считать LTV клиента на лету, вы один раз настраиваете расчёт — и он обновляется автоматически.

Типичные витрины для бизнеса:

• Витрина продаж — сделки, суммы, маржа, менеджеры, каналы, даты
• Витрина клиентов — LTV, RFM-сегменты, история покупок, задолженности
• Витрина воронки — конверсии по этапам, скорость прохождения, причины проигрыша
• Витрина маркетинга — затраты по каналам, CPL, CAC, ROMI
• Витрина активности — звонки, встречи, задачи по менеджерам

Витрины — это не просто удобство. Они защищают BI-инструмент от сложных вычислений и делают отчёты быстрыми. А ещё обеспечивают единую логику: если LTV считается в витрине, то во всех отчётах он будет одинаковым.

BI-инструменты: что выбрать для визуализации

Когда данные собраны в хранилище и витрины готовы — пора визуализировать. BI-инструмент подключается к хранилищу и позволяет строить дашборды, отчёты, графики.

На рынке десятки инструментов, но для казахстанских компаний реально актуальны несколько:

Power BI

Продукт Microsoft, лидер рынка. Знакомый интерфейс для тех, кто работает с Excel. Мощный, гибкий, с хорошей документацией на русском.

Плюсы: много готовых визуализаций, отличная интеграция с Microsoft-стеком, большое сообщество. Можно публиковать отчёты в веб и мобильном приложении.

Минусы: платная подписка для командной работы (около 10$ на пользователя в месяц). Desktop-версия бесплатная, но без шаринга.

Yandex DataLens

Бесплатный инструмент от Яндекса. Особенно хорош для компаний, которые уже используют Яндекс.Облако или Яндекс.Метрику — есть готовые коннекторы.

Плюсы: полностью бесплатный (без лимитов на пользователей), простой интерфейс, интеграция с ClickHouse и другими источниками, серверы в России/СНГ.

Минусы: меньше возможностей для сложной визуализации, чем у Power BI. Зависимость от Яндекса.

Metabase

Open-source решение, которое можно развернуть у себя. Простой интерфейс, можно задавать вопросы на обычном языке (с оговорками).

Плюсы: бесплатный, можно развернуть на своём сервере, данные остаются у вас. Легко освоить без технического бэкграунда.

Минусы: для сложных отчётов придётся писать SQL. Меньше визуальных возможностей.

Google Looker / Looker Studio

Looker Studio (бывший Data Studio) — бесплатный инструмент для базовых дашбордов, хорошо работает с Google Analytics и BigQuery. Looker — enterprise-решение для крупных компаний.

Плюсы: интеграция с Google-экосистемой, Looker Studio бесплатный.

Минусы: Looker очень дорогой. Looker Studio ограничен в возможностях.

Практический пример: дашборд для директора

Давайте разберём конкретный пример. Коммерческий директор хочет видеть на одном экране:

• Выручка за месяц vs план
• Динамика продаж по неделям
• Топ-10 клиентов по обороту
• Конверсия воронки продаж
• Эффективность каналов привлечения (с учётом маржи)
• Дебиторская задолженность по срокам

Для этого нужны данные из CRM (воронка, каналы привлечения), 1С (выручка, маржа, дебиторка) и рекламы (затраты). Как это реализуется:

Шаг 1: Настройка ETL

Создаём три потока данных:

1. CRM → Хранилище: выгрузка сделок, контактов, активностей через API. Каждый час.
2. 1С → Хранилище: выгрузка документов реализации, оплат, остатков. Через промежуточный файл или напрямую, если есть HTTP-сервис.
3. Реклама → Хранилище: затраты из Google Ads, Яндекс.Директ через их API. Раз в день.

Шаг 2: Связывание данных

Ключевой момент — как связать клиента в CRM с покупателем в 1С. Варианты:

• По ИИН/БИН — если в обеих системах ведётся корректно (редко)
• По номеру телефона — с нормализацией (+7, 8, пробелы)
• По email — если используется
• По названию — с fuzzy matching (неточное сопоставление)
• По ID из CRM в 1С — если настроена интеграция

На практике обычно комбинируют: сначала точное сопоставление по телефону/email, потом ручная проверка остатка. Подробнее о качестве данных — в статье про единый источник правды (SSOT).

Шаг 3: Создание витрин

Для этого дашборда нужны витрины:

• fact_sales — факт продаж по дням, клиентам, товарам, с маржой
• dim_clients — справочник клиентов с LTV, каналом привлечения, сегментом
• fact_pipeline — воронка с конверсиями по этапам
• fact_marketing — затраты на маркетинг по каналам и кампаниям
• fact_receivables — дебиторка по клиентам и срокам

Шаг 4: Построение дашборда

В Power BI или DataLens подключаемся к хранилищу и строим визуализации. Каждый виджет — это запрос к витрине. Благодаря витринам запросы простые и быстрые.

Сквозная аналитика: от рекламы до денег

Отдельная тема, которую часто путают с BI — сквозная аналитика. Это частный случай, когда мы связываем рекламные расходы с реальными продажами и считаем ROI по каналам.

Почему это сложно? Потому что путь клиента запутанный. Человек увидел рекламу в Instagram, зашёл на сайт, ушёл. Через неделю вспомнил, загуглил название, позвонил. Заказал. Через месяц пришёл снова — уже напрямую. Какому каналу засчитать продажу?

Что нужно для сквозной аналитики

• UTM-разметка — все ссылки с рекламы должны содержать UTM-метки (source, medium, campaign)
• Передача UTM в CRM — когда лид создаётся, метки должны сохраняться
• Связь лида с оплатой — от CRM-сделки до платежа в 1С
• Затраты из рекламных кабинетов — сколько потратили на каждую кампанию
• Модель атрибуции — как делить продажу между касаниями

Подробнее о том, как собрать всю цепочку — в статье про сквозную аналитику с Яндекс.Метрикой и CRM.

Модели атрибуции

Есть несколько способов распределить заслугу между каналами:

Для большинства B2B-компаний с длинным циклом продаж подходит Position Based или Time Decay. Для e-commerce с быстрыми покупками — Last Click достаточно.

Грабли, на которые наступают все

Расскажу, что обычно идёт не так. Может, сэкономите себе пару месяцев нервов.

Ошибка первая: красивый дашборд на кривых данных

Типичная история: купили Power BI, подключили напрямую к CRM и 1С, за неделю накидали графиков. Директор доволен. Через месяц выясняется: цифры не бьются, отчёты висят по пять минут, один клиент показывается три раза. Почему? Потому что пропустили всю подготовку — ETL, хранилище, нормализацию.

Правильно: сначала наведите порядок в данных, потом визуализируйте.

Ошибка вторая: тащить всё подряд

«Давайте выгрузим все поля из всех таблиц — вдруг пригодится». Через полгода: 200 таблиц, в которых никто не разбирается, ETL работает по четыре часа, диск забит под завязку. А нужных данных всё равно нет, потому что про них забыли.

Правильно: начните с вопросов. Что хотите узнать? Какие данные для этого нужны? Всё остальное — потом, если реально понадобится.

Ошибка третья: забить на качество

Хранилище настроили, дашборды построили — а цифры какие-то левые. Начинаешь копать: в CRM у половины сделок нет источника, в 1С один контрагент записан пятью разными способами, телефоны где с +7, где с 8, где вообще через дефис.

Правильно: параллельно с BI запустите проект по качеству данных. Читайте про это в статье о очистке базы CRM от дубликатов.

Ошибка четвёртая: один дашборд для всех

Хотим, чтобы и директор смотрел, и менеджеры, и бухгалтерия. В итоге на экране 50 графиков, всё мелкое, никто ничего не понимает и не пользуется.

Правильно: разные люди — разные дашборды. Директору нужны три цифры и тренд. Менеджеру — его сделки. Маркетологу — воронка и ROI. Не надо всё сваливать в одну кучу.

Ошибка пятая: настроил и забыл

ETL работает? Отлично, больше не трогаем. Через полгода в CRM добавили новые поля, в 1С поменяли структуру документов — и тишина. Данные грузятся наполовину, отчёты врут, а все думают, что всё в порядке.

Правильно: BI — это не проект, а процесс. Нужен кто-то, кто регулярно проверяет, что данные текут, чинит поломки, добавляет новое. Без присмотра всё развалится.

С чего начать: практический план

Если вы читаете эту статью и думаете «нам бы такое» — вот пошаговый план.

Сколько это стоит и кто нужен

Честный ответ: зависит от масштаба. Но дам ориентиры.

Бюджетный вариант (DIY)

Для компании с 1-3 источниками данных и базовыми потребностями:

• Хранилище: PostgreSQL на VPS — от 5 000 ₸/месяц
• ETL: Airbyte или n8n (self-hosted) — бесплатно
• BI: DataLens или Metabase — бесплатно
• Специалист: нужен разработчик/аналитик с опытом SQL

Итого: ~5-10 тыс. тенге в месяц на инфраструктуру + время специалиста.

Средний вариант

Для компании с 5+ источниками, требованием к скорости и надёжности:

• Хранилище: ClickHouse Managed или BigQuery — от 20 000 ₸/месяц
• ETL: Fivetran или Airbyte Cloud — от $500/месяц
• BI: Power BI — ~$100/месяц на команду
• Специалист: дата-инженер в штат или на аутсорсе

Итого: 100-300 тыс. тенге в месяц + затраты на специалиста.

Enterprise

Для крупных компаний с большими объёмами данных, требованиями к безопасности, выделенной командой аналитики — бюджеты от миллиона тенге в месяц и выше. Но это отдельная история.

Итог: BI — это инвестиция в качество решений

Аскар из начала статьи тратил целый день на отчёт, который всё равно содержал ошибки. Потому что данные в разных местах, форматы разные, цифры не сходятся. Это не его вина — это проблема архитектуры.

BI вокруг CRM — это способ перестать угадывать и начать видеть. Видеть, какие клиенты действительно прибыльны. Какие каналы работают. Какие менеджеры эффективны. Где теряются деньги. Без этого бизнес-решения принимаются на интуиции — а интуиция часто врёт.

Хорошая новость: для старта не нужны огромные бюджеты. PostgreSQL, Airbyte, DataLens — всё это бесплатно или почти бесплатно. Нужен один человек, который разбирается в данных, и желание навести порядок.

Начните с одного дашборда. С одного вопроса, на который не можете ответить. Постройте пайплайн для него. А потом — масштабируйте.

Потому что компании, которые принимают решения на данных, обыгрывают тех, кто полагается на интуицию. Это не теория — это практика, подтверждённая тысячами кейсов по всему миру. И Казахстан — не исключение.