BI вокруг CRM: как построить аналитику от хранилища до дашборда

Знаю одного коммерческого директора – назовём его Аскар. Каждый понедельник он приезжает в офис к семи утра. Не потому что трудоголик – просто иначе не успеет собрать еженедельный отчёт. Сначала лезет в CRM, экспортирует сделки. Потом 1С – там продажи с суммами. Таблица маркетинга в Google Sheets – расходы на рекламу. Ещё одна таблица – логистика. К обеду у него файл на 15 вкладок и глаза квадратные.

На прошлой неделе директор спросил: «Какой ROI по клиентам из Instagram за последний квартал?» Казалось бы – простой вопрос. Но чтобы ответить, надо связать UTM-метки из CRM с покупками из 1С, учесть возвраты, вытащить расходы из рекламного кабинета... Аскар честно сказал: «Дайте пару дней». Директор посмотрел как-то нехорошо.

Это не про то, что Аскар плохой специалист. Это про архитектуру данных – вернее, про то, что её нет. Когда данные раскиданы по пяти системам в разных форматах – вы обречены на ручную работу. Но можно по-другому.

«Мы три года жили в режиме "ручная выгрузка каждый понедельник". Потратили месяц на настройку хранилища и дашбордов – теперь те же отчёты доступны в два клика. Я даже не представляю, как раньше терпел эту рутину. Директор получает данные в реальном времени, я занимаюсь аналитикой, а не копипастой.»

Почему отчётов в CRM мало

В любой нормальной CRM есть встроенные отчёты. Воронка, активность менеджеров, конверсия – всё на месте. Казалось бы, чего ещё надо? Зачем городить что-то отдельное?

А вот в чём загвоздка: CRM видит только себя. Она знает про лиды и сделки, но понятия не имеет про финансы, склад, логистику. А для принятия решений нужна полная картина, не кусочки.

Вот смотрите: в CRM у вас клиент с тремя закрытыми сделками за год. Красавчик, VIP! А копнёшь глубже – две сделки с маржой в 3%, по третьей был возврат, платит он с задержкой в два месяца, и ещё доставка к нему обходится вдвое дороже обычного. Это всё данные из 1С, склада, логистики – CRM их в упор не видит.

Собственно, для этого и нужен BI – Business Intelligence. Штука, которая тянет данные отовсюду, приводит их к одному виду и показывает в одном месте. CRM остаётся инструментом для работы с клиентами, но аналитику вы смотрите отдельно – там, где видно всё сразу.

Как это устроено технически

«Хранилище данных», «ETL» – звучит как что-то из NASA. На деле для среднего бизнеса всё проще, чем кажется. Никакого rocket science – обычные базы данных и скрипты, которые перекладывают данные из одного места в другое.

Разберём по кусочкам – от того, откуда берутся данные, до красивой картинки на экране директора.

Слой 1: Источники данных

Это все системы, в которых живут данные вашего бизнеса. Типичный набор для казахстанской компании:

CRM-система хранит клиентов, сделки, лиды, активности менеджеров и те самые UTM-метки, которые показывают, откуда пришёл каждый. 1С или учётная система – это про деньги: продажи, себестоимость, что лежит на складе, кто должен, кто платил. Рекламные кабинеты знают, сколько вы потратили на Google Ads, Яндекс.Директ, Facebook – по каждому каналу отдельно.

Веб-аналитика (Яндекс.Метрика, Google Analytics) видит, как люди ведут себя на сайте: куда кликают, где уходят, сколько времени проводят. Телефония фиксирует звонки – входящие, исходящие, сколько длились, есть ли записи, сколько пропустили. Маркетплейсы типа Kaspi, Wildberries, Ozon – если торгуете там, это ещё один источник. И куда без внутренних таблиц – Excel и Google Sheets, которые живут своей жизнью и пока никуда не делись.

Каждый источник – это своя структура данных, свой формат, своя логика. В CRM клиент называется «Контрагент», в 1С – «Покупатель», в рекламе – это просто Client ID из cookie. Объединить всё это – задача следующих слоёв.

Слой 2: ETL/ELT – конвейер данных

ETL – это Extract-Transform-Load. Забираем данные откуда-то, причёсываем их, складываем куда надо. Звучит элементарно, но на практике именно тут всё и ломается.

Что конкретно происходит:

Регулярная выгрузка работает как часовой механизм – каждый час (или чаще, если нужно) забирает свежие данные из CRM, 1С, рекламных кабинетов. Очистка наводит порядок: убирает дубликаты (когда один клиент записан трижды), заполняет пропуски, исправляет форматы (например, приводит телефоны к единому виду).

Сопоставление – самое хитрое. Оно связывает клиента из CRM с покупателем из 1С: ищет совпадения по ИИН, телефону, названию компании. Расчёты создают новые поля на основе исходных – считают LTV, разбивают клиентов на когорты, вычисляют метрики. И наконец, загрузка сохраняет всё это добро в хранилище, откуда данные можно спокойно забирать для отчётов.

Есть два подхода: классический ETL (трансформация до загрузки) и современный ELT (сначала грузим сырые данные, потом трансформируем в хранилище). Для большинства компаний ELT проще, потому что современные базы данных справляются с трансформациями быстро и дёшево.

Слой 3: Хранилище данных (DWH)

DWH (Data Warehouse) – это база данных, оптимизированная для аналитики. В отличие от операционных баз (CRM, 1С), которые оптимизированы для записи и быстрого доступа к отдельным записям, хранилище оптимизировано для чтения больших объёмов и агрегаций.

Почему нельзя просто делать отчёты из CRM или 1С напрямую?

Нагрузка на рабочую систему – запустите тяжёлый отчёт прямо по CRM, и вся система тормозит. Менеджеры ждут, пока вы закончите свой анализ. Нет исторических данных – CRM показывает, что есть сейчас, но не помнит, что было месяц назад. Удалили сделку? Всё, данные потеряны.

Данные в разных местах – CRM знает про лиды, 1С про деньги, реклама про клики. Каждый живёт сам по себе, а вам нужна полная картина. Разная логика – в CRM сделка помечена «выиграна», а в 1С платёж ещё не прошёл. Какая цифра правильная? Непонятно.

Хранилище решает все эти проблемы: данные копируются туда отдельно, с сохранением истории, в едином формате.

Выбор технологии хранилища

Для казахстанского бизнеса есть несколько практичных вариантов:

Для компании с оборотом до 5 млрд тенге в год PostgreSQL хватит с запасом. ClickHouse имеет смысл, когда данных много и нужны быстрые отчёты на лету – например, аналитика в реальном времени для e-commerce с миллионами транзакций.

Слой 4: Витрины данных (Data Marts)

Витрина – это готовая таблица с уже рассчитанными показателями, оптимизированная для конкретного отчёта или темы. Вместо того чтобы каждый раз считать LTV клиента на лету, вы один раз настраиваете расчёт – и он обновляется автоматически.

Типичные витрины для бизнеса:

Витрина продаж собирает всё про сделки: суммы, маржу, кто продал, откуда пришёл клиент, когда закрылось. Витрина клиентов знает про каждого: сколько он принёс денег за всё время (LTV), к какому RFM-сегменту относится, что покупал раньше, есть ли задолженность.

Витрина воронки показывает путь лида: на каком этапе сколько отваливается, как быстро проходят, почему проигрывают. Витрина маркетинга считает деньги: сколько потратили на каждый канал, сколько стоит лид (CPL), сколько – клиент (CAC), какой возврат инвестиций (ROMI). Витрина активности следит за менеджерами: сколько звонков, встреч, задач – кто работает, а кто имитирует.

Витрины – это не просто удобство. Они защищают BI-инструмент от сложных вычислений и делают отчёты быстрыми. А ещё обеспечивают единую логику: если LTV считается в витрине, то во всех отчётах он будет одинаковым.

BI-инструменты: что выбрать для визуализации

Когда данные собраны в хранилище и витрины готовы – пора визуализировать. BI-инструмент подключается к хранилищу и позволяет строить дашборды, отчёты, графики.

На рынке десятки инструментов, но для казахстанских компаний реально актуальны несколько:

Power BI

Продукт Microsoft, лидер рынка. Знакомый интерфейс для тех, кто работает с Excel. Мощный, гибкий, с хорошей документацией на русском.

Плюсы: много готовых визуализаций, отличная интеграция с Microsoft-стеком, большое сообщество. Можно публиковать отчёты в веб и мобильном приложении.

Минусы: платная подписка для командной работы (около 10$ на пользователя в месяц). Desktop-версия бесплатная, но без шаринга.

Yandex DataLens

Бесплатный инструмент от Яндекса. Особенно хорош для компаний, которые уже используют Яндекс.Облако или Яндекс.Метрику – есть готовые коннекторы.

Плюсы: полностью бесплатный (без лимитов на пользователей), простой интерфейс, интеграция с ClickHouse и другими источниками, серверы в России/СНГ.

Минусы: меньше возможностей для сложной визуализации, чем у Power BI. Зависимость от Яндекса.

Metabase

Open-source решение, которое можно развернуть у себя. Простой интерфейс, можно задавать вопросы на обычном языке (с оговорками).

Плюсы: бесплатный, можно развернуть на своём сервере, данные остаются у вас. Легко освоить без технического бэкграунда.

Минусы: для сложных отчётов придётся писать SQL. Меньше визуальных возможностей.

Google Looker / Looker Studio

Looker Studio (бывший Data Studio) – бесплатный инструмент для базовых дашбордов, хорошо работает с Google Analytics и BigQuery. Looker – enterprise-решение для крупных компаний.

Плюсы: интеграция с Google-экосистемой, Looker Studio бесплатный.

Минусы: Looker очень дорогой. Looker Studio ограничен в возможностях.

Практический пример: дашборд для директора

Давайте разберём конкретный пример. Коммерческий директор хочет видеть на одном экране:

• Выручка за месяц vs план
• Динамика продаж по неделям
• Топ-10 клиентов по обороту
• Конверсия воронки продаж
• Эффективность каналов привлечения (с учётом маржи)
• Дебиторская задолженность по срокам

Для этого нужны данные из CRM (воронка, каналы привлечения), 1С (выручка, маржа, дебиторка) и рекламы (затраты). Как это реализуется:

Шаг 1: Настройка ETL

Создаём три потока данных:

1. CRM → Хранилище: выгрузка сделок, контактов, активностей через API. Каждый час.
2. 1С → Хранилище: выгрузка документов реализации, оплат, остатков. Через промежуточный файл или напрямую, если есть HTTP-сервис.
3. Реклама → Хранилище: затраты из Google Ads, Яндекс.Директ через их API. Раз в день.

Шаг 2: Связывание данных

Ключевой момент – как связать клиента в CRM с покупателем в 1С. Варианты:

• По ИИН/БИН – если в обеих системах ведётся корректно (редко)
• По номеру телефона – с нормализацией (+7, 8, пробелы)
• По email – если используется
• По названию – с fuzzy matching (неточное сопоставление)
• По ID из CRM в 1С – если настроена интеграция

На практике обычно комбинируют: сначала точное сопоставление по телефону/email, потом ручная проверка остатка. Подробнее о качестве данных – в статье про единый источник правды (SSOT).

Шаг 3: Создание витрин

Для этого дашборда нужны витрины:

• fact_sales – факт продаж по дням, клиентам, товарам, с маржой
• dim_clients – справочник клиентов с LTV, каналом привлечения, сегментом
• fact_pipeline – воронка с конверсиями по этапам
• fact_marketing – затраты на маркетинг по каналам и кампаниям
• fact_receivables – дебиторка по клиентам и срокам

Шаг 4: Построение дашборда

В Power BI или DataLens подключаемся к хранилищу и строим визуализации. Каждый виджет – это запрос к витрине. Благодаря витринам запросы простые и быстрые.

Сквозная аналитика: от рекламы до денег

Отдельная тема, которую часто путают с BI – сквозная аналитика. Это частный случай, когда мы связываем рекламные расходы с реальными продажами и считаем ROI по каналам.

Почему это сложно? Потому что путь клиента запутанный. Человек увидел рекламу в Instagram, зашёл на сайт, ушёл. Через неделю вспомнил, загуглил название, позвонил. Заказал. Через месяц пришёл снова – уже напрямую. Какому каналу засчитать продажу?

Что нужно для сквозной аналитики

• UTM-разметка – все ссылки с рекламы должны содержать UTM-метки (source, medium, campaign)
• Передача UTM в CRM – когда лид создаётся, метки должны сохраняться
• Связь лида с оплатой – от CRM-сделки до платежа в 1С
• Затраты из рекламных кабинетов – сколько потратили на каждую кампанию
• Модель атрибуции – как делить продажу между касаниями

Подробнее о том, как собрать всю цепочку – в статье про сквозную аналитику с Яндекс.Метрикой и CRM.

Модели атрибуции

Есть несколько способов распределить заслугу между каналами:

Для большинства B2B-компаний с длинным циклом продаж подходит Position Based или Time Decay. Для e-commerce с быстрыми покупками – Last Click достаточно.

Грабли, на которые наступают все

Расскажу, что обычно идёт не так. Может, сэкономите себе пару месяцев нервов.

Ошибка первая: красивый дашборд на кривых данных

Типичная история: купили Power BI, подключили напрямую к CRM и 1С, за неделю накидали графиков. Директор доволен. Через месяц выясняется: цифры не бьются, отчёты висят по пять минут, один клиент показывается три раза. Почему? Потому что пропустили всю подготовку – ETL, хранилище, нормализацию.

Правильно: сначала наведите порядок в данных, потом визуализируйте.

Ошибка вторая: тащить всё подряд

«Давайте выгрузим все поля из всех таблиц – вдруг пригодится». Через полгода: 200 таблиц, в которых никто не разбирается, ETL работает по четыре часа, диск забит под завязку. А нужных данных всё равно нет, потому что про них забыли.

Правильно: начните с вопросов. Что хотите узнать? Какие данные для этого нужны? Всё остальное – потом, если реально понадобится.

Ошибка третья: забить на качество

Хранилище настроили, дашборды построили – а цифры какие-то левые. Начинаешь копать: в CRM у половины сделок нет источника, в 1С один контрагент записан пятью разными способами, телефоны где с +7, где с 8, где вообще через дефис.

Правильно: параллельно с BI запустите проект по качеству данных. Читайте про это в статье о очистке базы CRM от дубликатов.

Ошибка четвёртая: один дашборд для всех

Хотим, чтобы и директор смотрел, и менеджеры, и бухгалтерия. В итоге на экране 50 графиков, всё мелкое, никто ничего не понимает и не пользуется.

Правильно: разные люди – разные дашборды. Директору нужны три цифры и тренд. Менеджеру – его сделки. Маркетологу – воронка и ROI. Не надо всё сваливать в одну кучу.

Ошибка пятая: настроил и забыл

ETL работает? Отлично, больше не трогаем. Через полгода в CRM добавили новые поля, в 1С поменяли структуру документов – и тишина. Данные грузятся наполовину, отчёты врут, а все думают, что всё в порядке.

Правильно: BI – это не проект, а процесс. Нужен кто-то, кто регулярно проверяет, что данные текут, чинит поломки, добавляет новое. Без присмотра всё развалится.

С чего начать: практический план

Если вы читаете эту статью и думаете «нам бы такое» – вот пошаговый план.

Сколько это стоит и кто нужен

Честный ответ: зависит от масштаба. Но дам ориентиры.

Бюджетный вариант (DIY)

Для компании с 1-3 источниками данных и базовыми потребностями:

• Хранилище: PostgreSQL на VPS – от 5 000 ₸/месяц
• ETL: Airbyte или n8n (self-hosted) – бесплатно
• BI: DataLens или Metabase – бесплатно
• Специалист: нужен разработчик/аналитик с опытом SQL

Итого: ~5-10 тыс. тенге в месяц на инфраструктуру + время специалиста.

Средний вариант

Для компании с 5+ источниками, требованием к скорости и надёжности:

• Хранилище: ClickHouse Managed или BigQuery – от 20 000 ₸/месяц
• ETL: Fivetran или Airbyte Cloud – от $500/месяц
• BI: Power BI – ~$100/месяц на команду
• Специалист: дата-инженер в штат или на аутсорсе

Итого: 100-300 тыс. тенге в месяц + затраты на специалиста.

Enterprise

Для крупных компаний с большими объёмами данных, требованиями к безопасности, выделенной командой аналитики – бюджеты от миллиона тенге в месяц и выше. Но это отдельная история.

Итог: BI – это инвестиция в качество решений

Аскар из начала статьи тратил целый день на отчёт, который всё равно содержал ошибки. Потому что данные в разных местах, форматы разные, цифры не сходятся. Это не его вина – это проблема архитектуры.

BI вокруг CRM – это способ перестать угадывать и начать видеть. Видеть, какие клиенты действительно прибыльны. Какие каналы работают. Какие менеджеры эффективны. Где теряются деньги. Без этого бизнес-решения принимаются на интуиции – а интуиция часто врёт.

Хорошая новость: для старта не нужны огромные бюджеты. PostgreSQL, Airbyte, DataLens – всё это бесплатно или почти бесплатно. Нужен один человек, который разбирается в данных, и желание навести порядок.

Начните с одного дашборда. С одного вопроса, на который не можете ответить. Постройте пайплайн для него. А потом – масштабируйте.

Потому что компании, которые принимают решения на данных, обыгрывают тех, кто полагается на интуицию. Это не теория – это практика, подтверждённая тысячами кейсов по всему миру. И Казахстан – не исключение.

Читайте также

• Сквозная аналитика: Яндекс.Метрика + CRM
• BI-дашборды для CRM: Power BI и DataLens
• Качество данных в CRM: как построить единый источник правды (SSOT)
• Как очистить базу CRM от дубликатов и мусора
• Интеграция CRM с 1С, SAP, складом и сайтом: архитектура без боли