Миграция данных в ClickHouse и пересборка дашбордов для «МногоСна»
О клиенте
«МногоСна» — интернет-магазин товаров для сна с шоурумом в Москве. Более 12 лет компания продаёт сертифицированные матрасы, кровати и постельные принадлежности как официальный дилер.
Задача
У клиента уже были дашборды в Яндекс DataLens на основе данных из внутренней CRM и других источников в MySQL, но они медленно загружались, а цифры в них расходились с CRM. Требовалось ускорить дашборды и обеспечить точность данных.
Цели
- →Ускорить загрузку существующих дашбордов
- →Устранить расхождения данных дашбордов с CRM
- →Перенести данные на более производительное хранилище
- →Пересобрать существующие дашборды на новом источнике
Что реализовано
- 01
ETL-пайплайн миграции в ClickHouse
Реализация ETL-пайплайна переноса данных из внутренней базы MySQL в ClickHouse.
- 02
Пересборка дашбордов
Перенос существующих дашбордов Яндекс DataLens на новый, более быстрый источник данных.
- 03
Сверка и исправление метрик
Совместно с клиентом сравнение алгоритмов расчёта всех метрик дашборда и результатов с CRM, устранение расхождений.
- 04
Поддержка и доработки
Доработка дашбордов по запросам клиента.
Результат
Дашборды стали загружаться заметно быстрее, а данные в них приведены в соответствие с CRM — отчётности снова можно доверять. Сотрудничество продолжается: дашборды дорабатываются по мере необходимости.
