Интеграция, оркестрация и обработка
dbt
Трансформации данных в хранилище через SQL с тестами и документацией.
Что это такое
dbt (data build tool) — это инструмент для трансформации данных уже внутри хранилища по подходу ELT. Вы описываете витрины обычными SELECT-запросами, а dbt выстраивает граф зависимостей между моделями, материализует их, прогоняет тесты на качество и генерирует документацию с lineage. Это инженерные практики — версионирование, тесты, CI — применительно к SQL-моделям.
Где применяется и для чего
Применяю dbt для слоя трансформаций в DWH: из «сырых» данных собираю чистые витрины с тестами и понятной документацией. Это делает логику расчёта метрик прозрачной и воспроизводимой, а изменения — безопасными. Хорошо сочетается с оркестрацией на Airflow.
Применяю в услугах
Аналоги
SQL-скрипты вручнуюDataformSQLMeshХранимые процедуры
Плюсы и минусы
Плюсы
- Прозрачная и версионируемая логика витрин
- Встроенные тесты качества и документация с lineage
- Знакомый SQL — низкий порог входа для аналитиков
- Работает с BigQuery, ClickHouse, PostgreSQL и др.
Минусы
- – Только трансформации (T), не делает загрузку (E/L)
- – Нужна дисциплина и выстроенный процесс
- – Для сложной логики SQL-моделей бывает недостаточно
- – Требует оркестратора для запуска по расписанию
