Интеграция, оркестрация и обработка
Apache Airflow
Оркестратор пайплайнов данных: расписания, зависимости, мониторинг.
Что это такое
Apache Airflow — это платформа для оркестрации пайплайнов данных. Рабочие процессы описываются кодом на Python в виде DAG (граф задач с зависимостями), а Airflow запускает их по расписанию, следит за порядком выполнения, повторяет упавшие шаги и показывает статус в веб-интерфейсе. По сути это «дирижёр» регламентных загрузок и трансформаций.
Где применяется и для чего
Использую Airflow как оркестратор в хранилищах: расписания загрузок из источников, запуск dbt-трансформаций, проверки качества данных и зависимости между шагами. На нём держится регулярное и предсказуемое обновление витрин, в том числе в MLOps-пайплайнах.
Применяю в услугах
Аналоги
DagsterPrefectMagedbt Cloudcron + скрипты
Плюсы и минусы
Плюсы
- Гибкость: пайплайны описываются кодом на Python
- Зрелый стандарт индустрии, большое сообщество
- Наглядный мониторинг, повторы и алертинг
- Множество готовых интеграций (операторов)
Минусы
- – Требует разворачивания и сопровождения инфраструктуры
- – Избыточен для пары простых задач
- – Не предназначен для потоковой обработки в реальном времени
- – Порог входа выше, чем у cron
