Интеграция, оркестрация и обработка
Airbyte
Открытая платформа EL с сотнями готовых коннекторов к источникам данных.
Что это такое
Airbyte — это открытая платформа интеграции данных с большим каталогом готовых коннекторов к базам, API и SaaS-сервисам. Она забирает данные из источников и загружает их в хранилище по расписанию, поддерживая инкрементальную синхронизацию и CDC. Можно использовать облачную версию или развернуть self-hosted в своём контуре.
Где применяется и для чего
Использую Airbyte, чтобы быстро подключить источники к хранилищу без написания коннекторов с нуля — CRM, рекламные кабинеты, базы данных, API. Это ускоряет наполнение DWH данными и помогает при миграции, а «сырьё» дальше трансформирую через dbt.
Применяю в услугах
Аналоги
FivetranMeltanoStitchApache NiFiСамописные коннекторы
Плюсы и минусы
Плюсы
- Сотни готовых коннекторов из коробки
- Открытый код, можно развернуть self-hosted
- Инкрементальная синхронизация и CDC
- Быстрое подключение новых источников
Минусы
- – Качество коннекторов неоднородно
- – Self-hosted требует ресурсов и сопровождения
- – Только загрузка — трансформации отдельно (dbt)
- – На больших объёмах нужна оптимизация
