Каталог данных
OpenMetadata
Открытый каталог данных: метаданные, происхождение, качество, поиск.
Что это такое
OpenMetadata — это открытая платформа каталога данных и управления метаданными. Она собирает в одном месте информацию обо всех таблицах, витринах, дашбордах и пайплайнах: где что лежит, кто владелец, как считается метрика, откуда взялись данные (lineage). Добавляет поиск по данным, глоссарий бизнес-терминов и проверки качества.
Где применяется и для чего
Внедряю OpenMetadata, чтобы навести порядок в хранилище: единый каталог витрин и источников, прослеживаемость данных от источника до дашборда, бизнес-глоссарий и контроль качества. Особенно полезно в зрелых DWH и при управлении мастер-данными, когда систем и таблиц становится много.
Применяю в услугах
Аналоги
DataHubAmundsenApache AtlasCollibraAlation
Плюсы и минусы
Плюсы
- Единый каталог данных и бизнес-глоссарий
- Автоматический lineage от источника до дашборда
- Открытый код, много коннекторов
- Контроль качества и владельцев данных
Минусы
- – Требует развёртывания и регулярного наполнения
- – Ценность растёт только при поддержании в актуальности
- – Избыточен для маленьких хранилищ
- – Нужен ответственный за каталог (data governance)
