Технологии
Инструменты, на которых я строю аналитические хранилища, пайплайны и дашборды. Стек подбираю под задачу, объёмы и бюджет — здесь то, с чем работаю чаще всего.
Хранилища и форматы данных
Где живут данные: аналитические СУБД, колоночные движки и открытые табличные форматы.
Колоночная СУБД для аналитики на больших объёмах с очень быстрыми запросами.
Бессерверное облачное хранилище Google для аналитики петабайтного масштаба.
Встраиваемая аналитическая СУБД — «SQLite для аналитики», работает локально.
Открытый табличный формат для надёжных таблиц в data lake и Lakehouse.
Интеграция, оркестрация и обработка
Как данные попадают в хранилище и превращаются в витрины: загрузка, потоки, оркестрация и трансформации.
Открытая платформа EL с сотнями готовых коннекторов к источникам данных.
Оркестратор пайплайнов данных: расписания, зависимости, мониторинг.
Трансформации данных в хранилище через SQL с тестами и документацией.
Распределённая платформа потоковой передачи событий в реальном времени.
Брокер сообщений для надёжной интеграции систем и очередей задач.
Каталог данных
Как навести порядок в данных: каталог, метаданные, происхождение и качество.
BI и визуализация
Как данные превращаются в дашборды и решения: BI-платформы и визуализация.
Российская BI-платформа Яндекса для дашбордов и визуализации данных.
Бесплатный BI-инструмент Google (ныне Looker Studio) для отчётов и дашбордов.
Простая open-source BI: вопросы к данным и дашборды без знания SQL.
Мощная open-source BI-платформа для дашбордов и SQL-аналитики.
