Хранилища и форматы данных
DuckDB
Встраиваемая аналитическая СУБД — «SQLite для аналитики», работает локально.
Что это такое
DuckDB — это встраиваемая колоночная аналитическая СУБД, которую часто называют «SQLite для аналитики». Она работает внутри процесса приложения, без отдельного сервера, и выполняет сложные SQL-запросы прямо по файлам Parquet, CSV и таблицам в памяти. Идеальна для быстрой аналитики на одной машине.
Где применяется и для чего
Использую DuckDB для предпроектного анализа и профилирования данных, прототипирования витрин и обработки выгрузок без разворачивания тяжёлого хранилища. Помогает быстро проверить гипотезы и качество данных на этапе анализа, а также в локальных ETL-сценариях.
Применяю в услугах
Аналоги
ClickHouse (локально)SQLitepandas / PolarsApache Spark
Плюсы и минусы
Плюсы
- Не требует сервера — работает в одном процессе
- Читает Parquet и CSV напрямую, дружит с Python
- Очень быстра на аналитике в пределах одной машины
- Бесплатна и проста в установке
Минусы
- – Не для многопользовательской конкурентной нагрузки
- – Ограничена ресурсами одной машины
- – Не замена централизованному DWH
- – Молодая экосистема по сравнению со зрелыми СУБД
