Интеграция, оркестрация и обработка
Apache Kafka
Распределённая платформа потоковой передачи событий в реальном времени.
Что это такое
Apache Kafka — это распределённая платформа для потоковой передачи и хранения событий. Системы-источники публикуют сообщения в темы (topics), а потребители читают их в своём темпе; данные надёжно хранятся и реплицируются. Kafka выдерживает огромный поток событий и служит «нервной системой» для обмена данными между сервисами в реальном времени.
Где применяется и для чего
Использую Kafka, когда данные должны попадать в хранилище потоково, а не пакетами: события сайта и приложений, интеграции между системами, CDC при «горячей» миграции. Это основа для near-real-time аналитики и устойчивого обмена данными между источниками.
Применяю в услугах
Аналоги
RabbitMQRedpandaApache PulsarAWS KinesisNATS
Плюсы и минусы
Плюсы
- Высокая пропускная способность и масштабируемость
- Надёжное хранение и повторное чтение событий
- Развязывает источники и потребителей данных
- Стандарт для потоковой обработки и CDC
Минусы
- – Сложна в развёртывании и эксплуатации
- – Избыточна для малых объёмов и простых интеграций
- – Требует продуманной схемы тем и партиций
- – Стоимость сопровождения выше среднего
