Arenadata Streaming (ADS): новые функции и сервисы для потоковой передачи и обработки данных
На вебинаре представим обзор новых функций системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Покажем, как с их помощью оптимизировать управление кластерами Kafka и выстроить интеграцию оперативных БД с корпоративными хранилищами, озёрами данных и lakehouse-платформами. Также обсудим «многослойное» хранение на базе Kafka Tiered Storage, Change Data Capture (CDC) с Debezium, коннекторы Iceberg Sync Connector и NiFi ADB Connector, управление метаданными без ZooKeeper с помощью Kafka Raft (KRaft), балансировку и масштабирование кластеров через Cruise Control. В программе • Arenadata Streaming: интеграция с продуктами Arenadata и актуальные сценарии использования. • Kafka Tiered Storage: реализация «многослойного» хранения. • Интеграция данных: CDC с Debezium, Iceberg Sync Connector и NiFi ADB Connector. • Архитектурные изменения: Kafka Raft (KRaft) вместо ZooKeeper. • Оптимизация кластеров Kafka: балансировка и масштабирование с Cruise Control. • Live-demo: построим пайплайн загрузки данных в корпоративное хранилище и lakehouse и покажем работу с коннекторами в Arenadata Streaming Control. • Roadmap: планы развития ADS на 2026 год. • Q&A: ответы на вопросы участников. Эксперты Группы Arenadata Иван Клименко, архитектор Arenadata — основной докладчик, Q&A. Александр Анисимов, технический руководитель продукта Arenadata Streaming — эксперт, Q&A. Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata — модератор, Q&A.
На вебинаре представим обзор новых функций системы потоковой передачи и обработки данных Arenadata Streaming (ADS). Покажем, как с их помощью оптимизировать управление кластерами Kafka и выстроить интеграцию оперативных БД с корпоративными хранилищами, озёрами данных и lakehouse-платформами. Также обсудим «многослойное» хранение на базе Kafka Tiered Storage, Change Data Capture (CDC) с Debezium, коннекторы Iceberg Sync Connector и NiFi ADB Connector, управление метаданными без ZooKeeper с помощью Kafka Raft (KRaft), балансировку и масштабирование кластеров через Cruise Control. В программе • Arenadata Streaming: интеграция с продуктами Arenadata и актуальные сценарии использования. • Kafka Tiered Storage: реализация «многослойного» хранения. • Интеграция данных: CDC с Debezium, Iceberg Sync Connector и NiFi ADB Connector. • Архитектурные изменения: Kafka Raft (KRaft) вместо ZooKeeper. • Оптимизация кластеров Kafka: балансировка и масштабирование с Cruise Control. • Live-demo: построим пайплайн загрузки данных в корпоративное хранилище и lakehouse и покажем работу с коннекторами в Arenadata Streaming Control. • Roadmap: планы развития ADS на 2026 год. • Q&A: ответы на вопросы участников. Эксперты Группы Arenadata Иван Клименко, архитектор Arenadata — основной докладчик, Q&A. Александр Анисимов, технический руководитель продукта Arenadata Streaming — эксперт, Q&A. Екатерина Ульяшова, менеджер по продуктовому маркетингу Arenadata — модератор, Q&A.