Как сгенерировать DWH, ETL и MDM на российских платформах
Эксперты BI.Qube демонстрируют практический подход к построению современной платформы данных на российских платформах: от подключения источников и загрузки данных до формирования витрин, управления мастер-данными и аналитики. Основной фокус — ускорение разработки DWH и автоматизация ETL-процессов в едином конвейере обработки данных. Вебинар охватывает архитектуру DWH и Data Lakehouse, оркестрацию процессов, контроль качества данных, MDM, Data Lineage и полный цикл построения end-to-end аналитической системы. Материалы доклада и дополнительные детали доступны через команду BI.Qube на официальном сайте компании https://biqube.ru/ 00:00 Вступление | Мурзина Инна, Дмитрий Поликовский, Андрей Азарченков 03:05 Часть 1. Когда нужны внешние инструменты для работы с данными | Андрей Азарченков 03:21 Когда нужен фреймворк 04:07 Инструменты для аналитики 05:15 Пример "Автомежмаг" Finn Flare, БНС 06:06 Признаки со стороны бизнеса - когда нужны инструменты для решения сложных аналитических задач 06:43 Технологические признаки - когда нужны инструменты для решения сложных аналитических задач 07:11 Архитектурные ограничения 1С 07:42 Сравнение вариантов интеграции данных 1С:Предприятие 08:15 Коннектор к 1С 08:55 Шины данных и веб сервисы, ФГИСы 09:41 Система управления НСИ (MDM) 10:27 Замена стека Microsoft для аналитики 11:09 BI.Qube в ИТ-ландшафте 11:56 Функциональность фреймворка BI.Qube 12:22 Что получает заказчик BI.Qube 12:51 Лицензирование и предложения для партнёров 13:39 Часть 2. Как это работает - демонстрация работы с фреймворком | Андрей Азарченков 15:12 Фреймворк в целом - обобщенная архитектура применения фреймворка в ИТ-ландшафте заказчика 17:00 MetaStaging 18:10 Пример создания команд MetaStaging 22:36 Data&Model 24:07 MetaVault 24:57 Data&Model - создание справочника на основе системных данных 27:30 MetaMasterData 27:42 Data&Model – пример создания простого пользовательского справочника и использование его для управления загрузкой 32:47 Data&Model – золотые записи 36:16 MetaFact 37:11 Пример создания фактов 42:02 MetaCube 42:44 Пример по созданию объекта витрины данных 45:35 MetaControl 46:50 Пример создания контроля незаполненных полей 48:56 MetaOrchestrator 50:39 Демонстрация работы оркестрации с помощью компонента MetaOrchestrator 54:53 Эффект автоматизации загрузки данных 55:50 Эффект автоматизации разработки показателей 56:31 Эффективность на кейсе ЕВРАЗ «Единая система производственных показателей» (ЕСПП) 57:18 Вопросы и ответы. Итоги. Спасибо за внимание! | Андрей Азарченков, Дмитрий Поликовский, Мурзина Инна
Эксперты BI.Qube демонстрируют практический подход к построению современной платформы данных на российских платформах: от подключения источников и загрузки данных до формирования витрин, управления мастер-данными и аналитики. Основной фокус — ускорение разработки DWH и автоматизация ETL-процессов в едином конвейере обработки данных. Вебинар охватывает архитектуру DWH и Data Lakehouse, оркестрацию процессов, контроль качества данных, MDM, Data Lineage и полный цикл построения end-to-end аналитической системы. Материалы доклада и дополнительные детали доступны через команду BI.Qube на официальном сайте компании https://biqube.ru/ 00:00 Вступление | Мурзина Инна, Дмитрий Поликовский, Андрей Азарченков 03:05 Часть 1. Когда нужны внешние инструменты для работы с данными | Андрей Азарченков 03:21 Когда нужен фреймворк 04:07 Инструменты для аналитики 05:15 Пример "Автомежмаг" Finn Flare, БНС 06:06 Признаки со стороны бизнеса - когда нужны инструменты для решения сложных аналитических задач 06:43 Технологические признаки - когда нужны инструменты для решения сложных аналитических задач 07:11 Архитектурные ограничения 1С 07:42 Сравнение вариантов интеграции данных 1С:Предприятие 08:15 Коннектор к 1С 08:55 Шины данных и веб сервисы, ФГИСы 09:41 Система управления НСИ (MDM) 10:27 Замена стека Microsoft для аналитики 11:09 BI.Qube в ИТ-ландшафте 11:56 Функциональность фреймворка BI.Qube 12:22 Что получает заказчик BI.Qube 12:51 Лицензирование и предложения для партнёров 13:39 Часть 2. Как это работает - демонстрация работы с фреймворком | Андрей Азарченков 15:12 Фреймворк в целом - обобщенная архитектура применения фреймворка в ИТ-ландшафте заказчика 17:00 MetaStaging 18:10 Пример создания команд MetaStaging 22:36 Data&Model 24:07 MetaVault 24:57 Data&Model - создание справочника на основе системных данных 27:30 MetaMasterData 27:42 Data&Model – пример создания простого пользовательского справочника и использование его для управления загрузкой 32:47 Data&Model – золотые записи 36:16 MetaFact 37:11 Пример создания фактов 42:02 MetaCube 42:44 Пример по созданию объекта витрины данных 45:35 MetaControl 46:50 Пример создания контроля незаполненных полей 48:56 MetaOrchestrator 50:39 Демонстрация работы оркестрации с помощью компонента MetaOrchestrator 54:53 Эффект автоматизации загрузки данных 55:50 Эффект автоматизации разработки показателей 56:31 Эффективность на кейсе ЕВРАЗ «Единая система производственных показателей» (ЕСПП) 57:18 Вопросы и ответы. Итоги. Спасибо за внимание! | Андрей Азарченков, Дмитрий Поликовский, Мурзина Инна