Lakehouse-платформа, современная архитектура аналитических хранилищ

На Selectel ТехноДень Иван Курбатов, руководитель центра развития решений взаимодействия с клиентами «Столото», рассказал о проекте по созданию корпоративной Lakehouse-платформы. В рамках доклада ищем баланс между надежностью DWH и гибкостью Data Lake. Разбираем, как добавить ACID-операции в S3 и выстроить работу с метаданными. Смотрим, зачем разделять вычисления и хранение, чтобы BI, ETL и ML могли работать параллельно. И наконец — как при такой архитектуре сохранить контроль над стоимостью хранения. Приятного просмотра! Платформа данных Selectel — https://slc.tl/sm7uz