Денис Омельков. Как реализовать обработку видео в браузере с применением AI

Тезисы Задумывались ли вы, что браузер способен обработать видео в реальном времени, при этом еще и выполняя нейронную сеть? Разберём, какие API доступны фронтендеру для работы с медиаданными и видеопотоками, как можно их преобразовывать и делать это эффективнее. Посмотрим, как можно запустить нейронную сеть в браузере и обмениваться с ней данными. Изучим несколько пайплайнов обработки от более простых, использующих относительно популярные инструменты (Canvas 2D, WebWorker, WASM), до более продвинутых и эффективных со специфичными API (WebGL, WebGPU, OffscreenCanvas, Insertable Streams). В качестве примера возьмём задачу по замене фона в сервисе для видеосвязи Контур.Толк. Расскажу, что и почему используем, с какими проблемами мы столкнулись при разработке и внедрении. Основной упор в докладе будет на работу с медиа, но опишу и пару способов работы с нейронными сетями (tensorflow lite, onnxruntime) в браузере. Аудитория Frontend-developer, ML-engineer. Уровень сложности Advanced. Сайт – https://codefest.ru Презентация – https://disk.yandex.ru/d/iMEF7zHeGbIK_A