Runway оживил картинку за 1,75 секунды

Runway представила Characters — видеоагента в реальном времени, который создаётся по одной картинке. Референс загружается на вход, после чего персонаж может разговаривать с пользователем без дообучения и сложного сетапа. В сценарии говорится, что система работает на модели GWM-1 и поддерживает разные стили: фотореалистичного человека, мультяшного маскота или фэнтези-персонажа. На выходе заявлено HD-видео в 24 кадра в секунду с мимикой, движением головы и lip-sync. По данным из сценария, один кадр занимает 37 миллисекунд модельного времени, а первый ответ после реплики пользователя появляется через 1,75 секунды на сервере. Кадры генерируются авторегрессивно и сразу стримятся клиенту: пока следующий кадр считается, предыдущий уже декодируется. Также упоминаются зрение через веб-камеру, шеринг экрана, клонирование голоса, вызов инструментов, подключение к базе знаний по API и интеграция в звонки Zoom или Google Meet. #ai #aivideo #generativeai #Runway #RunwayCharacters #GWM1 #videoagent #avatar #realtimeai #lipSync #voicecloning #Zoom #GoogleMeet