Не получается LipSync? Как сделать синхронизацию губ
Мне не удалось получить качественную синхронизацию губ с речью, полагаясь только на нейросети (липсинг, липсинк, или lipsync). Нейросети хорошо создают говорящие головы, но в малоподвижных сценах. Мне больше понравился другой способ. Сначала нейросетью создается качественный персонаж в движении и признаками разговорной мимики. Под движения губ подбирается текст, который соединяется в виде звукового файла с мимикой персонажа уже в видеоредакторе. Иначе говоря, обычный дубляж. Не сомневаюсь, что качественный липсинг с помощью искусственного интеллекта станет широко доступен в ближайшее время. Создание художественных видеосюжетов станет доступно каждому. Ссылка на версию анекдота от Гарика Харламова https://youtu.be/5bvMLXMv5Bk 00:00 угадай слово по движению губ 00:55 примеры дубляжа 01:27 задача по дубляжу 02:26 почему меня не устраивает lipsync нейросетями 03:00 мой алгоритм дубляжа 03:45 оживление Моны Лизы и Пушкина 04:29 дубляж сюжета без связи с движением губ 05:37 способы создания голоса 06:13 создание голоса в ElevenLabs 07:22 заимствование готовых звуковых образцов 08:36 дубляж быстрой речи на примере анекдота от Гарика Харламова 09:45 лайфхак по увеличению длительности ролика без дополнительной генерации в нейросети 10:26 пока делал ролик, появилась вкладка AUDIO в MiniMax 11:16 еще пример дубляжа На развитие канала - струны, бутылки с вином для слайдеров, медиаторы, автомобиль для перевозки гитары, коврик для мыши - сюда: https://www.youtube.com/channel/UCEAXgWWY2u6Nk6kTRwax1Mw/join #НиколайКузнецовгитара #МужикДергаетСтруны #ГитараБезПравил
Мне не удалось получить качественную синхронизацию губ с речью, полагаясь только на нейросети (липсинг, липсинк, или lipsync). Нейросети хорошо создают говорящие головы, но в малоподвижных сценах. Мне больше понравился другой способ. Сначала нейросетью создается качественный персонаж в движении и признаками разговорной мимики. Под движения губ подбирается текст, который соединяется в виде звукового файла с мимикой персонажа уже в видеоредакторе. Иначе говоря, обычный дубляж. Не сомневаюсь, что качественный липсинг с помощью искусственного интеллекта станет широко доступен в ближайшее время. Создание художественных видеосюжетов станет доступно каждому. Ссылка на версию анекдота от Гарика Харламова https://youtu.be/5bvMLXMv5Bk 00:00 угадай слово по движению губ 00:55 примеры дубляжа 01:27 задача по дубляжу 02:26 почему меня не устраивает lipsync нейросетями 03:00 мой алгоритм дубляжа 03:45 оживление Моны Лизы и Пушкина 04:29 дубляж сюжета без связи с движением губ 05:37 способы создания голоса 06:13 создание голоса в ElevenLabs 07:22 заимствование готовых звуковых образцов 08:36 дубляж быстрой речи на примере анекдота от Гарика Харламова 09:45 лайфхак по увеличению длительности ролика без дополнительной генерации в нейросети 10:26 пока делал ролик, появилась вкладка AUDIO в MiniMax 11:16 еще пример дубляжа На развитие канала - струны, бутылки с вином для слайдеров, медиаторы, автомобиль для перевозки гитары, коврик для мыши - сюда: https://www.youtube.com/channel/UCEAXgWWY2u6Nk6kTRwax1Mw/join #НиколайКузнецовгитара #МужикДергаетСтруны #ГитараБезПравил