Нейросеть переозвучивает видео на другой язык
mirf.ru Новый нейросетевой сервис HeyGen способен обрабатывать видео так, чтобы спикер говорил на другом языке — с сохранением интонаций, темпа и голоса. Программа умеет даже «докручивать» липсинк.
И хотя сервис не заявляет поддержку русского языка, в социальные сети хлынули переводы русских мемов и отрывков на английский.
Было бы хорошо, но маловата база. Для нормального обучения модели нужны минимум десятки тысяч единиц контента, а лучше сотни тысяч или даже миллионы. Вотт для автоматизации ответов Поддержки ВКонтакте для первой итерации взяли более 30 миллионов ответов агентов и ещё добавили базу ответов Mail.ru (а там я хз, сколько миллионов ответов). И то за тестовый период модель сгенерировала чуть больше 150 тысяч ответов, а проверяющие эти ответы агенты сочли годными к отправке только 34 тысячи, т.е. грубо одну пятую из сгенерированного, остальное забраковали:
[censored]