Нейросеть переозвучивает видео на другой язык

mirf.ru — Новый нейросетевой сервис HeyGen способен обрабатывать видео так, чтобы спикер говорил на другом языке — с сохранением интонаций, темпа и голоса. Программа умеет даже «докручивать» липсинк. И хотя сервис не заявляет поддержку русского языка, в социальные сети хлынули переводы русских мемов и отрывков на английский.
Новости, Технологии | VladGX 17:46 11.09.2023
1 комментарий | 60 за, 0 против |
#1 | 22:42 11.09.2023 | Кому: Longint
> По идее ее, наверно, можно обучить на его переводах и статьях с тупичка)

Было бы хорошо, но маловата база. Для нормального обучения модели нужны минимум десятки тысяч единиц контента, а лучше сотни тысяч или даже миллионы. Вотт для автоматизации ответов Поддержки ВКонтакте для первой итерации взяли более 30 миллионов ответов агентов и ещё добавили базу ответов Mail.ru (а там я хз, сколько миллионов ответов). И то за тестовый период модель сгенерировала чуть больше 150 тысяч ответов, а проверяющие эти ответы агенты сочли годными к отправке только 34 тысячи, т.е. грубо одну пятую из сгенерированного, остальное забраковали:

[censored]
Войдите или зарегистрируйтесь чтобы писать комментарии.