Нейросеть переозвучивает видео на другой язык

mirf.ru — Новый нейросетевой сервис HeyGen способен обрабатывать видео так, чтобы спикер говорил на другом языке — с сохранением интонаций, темпа и голоса. Программа умеет даже «докручивать» липсинк. И хотя сервис не заявляет поддержку русского языка, в социальные сети хлынули переводы русских мемов и отрывков на английский.
Новости, Технологии | VladGX 17:46 11.09.2023
20 комментариев | 60 за, 0 против |
#1 | 17:53 11.09.2023 | Кому: Всем
Идущий к реке шикарен на всех языках!
#2 | 18:23 11.09.2023 | Кому: Kia256
Весь мир преисполнится.
#3 | 18:42 11.09.2023 | Кому: Всем
Хоспаде, это ж с переводом кино какая благодать настанет!
#4 | 18:44 11.09.2023 | Кому: Всем
Прикольно что интонации и тембр сохраняются.
Особо приколол Панасенков на немецком - ему идёт, с такой рожей.
[censored]
#5 | 18:47 11.09.2023 | Кому: axyonoff
> Хоспаде, это ж с переводом кино какая благодать настанет!

Очень нескоро. Ты на Али когда-нибудь покупал чего? Описание товара имеет там, как правило, именно машинный перевод.
#6 | 18:54 11.09.2023 | Кому: axyonoff
> Хоспаде, это ж с переводом кино какая благодать настанет!

Стелька гниль ноги

[censored]
#7 | 18:55 11.09.2023 | Кому: Всем
Там на видео с переводом про айфоны картина в левом верхнем углу тоже двигает губами, см. с 22 секунды.
#8 | 19:02 11.09.2023 | Кому: loisop
> Очень нескоро

Я и не тороплюсь

> Ты на Али когда-нибудь покупал чего? Описание товара имеет там, как правило, именно машинный перевод.


Яндекс переводит очень хорошо, в т.ч. видео.
#9 | 19:10 11.09.2023 | Кому: Kia256
> Идущий к реке шикарен на всех языках!

Только вот почему у него проскакивает индийский акцент?
#10 | 19:17 11.09.2023 | Кому: Sablin
> Только вот почему у него проскакивает индийский акцент?

Очень текст соответствует.
#11 | 19:46 11.09.2023 | Кому: axyonoff
> Хоспаде, это ж с переводом кино какая благодать настанет!

Не настанет, для этого нейросеть Гоблина нужна!
#12 | 20:22 11.09.2023 | Кому: Всем
> говорил на другом языке — с сохранением интонаций, темпа и голоса.

Эдак переводчики скоро выйдут на рынок труда.
#13 | 20:42 11.09.2023 | Кому: acid-rain
> нейросеть Гоблина нужна!

По идее ее, наверно, можно обучить на его переводах и статьях с тупичка)
#14 | 22:42 11.09.2023 | Кому: Longint
> По идее ее, наверно, можно обучить на его переводах и статьях с тупичка)

Было бы хорошо, но маловата база. Для нормального обучения модели нужны минимум десятки тысяч единиц контента, а лучше сотни тысяч или даже миллионы. Вотт для автоматизации ответов Поддержки ВКонтакте для первой итерации взяли более 30 миллионов ответов агентов и ещё добавили базу ответов Mail.ru (а там я хз, сколько миллионов ответов). И то за тестовый период модель сгенерировала чуть больше 150 тысяч ответов, а проверяющие эти ответы агенты сочли годными к отправке только 34 тысячи, т.е. грубо одну пятую из сгенерированного, остальное забраковали:

[censored]
#15 | 01:32 12.09.2023 | Кому: Всем
Единственный вопрос - почему англоЕльцын так сильно напоминает Уинстона нашего Черчилля.
fetisad
надзор »
#16 | 03:25 12.09.2023 | Кому: Всем
Так Это теперь всю порнуху перевести можно?
#17 | 03:32 12.09.2023 | Кому: loisop
> Ты на Али когда-нибудь покупал чего?

На Али уже лет пять как прикрутили нормального переводчика и всё лулзы пропали :(
#18 | 04:15 12.09.2023 | Кому: fetisad
> Так Это теперь всю порнуху перевести можно?

Я-я!
#19 | 09:54 12.09.2023 | Кому: fetisad
> Так Это теперь всю порнуху перевести можно?

И остался один шаг до озвучки ее известными голосами.
#20 | 18:39 12.09.2023 | Кому: Longint
С дипфейками.
Войдите или зарегистрируйтесь чтобы писать комментарии.