«Яндекс» добавил синхронный перевод прямых трансляций

vc.ru — Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
Новости, Компьютеры | spanjokus 3 дня назад
18 комментариев | 41 за, 2 против |
#1 | 3 дня назад | Кому: Всем
Можно будет смотреть презентации Apple, вебинары и конференции сразу на русском языке.

Компания добавила технологию автоматического закадрового перевода прямых трансляций на YouTube в свой браузер, рассказали в «Яндексе». Пока она работает в режиме открытого бета-тестирования для нескольких каналов из списка, в том числе Apple, Google, TechCrunch, SpaceX, TED и других.
Технология позволяет переводить стримы с пяти языков — английского, немецкого, испанского, итальянского и французского. В ближайшее время компания планирует начать тестировать азиатские пары языков, но когда они будут доступны всем пользователям, не говорит.

Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Мы научили нейросети переводить трансляции на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие.

Дмитрий Тимко, руководитель приложения «Яндекс» и «Яндекс Браузера»
Запуск перевода стримов на Twitch требует много времени, отметили vc.ru в «Яндексе» — вероятно, это произойдет не раньше 2023 года.
Для запуска перевода стримов разработчикам пришлось перестроить всю архитектуру закадрового перевода видео, отметили в компании. При записанном ролике нейросеть получает аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу.

При прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая — определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.

«Яндекс» добавил автоматический закадровый перевод любых англоязычных видео в YouTube и других сервисах в «Браузере» в сентябре 2021 года, а в ноябре — закадровый перевод видео на французском, испанском и немецком. Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт.
#2 | 3 дня назад | Кому: Всем
И как оно переведет fuck you?
как "боже мой"?
#3 | 3 дня назад | Кому: Всем
иногда пользуюсь таким переводом в яндекс бразуре, когда в оригинальном видосе на ютубе нет субтитров. На слух далеко не все понимаю и тут они выручают - тыкнул в я.браузере и на тебе сабы
#4 | 3 дня назад | Кому: Всем
Я тут на днях увидел забавную кнопку посередине видео. Алиса предлагала его перевести. Нажал на кнопку, появилась надпись, что видео переводится, подождите минуту, через минуту запустил, и там русская речь и качественный перевод. Охуел.
#5 | 3 дня назад | Кому: bazuka_joe
> иногда пользуюсь таким переводом в яндекс бразуре, когда в оригинальном видосе на ютубе нет субтитров

в ютубе есть распознавание и перевод распознанного находу
#6 | 3 дня назад | Кому: Всем
Обоссы меня Господь! Утуп через месяц закроют, а они только запустили своё поделие.
#7 | 3 дня назад | Кому: ttll
> в ютубе есть распознавание и перевод распознанного находу

как включить?
#8 | 3 дня назад | Кому: Валераентий
> Я тут на днях увидел забавную кнопку посередине видео. Алиса предлагала его перевести. Нажал на кнопку, появилась надпись, что видео переводится, подождите минуту, через минуту запустил, и там русская речь и качественный перевод. Охуел.

перевод там не такой уж и качественный (бывает неверно переведена фраза. Скорее всего такое из-за потери контекста или чото в этом роде), но если сравнить с тем, что было лет пять назад, то натурально отвал башки!
#9 | 3 дня назад | Кому: bazuka_joe
>
> как включить?

Шестерёнка -> Субтитры -> Английский(Создано автоматически) -> Опять субтитры -> Автоперевод
#10 | 2 дня 23 ч назад | Кому: ttll
> распознавание и перевод распознанного находу

Откуда есть пошёл всеми любимый Крим Сэндвич.
#11 | 2 дня 23 ч назад | Кому: ttll
> Шестерёнка -> Субтитры -> Английский(Создано автоматически) -> Опять субтитры -> Автоперевод

не могу найти . Можешь глянуть, тут это вообще есть?[censored]
#12 | 2 дня 23 ч назад | Кому: Всем
Вот и люди еще одной профессии скоро останутся за бортом истории (и рынка) .
#13 | 2 дня 23 ч назад | Кому: bazuka_joe
> > Шестерёнка -> Субтитры -> Английский(Создано автоматически) -> Опять субтитры -> Автоперевод
>
> не могу найти . Можешь глянуть, тут это вообще есть?[censored]

Не, нету. Они не все видео обрабатывают(или успевают обрабатывать) под некоторыми есть, под некоторыми нет

[censored]

Здесь, например, есть
#14 | 2 дня 23 ч назад | Кому: ttll
>
>[censored]
>
> Здесь, например, есть

а, тут вижу
#15 | 2 дня 22 ч назад | Кому: Всем
[censored]
#16 | 2 дня 17 ч назад | Кому: Longint
> И как оно переведет fuck you?
> как "боже мой"?

Бадь двою!
#17 | 2 дня 11 ч назад | Кому: Longint
> И как оно переведет fuck you?

Иностранные партнеры!!!
#18 | 2 дня 11 ч назад | Кому: Olsegor
> Вот и люди еще одной профессии скоро останутся за бортом истории (и рынка) .

И будут переводчиком между переводчиками.
Войдите или зарегистрируйтесь чтобы писать комментарии.