У меня появилась интересная задача — как сделать синхронный перевод видео с английского на русский язык.
«По рекомендации Google» я просмотрел тему транскрибации — перевод видео в текст или аудио записи в текст. Оказалось, что программы для транскрибации используются для удобства ввода текста с клавиатуры (нужно слушать аудио и набирать текст на клавиатуре), поэтому мне не подошли эти варианты.
Я нашел несколько вариантов, как с помощью современных технологий сделать перевод видео или аудио в текст, далее делается перевод этого текста и озвучивание.
Каждый сможет это повторить на своём компьютере.
В этой статье я расскажу как перевести аудио или видео в текст и сделать синхронный перевод на любой язык. Так же, Вы узнаете больше о сервисах перевода речи в текст.
Недавно появилась новая технология от Яндекса, которая позволит получать перевод во время просмотра видео — об этом Вы тоже узнаете подробнее!
Перевод видео онлайн в Яндекс браузере
Перевод видео с помощью виртуального аудиодрайвера
- Решение для перевода видео или аудио
- Установка программы виртуального аудио драйвера
- Перевод видео или аудио записи на любой язык
- Сервисы перевода речи в текст
Перевод видео с помощью Youtube
- Перевод видео с помощью субтитров Youtube
- Перевод видео с помощью расшифровки текста Youtube
Перевод видео онлайн в Яндекс браузере
Автоматический перевод видео с помощью искусственного интеллекта
Теперь вы можете посмотреть с русской озвучкой любой англоязычный ролик с помощью новой технологии от Яндекс и слушать перевод во время просмотра видео!
Как включить перевод видео на Русский Youtube в Яндекс Браузер
Технология позволяет перевести англоязычные ролики на YouTube, Vimeo и других платформах при просмотре в Яндекс.Браузере для Windows, macOS, Linux и Android, а также в приложении «Яндекс» для Android и iOS.
Откройте англоязычный ролик, который вы хотите посмотреть. Если у вас установлена последняя версия браузера Яндекс, вы прямо в плеере увидите предложение перевести видео на русский. Чтобы запустить перевод, достаточно нажать на кнопку.
Перевод видео с помощью виртуального аудиодрайвера
Решение для перевода видео или аудио
Этот способ поможет перевести в текст звук видео или аудио, который воспроизводится на компьютере. Так же я описал как перевести этот текст и озвучить с помощью онлайн сервисов.
Современные технологии позволяют легко перевести речь через микрофон в текст и сделать перевод. Такие возможности по переводу речи в текст доступны, например, в сервисах Яндекс, Google и различных программах.
В этих программах нет «захвата» звука из видео или аудио, т.е. пользователю не предлагается перевести звук, который идёт на динамики компьютера. Как быть когда нужно перевести видео или аудио трансляцию?
Способ, который я использовал для перевода видео — это установка виртуального аудиодрайвера, который переключает звук динамиков на канал микрофона. После этого можно использовать обычные сервисы перевода речи в текст — они воспринимают звук видео или аудио, как речь идущую через микрофон. В итоге получаем текст из видео или аудио записи!
Недостатки этого метода в том, что во время работы виртуального драйвера динамики отключаются и не слышно исходной речи из видео или аудио файла. И второй момент — после окончания перевода, нужно отключить виртуальный драйвер аудио для восстановления настроек звука компьютера.
Установка программы виртуального аудио драйвера
Установка драйвера простая — разорхивируйте скачанный файл. Далее, найдите в папке и запустите файл установки VBCABLE_Setup.exe (если этот файл не запустится, используйте VBCABLE_Setup_x64.exe).
После установки драйвера в настройках звука появятся новые устройства Cable Input (Воспроизведение) и Cable Output (Запись).
Как открыть настройки звука
Чтобы открыть Настройки звука и посмотреть устройства используйте команду
mmsys.cpl
Её нужно вставить в Меню Пуск — Выполнить (для открытия окна можно использовать комбинацию клавиш Win + R) или Поиск (будет предложен вариант — нажать на него для запуска настроек звука).
Перевод видео или аудио записи на любой язык
Сейчас я опишу поочерёдно все шаги, которые нужно сделать для онлайн перевода.
Включение виртуальных аудио устройств
Первое что нужно сделать — включить виртуальные устройства. Откройте настройки звука на закладке Воспроизведение запомните какое устройство выбрано по умолчанию (оно подписано и отмечено зелёной галочкой, на моём примере это Динамики) — это потребуется для возврата настроек. Далее, нужно выбрать CABLE Input и нажать кнопку По умолчанию.
После включения виртуального аудио драйвера в закладке Воспроизведение — откройте закладку Запись. Запомните какое устройство выбрано по умолчанию для восстановления настроек (на моём примере это Микрофон). Далее, нужно изменить устройство по умолчанию — выбрать CABLE Output, нажать кнопку По умолчанию и кнопку ОК.
Теперь виртульный аудио драйвер подключен и звук с динамиков перенаправляется в канал микрофона. Можно приступить к переводу видео или аудио. До возврата настроек звука динамики и микрофон не работают — как это сделать подробно описано ниже.
Сервисы перевода речи в текст
Теперь мы можем использовать любой сервис конвертирования речи в текст. После проверки, мне понравились как работают Яндекс переводчик (распознаёт текст на любом языке и может сделать синхронный перевод. Поле для ввода текста до 10 000 символов), Google переводчик (распознаёт текст на любом языке и может сделать синхронный перевод. Поле для ввода текста до 5 000 символов) и сайт Dictation (он хорошо записывает текст без перевода. Поле для ввода текста без ограничения).
Чтобы настроить конвертирование и перевод (если Вам нужно перевести текст) откройте любой из сайтов конвертирования речи в текст. Нужно выбрать исходный язык и язык перевода, включить микрофон. После этого можно включать видео или аудио на компьютере и начнётся автоматическое распознавание, запись текста и его синхронный перевод.
В сервисах Google и Яндекс не нужно нажимать Старт или Стоп — пока идёт аудио поток происходит конвертирование в текст. Когда в левом поле будет достигнут максимум символов, нужно остановить аудио и очистить левое окно с исходным текстом. После можно снова включить аудио и продолжить перевод.
На сайте Dictation для начала или окончания записи нужно нажать кнопку Start/Stop. Сервис работает очень хорошо и без ограничений количества входящего текста. После записи весь текст можно скопировать и перевести в переводчике.
Поздравляю, Вы всё сделали для начала перевода видео или аудио.
Напомню, что на время перевода микрофон и динамики не работают, после перевода нужно вернуть настройки звука.
Настройка сервисов для перевода Яндекс, Google, Dictation:
Возвращение аудио настроек
После перевода, чтобы микрофон и динамики работали как обычно, верните прежние настройки звука на компьютере.
Откройте настройки звука. На закладке Воспроизведение нужно выбрать устройство, которое было по умолчанию до включения виртуального драйвера CABLE Input и нажать на кнопку По умолчанию. Затем, такие же действия нужно сделать на закладке Запись.
Всё готово — настройки звука в исходном состоянии!
Перевод видео с помощью Youtube
В Youtube появилась возможность включить субтитры с переводом или получить весь текст видео для перевода. Я покажу эти два способа подробнее.
Перевод видео с помощью субтитров Youtube
Для видео в котором хотите видеть перевод включите субтитры:
Далее, нужно открыть Настройки и нажать на строку Субтитры:
В следующем окне нужно выбрать Перевести:
В следующем окне выберите язык, на который нужно сделать перевод субтитров видео. Всё, теперь субтитры будут с переводом, на понятном вам языке.
Перевод видео с помощью расшифровки текста Youtube
Можно получить весь текст видео. Для этого нужно использовать Расшифровку текста. Нажмите на три точки под видео и выберите Посмотреть расшифровку видео:
Откроется окно с текстом видео (без перевода). Можно скопировать весь текст и после перевести. Чтобы в текст не попали временные метки, их нужно отключить:
Далее, выделите в окне весь текст и скопируйте.
Скопированный текст можно перевести, например в Google переводчик
Источник: mskc.pro
ИИ от «Яндекса» научился переводить видеоролики «на лету», хотя и не все
В «Яндекс.Браузере» появился новый модуль искусственного интеллекта, который позволит переводит видеоролики и озвучивать их на языке пользователя. Пока что поддерживается только английский язык, а сами видео можно взять из специального плейлиста на YouTube и перевести через десктопный «Яндекс.Браузер». При этом важно, что веб-обозреватель должен иметь версию не ниже 21.6.0.
Как отмечается, технология уже умеет подбирать подходящий голос для озвучивания перевода, делает паузы и так далее. Хотя пока что машинный перевод не справляется со многими интонациями, однако оценить качество работы уже можно. На следующем этапе планируется дать возможность перевода любых англоязычных роликов, а затем добавить и другие языки.
Оригинал видео:
Перевод с помощью ИИ:
Отметим, что ранее «Яндекс.Браузер» научился переводить фразы на изображениях, так что появление переводчика для видео — вполне ожидаемо. Как заявил Дэвид Талбот (David Talbot), руководитель направления обработки естественного языка в «Яндексе», в сети есть который недоступен людям из-за языкового барьера. Эту проблему и решает система перевода.
В комментариях к видео отмечается, что система может пока сбоить, а для включения перевода может потребоваться перезапуск браузера. Также пользователи жалуются, что на некоторых видео голос ведущего слишком громкий, из-за чего плохо слышно перевод.
- В «Яндекс» запустили нейросеть, которая допишет за вами любой текст
- «Яндекс» составил ТОП-10 фильмов, которые наверняка понравятся россиянам
- Утечка месяца! На «Яндекс-Диске» нашли видео с тремя часами геймплея Mafia: Definitive Edition
Источник: vgtimes.ru
«Яндекс» запустил сервис закадрового перевода видео с YouTube и Vimeo
«Яндекс» запустил в полноценном формате сервис закадрового перевода видео с YouTube, Vimeo и еще нескольких популярных платформ. Об этом РБК сообщили в пресс-службе компании.
«Яндекс» начал предлагать автоматически перевести англоязычные видеоролики. Научно-популярные передачи, кулинарные шоу, лекции Илона Маска и Ричарда Фейнмана, стендапы и видеоблоги — все это теперь можно посмотреть в русской озвучке», — говорится в сообщении.
Как отметили в компании, перевод получается закадровым. При этом оригинальная дорожка приглушается и на нее накладывается новая. Для перевода используются два голоса: для мужских голосов — мужской, для женских — женский (голосовой помощник Алиса).
В «Яндексе» рассказали, что сейчас можно перевести практически любое видео на английском языке на YouTube, Vimeo и еще нескольких популярных платформах. Перевод доступен в «Яндекс.Браузере» для операционных систем Windows, macOS, Linux и Android, а также в приложении «Яндекс» Android и iOS.
«Перевод происходит в несколько этапов. Сначала «Яндекс» распознает речь, превращает ее в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом.
Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети», — сообщили в компании.
Чтобы посмотреть видео в русской озвучке, пользователю необходимо нажать на кнопку в плеере и подождать какое-то время. Процесс перевода занимает несколько минут, после чего юзеру придет уведомление.
По словам руководителя «Яндекс.Браузера» Романа Иванова, автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. «Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к ее решению еще в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео», — сказал он.
Иванов уточнил, что компания в дальнейшем будет добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.
«Яндекс» впервые показал прототип закадрового переводчика видео в середине июля. Тогда в компании говорили, что новая технология объединяет разработки «Яндекс.Переводчика», биометрии, распознавания и синтеза речи. Она определяет пол выступающего на видео и подбирает соответствующий голос. За темпом речи говорящего следит алгоритм, за счет чего переводчик делает паузы, замедляет или ускоряет речь, чтобы закадровый голос совпадал с картинкой.
Схожие технологии разрабатывают несколько зарубежных стартапов. Так, в конце июня сервис видеозвонков Zoom купил немецкий стартап Kites, который создает субтитры на других языках в режиме реального времени. Как заявили в Kites, технология, основанная на искусственном интеллекте, позволяет отображать стенограмму до того, как говорящий завершит предложение.
Источник: ict-online.ru