Наконец, вот и последний модуль конвейера! Обычно фрагмент субтитра длится 2–3 секунды, что означает, что существует около 4–6 непрерывных кадров, содержащих один и тот же субтитр. Проблема остается в том, как мы объединяем результаты разных кадров в один, определяя время начала, время окончания и субтитры для речи.
Нам просто нужно проверить, совпадает ли текущий субтитр с последним. Одна из основных проблем заключается в том, что иногда два кадра имеют одинаковые субтитры, но OCR предсказывает разные результаты. Ваш алгоритм определения того, являются ли два субтитра одинаковыми, должен уметь обрабатывать эти случаи.
Код выше основан на эвристике. Он возвращает True, если символы в этих двух строках из текущего и последнего кадра на 70% одинаковы, независимо от порядка каждого символа.
Вывод
Источник: machinelearningmastery.ru
Понимание устной речи — Представляю вам новый канал на Youtube.
YouTube научился распознавать русскую речь
Видеохостинг YouTube будет добавлять автоматические субтитры к видеороликам на русском языке, сообщает Lenta.ru со ссылкой на официальный блог сервиса.
YouTube распознает речь персонажей ролика или закадровые голоса, переводит голос в текст и отображает текст реплик поверх видео. Субтитры при желании можно отключить.
Функция субтитров может быть полезна пользователям с нарушениями слуха или тем, кто плохо владеет языком, который употребляется в ролике.
Распознавание может осуществляться с ошибками, отмечается в блоге YouTube. Вероятность ошибок возрастает при нечеткой речи, помехах или искаженном произнесении слов – например, как в случае с героем ролика про «язя».
Человек, загрузивший видео, может исправить ошибки в субтитрах или даже подготовить свои собственные субтитры и загрузить их на YouTube. Пока автоматическими субтитрами снабжена лишь небольшая часть русскоязычных роликов.
Источник: www.cableman.ru
Подборка сервисов для расшифровки аудио в текст
Обновленная подборка сервисов, которые бесплатно расшифруют речь в текст — записи интервью, голосовые сообщения и озвучку видео. Будет полезно копирайтерам и журналистам.
Использовать голосовой набор не всегда удобно, если это не запросы в поисковики. В шумной обстановке не получается прослушать запись голосового сообщения, некоторые люди в принципе лишены такой возможности. Если надиктованная информация нужна в печатном виде, войсы приходится переслушивать и перепечатывать, это тратит время и силы. Расшифровать интервью и аудиодорожку к видео тоже хорошо бы не собственными руками.
- Подборка сервисов для расшифровки аудио в текст может быть полезна для копирайтеров, журналистов и людей с особенностями слуха;
- Сервисы для перевода речи в текст включают: Блокнот для речевого ввода, Dictation.io, Dragon Dictation, Otter и боты для голосовых сообщений в ВКонтакте и Телеграме;
- Результаты расшифровки зависят от дикции и скорости речи, поэтому могут потребоваться правки;
- Если требуется точная расшифровка без ошибок, можно обратиться к фрилансерам или специализированным сервисам.
Зачем может понадобиться конвертировать аудио в текст
- Расшифровать запись длинного интервью или подкаста.
- Сделать транскрибацию озвучки видео.
- Надиктовать себе идей, пока есть вдохновение.
- Понять, о чем говорят в голосовом сообщении, когда нет возможности послушать.
- Общаться с людьми с особенностями слуха.
Транскрибация Аудио и Видео в Текст
Для помощи в расшифровке аудио в текст есть сервисы. Мы составили список из программ и ботов в социальных сетях, их существует больше, но мы выбрали самые удачные. Некоторые работают с русскими, некоторые с иностранными текстами. Всеми сервисами из подборки можно пользоваться бесплатно, но в некоторых нужно будет зарегистрироваться.
Сервисы для перевода речи в текст
Блокнот для речевого ввода
Возможности: перевод диктуемых слов в текст, транскрибирование речи из аудио и видео с Ютуба.
Сервис автоматически расшифровывает произносимые слова по ходу надиктовки, причем умеет распознавать знаки препинания, если отметить пункт «Заменять слова пунктуации». Мы надиктовали ему «Привет восклицательный знак мы тестируем запятая как справляется сервис с расшифровкой текста точка» и так далее, самые часто употребляемые знаки он распознал, но не справился с многоточием, тире, скобками и кавычками.
Транскрибирование текстов из загруженных аудиозаписей и из видео с Ютуба происходит в реальном времени при воспроизведении. Загружаем файл в сервис или указываем ID видео (символы после Сервис транскрибирует речь ведущего
Бесплатно сервис работает с транскрибированием онлайн без ограничений, а также с распознаванием голоса на аудио и видео не дольше 15 минут.
Сервис не идеальный, но работает бесплатно, прост в управлении и не требует регистрации. Результат расшифровки может быть довольно чистым — всё зависит от дикции и скорости речи. Лишний повод потренироваться, если диктуете для себя, но нужно привыкнуть называть знаки препинания, если не хочется расставлять их потом.
Инструмент полезен, когда нужно надиктовать себе материал для текста или в заметку, расшифровать подкаст или интервью. Его можно включить фоном в процессе интервью, чтобы сервис расшифровывал речь в реальном времени.
Расширение «Голосовой ввод текста» для Google Chrome
Возможности: диктовка текста в соцсетях, строке поиска и на сайтах. Диктовка в приложениях Windows,Linux и Mac.
От сервиса «Голосовой блокнот» есть браузерное расширение для переписки в соцсетях и речевого ввода текста на сайтах, а еще дополнительный модуль для использования в приложениях Windows.
Расширение для соцсетей и форумов
Расширение умеет переводить голос в текст: можно диктовать поисковые запросы, сообщения в социальных сетях и на форумах.
Попробуем надиктовать сообщение в ВКонтакте. Открываем диалог, кликаем правой кнопкой мыши и выбираем расширение.
Ввод подсвечивается красным, в браузере появляется окно разрешения доступа к микрофону. Разрешаем доступ, диктуем сообщение, называя знаки препинания: « Настя запятая привет восклицательный знак как твои дела вопросительный знак» , готовый текст отображается в поле ввода.
Сложно привыкнуть диктовать знаки препинания, на их озвучивание уходит много времени, но зато не нужно расставлять запятые вручную.
Результат расшифровки зависит от дикции говорящего, но в целом расширение для ввода хорошо справляется.
Расшифровка в любых приложениях Windows, Linux и Mac
Дополнительный бесплатный модуль для интеграции открывает тестовый период режима, который позволяет вводить текст напрямую в любые браузеры и приложения Windows: Word, Excel, Google Docs и другие — в любые места, где используется клавиатура. Для этого нужно зарегистрироваться в Голосовом блокноте и установить модуль.
Как установить модуль интеграции Голосового блокнота:
Если все прошло успешно, в блокноте у пункта Интеграция с OS появится срок действия тестового периода.
Попробуем надиктовать текст, например, в Word:
- Заходим на сайт голосового блокнота, включаем запись.
- Открываем документ в Word и начинаем диктовать.
- С задержкой в пару секунд текст появляется на экране.
Текст получилось надиктовать в Google Docs, Блокнот и почту Gmail:
Чистота расшифровки зависит от дикции, громкости и скорости речи, после диктовки скорее всего придется внести несколько правок в окончаниях и заглавных буквах.
Тестовый период длится всего три дня, его хватит, чтобы понять, нужен ли вам сервис. Плата небольшая: 100 рублей за месяц, 250 за три или 800 за год использования расширенных возможностей.
Dictation.io
Возможности: расшифровка живой речи, подкастов и озвучки видео в текст в реальном времени.
Сервис Dictation заявлен как мультиязычный, он может распознавать речь на более 100 языках. Он использует движок распознавания речи Google.
Регистрация не нужна, сервис работает бесплатно. Он похож на Голосовой блокнот: нужно кликнуть на включение распознавания, надиктовать что-то самому, включить подкаст или видео с речью, а сервис в реальном времени будет слушать и распознавать текст.
С живой диктовкой он справился довольно хорошо, распознал голосовое обозначение знаков препинания «точка», «запятая».
Расшифровка подкаста «Это реальная история — Дело об исчезновении Кристофа Сиона» получилась не очень чистой, хотя ведущая говорила внятно. Видимо, дело в скорости речи.
С транскрибированием ролика «Regional German Dialects» на канале Easy German сервис справился отлично. Ведущая с хорошей дикцией говорила в обычном не быстром темпе.
В любом случае, если человек не диктует специально для сервиса, называя знаки препинания, придется править текст. Чистота расшифровки зависит от скорости аудиодорожки, с внятной медленной речью он справляется отлично.
Dragon Dictation
Возможности: расшифровка надиктованных предложений в текст.
Программа для iOS, работает онлайн через iTunes Store. Удобно использовать на мобильном, чтобы надиктовывать на ходу замечания или идеи к новым статьям.
Программа работает бесплатно, но только на iOS.
Otter
Возможности: распознавание англоязычной речи в записи или на диктовке с возможностью идентифицировать собеседников.
Сервис для распознавания речи и расшифровки аудио или видео. Работает только с английским языком. Если не пропустить первые шаги настройки и прочитать сервису текст на экране, он запомнит ваш голос. Это позволит ему отделять ваши реплики от чужих в записях с несколькими собеседниками.
Фразу «расшифруй что-нибудь на русском» он распознал так:
Можно загрузить аудио или видео с английской речью, сервис выведет текст. Некоторые спорные моменты из-за произношения могут расшифровываться неправильно.
Программа бесплатна, она будет полезна, если вы работаете с англоязычными источниками.
Боты для голосовых сообщений
Бот в ВКонтакте
Возможности:
расшифровка записанных голосовых сообщений в текст.
Бот «Что тут сказано?» расшифровывает голосовые сообщения. Войс нужно переслать в переписку с ботом, он пришлет текст в ответ. Если надиктовать аудио напрямую в диалог с ботом, он не справится.
Бота можно пригласить в беседу, тогда он будет автоматически расшифровывать сообщения в чате. Для этого на странице группы кликаем «Пригласить в беседу».
Дальше выбираем нужный чат, куда добавим бота в качестве участника.
В настройках чата находим среди участников бота и даем ему доступ к переписке.
Теперь если кто-то из участников записывает войс, следующим сообщением бот пришлет расшифровку.
Протестировать другие боты для перевода голосовых сообщений в текст не удалось, группы заброшены, а боты не реагируют на команды.
Бот в Телеграме
Возможности: расшифровка записанных голосовых сообщений в текст.
Бот Voicy переводит аудиосообщения или аудиофайлы в текст. Можно писать или присылать аудиофайлы боту напрямую или добавить его в чат, тогда на каждую реплику он будет отвечать ее текстовой расшифровкой.
Бота нужно настроить. Команда /language вызывает выбор языка, на котором будут записываться голосовые, /engine дает выбрать движок:
- стандартный wit.ai хорошо распознает слова, но не справляется с сообщениями длиннее 50 секунд;
- Yandex.SpeechKit работает без ограничений, но распознает слова хуже;
- Google Speech хорошо распознает голос, работает с любой длиной, но требует оплаты.
Команда /silent отключит уведомления о том, что бот приступил к работе над войсом.
Для отключения бота в чате нужно набрать команду /files.
Сервис Zapisano.org
Иногда нужна точная расшифровка аудиозаписи, но на внесение правок в распознанные тексты или самостоятельный набор с нуля нет времени. В этом случае пока единственный выход — делегировать ручную расшифровку кому-то другому.
За помощью можно обратиться к фрилансерам или в специализирующиеся на транскрибации фирмы. Однако в первом случае придется потратить дополнительное время на поиск ответственного исполнителя и согласование условий, а во втором — на общение с менеджерами по почте.
Для того, чтобы сэкономить время на всех этапах работы, можно воспользоваться сервисом Zapisano.org. Пока это единственный в России сервис расшифровки с личным кабинетом, куда можно быстро загрузить аудиофайлы, оплатить заказ, а после его выполнения хранить исходные аудио и стенограммы.
Интерфейс простой и понятный. После регистрации загрузите файлы или скопируйте ссылку на запись:
Сервис автоматически подсчитает длительность и спросит, какой тип расшифровки нужен — стандартный, для суда или перевод с иностранного языка. Вам нужно будет только выбрать тариф в зависимости от срочности работы:
Прогресс по задачам удобно отслеживать в личном кабинете. Там вы увидите подробности по каждой:
Интерфейс также оптимизирован под мобильные устройства, поэтому в кабинет удобно загружать записи, сделанные на телефон.
Тестовый перевод можно сделать бесплатно, так что у вас будет возможность оценить сервис.
Еще интересное:
Сервисы на основе ИИ для написания текста
Источник: pr-cy.ru