Опубликован код утилиты subsync (https://github.com/smacke/subsync), обеспечивающей автоматическую синхронизацию субтитров с видео. Утилита позволяет откорректировать момент показа текста, синхронизировав его с началом произношения фраз. Код написан на языке Python и распространяется (https://github.com/smacke/subsync) под лицензией MIT. Подготовлен патч (https://github.com/smacke/subsync/raw/master/subsync-vlc.patch) для интеграции с мультимедийным проигрывателем  VLC. Для обработки видео используется FFmpeg, для разбора субтитров применяется библиотека srt (https://pypi.org/project/srt/), а для выделения речи модуль
py-webrtcvad (https://github.com/wiseman/py-webrtcvad).

Проект не привязан к конкретным языкам и базируется на сопоставлении абстрактных текстовых данных с выделенными фрагментами речи. Алгоритм синхронизации вначале выполняет дискретизацию видео и субтитров с разбиением на отрывки продолжительностью 10 мс. Далее для каждого отрывка определяется наличие речи: для видео задействован применяемый в WebRTC алгоритм определения наличия речи VAD, а для субтитров формируется раскладка на основе указанных временных меток. В итоге формируется два ряда, в которых каждый отрывок с речью отмечен 1, а без речи - 0. На последнем этапе осуществляется сопоставление двух полученных рядов и корректировка смещения с использованием быстрого преобразования Фурье (FFT).

URL: https://github.com/smacke/subsync
Новость: https://www.opennet.ru/opennews/art.shtml?num=50284