The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Компания Google открыла недостающие исходные тексты для аудиокодека Lyra

02.07.2021 11:23

Компания Google опубликовала обновление аудиокодека Lyra 0.0.2, оптимизированного для достижения максимального качества передачи речи при использовании очень медленных каналов связи. Кодек был открыт в начале апреля, но поставлялся в привязке к проприетарной математической библиотеке. В версии 0.0.2 данный недостаток устранён и для указанной библиотеки создана открытая замена - sparse_matmul, которая, как и сам кодек, распространяется под лицензией Apache 2.0. Из других улучшений можно отметить возможность использования сборочной системы Bazel с компилятором GCC и использование данной связки по умолчанию в Linux вместо Bazel+Clang.

Напомним, что по качеству передаваемых голосовых данных на низких скоростях Lyra существенно превосходит традиционные кодеки, в которых используются методы цифровой обработки сигналов. Для достижения высокого качества передачи голоса в условиях ограниченного объёма передаваемой информации, помимо обычных методов сжатия звука и преобразования сигналов, в Lyra применяется речевая модель на базе системы машинного обучения, позволяющая воссоздать недостающую информацию на основе типовых характеристик речи. Задействованная для генерации звука модель обучена с использованием нескольких тысяч часов с записями голосов на более чем 70 языках. Производительности предложенной реализации достаточно для кодирования и декодирования речи в режиме реального времени на смартфонах среднего ценового диапазона, с задержкой передачи сигнала на уровне 90 миллисекунд.

  1. Главная ссылка к новости (https://github.com/google/lyra...)
  2. OpenNews: Google опубликовал аудиокодек Lyra для передачи речи при плохом качестве связи
  3. OpenNews: Sisvel формирует патентный пул для сбора отчислений за использование кодеков AV1 и VP9
  4. OpenNews: Доступен аудиокодек Opus 1.3
  5. OpenNews: Увидел свет первый выпуск открытого видеокодека нового поколения AV1
  6. OpenNews: Обновление свободного звукового кодека FLAC 1.3.2
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/55424-lyra
Ключевые слова: lyra, sound, codec
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (79) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:47, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Интересно будет потыкать. И ещё интересно, когда это завезут во всякие там Matrix и Jami.
     
     
  • 2.3, Аноним (3), 12:01, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А смысл тыкать в этот низкокачественный звук когда уже наверное кругом идут видеозвонки на высоких скоростях.
     
     
  • 3.8, Аноним (8), 13:13, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Так у местных целерончик для 775 сокета с полугигом оперативы до сих пор в топчиках ходит. Какая им видеосвязь? Тараканы запрещают, император не благоволит.
     
     
  • 4.41, Аноним (41), 22:56, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Император велит всем на Эльбрус.
     
  • 3.10, ryoken (ok), 13:14, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +9 +/
    За МКАД выезжать пробовали? Не бойтесь, те, кто вам говорил, про людей с пёсьими головами - бессовестно наврал.
     
     
  • 4.12, Жироватт (ok), 13:29, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А что, за КАД'ом есть жизнь? Внутри МКАД'а не находится Ородруин?
     
     
  • 5.21, ryoken (ok), 14:20, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > А что, за КАД'ом есть жизнь? Внутри МКАД'а не находится Ородруин?

    Есть. Нет, не находится :D.

     
     
  • 6.42, Аноним (41), 22:59, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    И в 5 км от МКАД интернет стоит 1000 р/мес.
     
  • 4.14, topin89 (ok), 13:37, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Недавно папе звонил в глухую деревню в Костромской области. С видео. На удивление хорошая связь на Теле2 там.
     
     
  • 5.60, Demo (??), 11:21, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > С видео.

    Статья об аудиокодеке, вообще-то.

     
  • 4.25, Аноньимъ (ok), 15:59, 02/07/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 5.26, Жироватт (ok), 16:23, 02/07/2021 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
     
  • 6.27, ryoken (ok), 16:30, 02/07/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
     
  • 7.28, Жироватт (ok), 16:52, 02/07/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 8.43, Аноним (41), 23:02, 02/07/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 6.54, Аноньимъ (ok), 09:14, 03/07/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 4.78, pofigist (?), 01:18, 05/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ближайший действительно хреновый интернет в замкадье будет в Польше...
    Так что не надо прибедняться.
    Кодек интересен тем что аудиозапись, прошедшая сквозь него, скорей всего не прокатит как док-во в суде...
     
  • 3.16, topin89 (ok), 13:42, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Они для ситуаций, когда связь хреновая. Военные радиостанции там, они должны работать в условиях глушилок на минимальнейшей скорости. Космос может, там качество сигнала будет любым. Может пригодиться и в центре крупного города, если толпа большая, и соты не вытягивают.

    Но это всё разумные доводы. Я ставлю, что у разработчиков было совершенно другое объяснение: "потому что это просто ох***но".

     
     
  • 4.45, Anon2 (?), 23:24, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я постоянно встречаю, что когда соты не вытягивают - пинг доходит до нескольких минут за счет буфферизации. Может, конечно, не у всех операторов так
     
     
  • 5.61, Demo (??), 11:26, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Пинг в несколько минут — это неправильно настроенная буферизация.
     
  • 3.31, Аноним (1), 18:41, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Бывают ситуации, когда скорость мобильного интернета очень небольшая. Хотя я на практике гораздо чаще встречал проблему потерь пакетов (голос пропадает). От этого новый кодек не защитит.
     
  • 3.53, Аноним (53), 09:14, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Для токса и джами и Peer-to-Peer Streaming Peer Protocol пригодится, там всё через других пиров идёт, так что в целях снижения нагрузки на децентрализованную сеть - самое оно.
     

  • 1.2, Нанобот (ok), 11:47, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    >речевая модель ... позволяющая воссоздать недостающую информацию на основе типовых характеристик речи

    раньше могло "послышаться" только гуманоидам на одном конце провода, а теперь кодек сам сможет допридумывать отсутствующие фрагменты, увеличивая шанс быть неправильно понятым

     
     
  • 2.4, Онаним (?), 12:08, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну, оно для тех ситуаций, когда без него вообще ничего не разобрать.
     
     
  • 3.63, paulus (ok), 17:09, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Гугл недавно чела маньяком сделал, представь что они с этими подставами могут для нас сделать!
     
  • 2.7, x3who (?), 12:57, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вот тоже подумалось про автокоррекцию теперь уже и в голосовых каналах.
     
  • 2.22, Аноним (22), 14:20, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Теперь записывай не только входящие звонки, но и исходящие.
     
  • 2.32, Kximer (?), 19:35, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Я так понимаю сперва идёт распознавание слов у текст, а для клиента уже вывод из текста в голос. Хотя может и не прав)
     
     
  • 3.55, Аноним (53), 09:16, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В доке либы написано, что передаются сжатые сетью мел-кепстрограммы.
     
  • 2.33, Kximer (?), 19:37, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Думаю на стороне отправителя голос в текст преобразуется, а на стороне клиента, то что не доходит из этого, преобразуется из текста голосом робота. Хотя может и ошибаюсь)
     

  • 1.5, Онаним (?), 12:09, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вот теперь неплохая тема, можно да, палочкой потыкать.
    По крайней мере больше не завязано на проприетарь.
     
  • 1.6, Аноним (6), 12:38, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > https://www.opennet.ru/opennews/sparse_matmul

    У вас ссылка отклеилась.

     
  • 1.9, ryoken (ok), 13:13, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    >>комплиятором

    Даже довольно интересное слово :).

     
  • 1.13, Жироватт (ok), 13:33, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Неплохо, но... Но... Меня смущает эта "речевая модель на базе системы машинного обучения". И то, что обучена она *кем-то*. Даже если не надевать шапочку-антиизучатель, то все равно, чувствуется мне, что для русского и кучи *евойных* диалектов будет... будет... не очень, мягко говоря будет. Вокха будет.
     
     
  • 2.19, Твой пукан шатается (?), 14:01, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если что-то не нравится то возьми исходники и сделай как тебе нужно, cyкa вечно недовольная. Или с нуля напиши, покажи гуглю как нужно, трепло картонное. Всегда вам всё не так, всё не то, уроды.
     
     
  • 3.75, lockywolf (ok), 18:53, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    70 000 часов мне тоже самому начитать для обучения?
     
  • 2.29, hefenud (ok), 17:40, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Какой-нибудь сибирский говор и московский говор еще близки друг к другу. А вот бритиш инглиш и австралиан инглиш это просто фактически разные языки, которые по политическим причинам считают одним, а уж про хинглиш я вообще молчу. Вот тут жесть будет, конечно
     
  • 2.36, Dzen Python (ok), 20:27, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ДВшник, чтоле?
     

  • 1.15, Аноним (15), 13:42, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Человек надиктовывает, а робот говорит 😂
     
  • 1.17, InuYasha (??), 13:50, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Снова эти негросети, снова искусственный идиот. Трендовость +10.
    А что если по голоовому каналу будут передавать не голос, кстати? Или неизвестный язык? И, на минутку, хорошее место для внедрения локальных слуховых иллюзий. Говоришь "Здрасте", а слышишь "я за п@ртию, пукина и к0вид" )
     
     
  • 2.18, Аноним (18), 13:58, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    «Мартин заметил, что во время сеанса связи он слышал только свой голос: ЛП подражает хозяину. Посылать по КК голосовой поток было бы идиотской расточительностью. »
    Чарльз Стросс, «Небо сингулярности»
     
  • 2.23, Ordu (ok), 14:28, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А человеческое восприятие симулировать без нейросеток не получается То есть обр... большой текст свёрнут, показать
     
     
  • 3.37, InuYasha (??), 20:36, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Понятно. Но, получается, для не-"фонетических/символических" звуков "остаток" будет просто превышать удобокодируемое и сверхэффективность кодека будет нулевой.
     
     
  • 4.38, Твой пукан шатается (?), 20:39, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Напиши не нулевой🤣
     
  • 4.51, Ordu (ok), 07:33, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Возможно. Но кого это колышет? Кодек для передачи речи. По каналу 3kbps. Вон глянь здесь: https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html

    opus на 6kbps тоже не передаёт фоновый звук, при этом звук речи, как из под жoпы. А этот ничё. Речь отдаёт немного синтезатором, но кого это колышет?

     
     
  • 5.57, InuYasha (??), 10:52, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Данунафиг. У меня и на дайлапе скорость лучше была. Тогда уж проще текстом или TTS. )
     
     
  • 6.58, Ordu (ok), 10:55, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Данунафиг. У меня и на дайлапе скорость лучше была. Тогда уж проще
    > текстом или TTS.

    Ок. Я не буду тебя больше убеждать. Хочешь общаться текстом по дайлапу, общайся текстом по дайлапу. В конце-концов, это же твоё дело, так?

     
     
  • 7.62, InuYasha (??), 12:03, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я думал, у нас тут обмен мнениями а не убеждение )
    Да и не суть. Каждому своё нравится.
     
  • 6.68, Онаним (?), 19:10, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Текстом или TTS из того же например скафандра в драконе может выйти затруднительно.
    Пример утрированный, но хороший для понимания.
     
  • 3.44, RM (ok), 23:19, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это все хорошо, непонятно только в каком месте у этого подхода нейросетка, вопросы собственно к ней в основном.
     
     
  • 4.47, Ordu (ok), 03:28, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нейросетка нужна для категоризации звуков грубо говоря, чтобы отличать о от ... большой текст свёрнут, показать
     
     
  • 5.79, Cooler (??), 09:51, 05/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Молоток! Хорошо описал! 👍
     
  • 4.69, Онаним (?), 19:12, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Определение и синтез звуков речи.
    Чтобы вычленить собственно слоги и прочие звуки, передать только их, и на месте восстановить обратно.
    На самом деле я подозреваю там даже не слоги и прочие звуки, а более мелкие паттерны.
     

  • 1.20, Аноним (-), 14:03, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если не копилефт, то не нужен их кодек.
     
     
  • 2.24, Аноним (24), 14:58, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    У гпльщиков штатно бомбит от свободных лицензий.
     
     
  • 3.30, Аноним (-), 17:56, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Пермиссивка не свобода, свобода - это только, и только копилефт.
     
     
  • 4.64, Аноним (24), 17:10, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Свобода - это когда автор кода сам решает кому и на каких условиях его отдавать и отдавать ли вообще. Всё остальное к свободе никакого отношения не имеет. Включая пафосные заявы гпльщиков, но не ограничиваясь ими, ибо не нравится - не ешь.
     
     
  • 5.65, Аноним (-), 18:20, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нет. Свобода бывает только с копилефтом. Ты описываешь самодурство.
     
     
  • 6.71, Аноним (71), 07:56, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Это здравый смысл, но гпльщикам не понять. Софт - это такой же товар как и любой другой, а значит и распространяется он по тем же принципам.
     
  • 3.34, макпыф (ok), 19:39, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    и gpl и пермессив - свободные лицензии. Разница лишь в том что gpl не позволяет всяким васянам паразитировать на проекте, зарабатывая деньги (разумеется ни чего не давая оригинальным разработчикам).
     
     
  • 4.40, Аноним (-), 22:20, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Разница лишь в том что gpl не позволяет всяким васянам паразитировать на проекте, зарабатывая деньги (разумеется ни чего не давая оригинальным разработчикам).

    Это да, ведь гугл, амазон и клаудфлер - совсем не "всякие васяны".

     
     
  • 5.49, Аноним (-), 05:08, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >Это да, ведь гугл, амазон и клаудфлер - совсем не "всякие васяны".

    Но поведение у них типично васянское.

     
  • 3.70, Аноним (70), 22:28, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    "Альтернативные рты гпльщиков издают штатные хлопки", чучело ты неполиткорректное!
     
     
  • 4.74, Аноним (-), 15:24, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ГНУ - по факту стандарт. А вот альтернативные - это пермиссивщики лижущие зад копирастам.
     
     
  • 5.76, Аноним (71), 20:14, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну выбрось из линупca все что там под свободными лицензиями натаскано и оставь только гпльное. Попробуй на получившемся поработать, потом впечатлениями поделишься.
     
  • 5.77, Аноним (-), 21:38, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > ГНУ - по факту стандарт. А вот альтернативные - это пермиссивщики лижущие зад копирастам.

    Надеюсь, ты написал это сообщение из под lynx в фреймбуфере LibreLinux?
    А то ведь тут такое дело - webkit-blink браузеры и иксы с вяленым из под nouveau/i915/amdgpu ни разу не GPL.

     
  • 2.35, hefenud (ok), 20:16, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Лицензия Apache, версия 2.0 (#apache2)

        Это лицензия свободных программ, совместимая с версией 3 GNU GPL

    https://www.gnu.org/licenses/license-list.ru.html#apache2

    Кажется ты напускал газов в лужу

     
     
  • 3.48, Аноним (-), 05:07, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А среди своих газов ты не заметил мысли о том, что за пермиссивкой, как правило, следует проприетарщина, а за копилефтом не может следовать проприетарщина.
     
     
  • 4.52, hefenud (ok), 07:43, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    То есть тебе мнение FSF пофигу, что лицензия совместима с GPLv3
    Понятно
     
     
  • 5.66, Аноним (-), 18:21, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ещё раз вдумчиво прочитай сообщение наверху. И не пари чушь.
     
  • 4.56, Аноним (53), 09:24, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А вы заметили, что программу выложили сами проприетарщики под пермиссивной лицензией. А могли бы поднaсрать и выложить под проприетарной-для-пермиссивщиков-и-проприетарастов gpl, ведь сами Google  лицензию на свой продукт соблюдать не обязаны. Вам не кажется, что это акт доброй воли?

    Идите к Столману и нам агитируйте за GPL-копирастию.

     
     
  • 5.67, Аноним (-), 18:22, 03/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Я ничего не заметил кроме вашего словоблудия бессмысленного и беспощадного.
     

  • 1.39, pashev.me (?), 21:07, 02/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Из других улучшений можно отметить возможность использования сборочной системы Bazel

    Для того, чтобы собрать минимальный Базель для сборки Базеля, нужна Ява.

     
     
  • 2.46, Аноним (41), 23:26, 02/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Действительно, OpenJDK хочет. Да и сами исходники Bazel 260 мегов. Это сборочная система, Карл!
    Чё не Electron?
     

  • 1.50, Хан (?), 05:30, 03/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Чем он лучше стандартизированного, свободного и популярного Opus?
     
     
  • 2.72, Аноним (-), 11:48, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    не взаимозаменяемы ниже 8kbps, проще коррекция и прочие слои из-за аналитичности, более яркий, от melpe. для прослушки, десанта и наводки на гражданские аэробусы подходит. анб, нато, мелкодер..
     
  • 2.73, Аноним (-), 12:07, 04/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Fig. 2. Quality vs SNR for the pruned and quantized systems
    https://arxiv.org/pdf/2102.09660.pdf
     

  • 1.59, Demo (??), 11:17, 03/07/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > использования сборочной системы Bazel с компилятором GCC …
    > вместо Bazel+Clang

    Фух! Лишь бы не Clang. Так заживём! 🤦🏿

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру