The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Amazon опубликовал набор данных для понимания речи на 51 языке

20.04.2022 19:41

Компания Amazon опубликовала под лицензией CC BY 4.0 набор данных "MASSIVE" (Multilingual Amazon SLURP for Slot Filling, Intent Classification, and Virtual-assistant Evaluation), модели для систем машинного обучения и инструментарий для тренировки собственных моделей, которые можно использовать для понимания информации на естественном языке (NLU, Natural Language Understanding). Набор включает более миллиона аннотированных и классифицированных текстовых высказываний, подготовленных для 51 языка.

В качестве эталона для построения набора MASSIVE была использована коллекция SLURP, изначально доступная для английского языка, которая была локализована на 50 других языков с привлечением профессиональных переводчиков. Применяемая в голосовом помощнике Alexa технология понимания информации на естественном языке (NLU) вначале преобразует речь в текст, после чего применяет к тексту несколько NLU-моделей, анализирующих наличие ключевых слов для определения сути заданного пользователем вопроса.

Одной из целей создания и публикации набора является адаптация голосовых помощников для обработки информации сразу на нескольких языках, а также стимулирование сторонних разработчиков к созданию приложений и сервисов, расширяющих возможности голосовых помощников. Чтобы привлечь внимание разработчиков Amazon учредил конкурс по созданию лучшей универсальной модели, использующей опубликованный набор данных.

В настоящее время голосовые помощники поддерживают лишь несколько языков и применяет модели машинного обучения, привязанные к конкретному языку. Проект MASSIVE нацелен на устранение этого недостатка путём создания универсальных моделей и систем машинного обучения, способных разбирать и обрабатывать информацию на разных языках.

  1. Главная ссылка к новости (https://www.amazon.science/blo...)
  2. OpenNews: Выпуск синтезатора речи RHVoice 1.8.0
  3. OpenNews: Новые модели для распознавания русской речи в библиотеке Vosk
  4. OpenNews: Компания Mozilla представила движок распознавания речи DeepSpeech 0.9
  5. OpenNews: Facebook опубликовал открытую систему распознавания речи Wav2letter++
  6. OpenNews: Компания Mozilla представила систему синтеза речи LPCNet
Лицензия: CC-BY
Наводку на новость прислал Artem S. Tashkinov
Тип: К сведению
Короткая ссылка: https://opennet.ru/57055-amazon
Ключевые слова: amazon, ai, language
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (27) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Dzen Python (ok), 20:58, 20/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Хе. Свою тюрьму люди сделают сами. И с песней и конкурсами.
     
     
  • 2.12, kusb (?), 22:50, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    И ты будешь её делать c нами. Это весело и хорошо.
     

  • 1.3, Аноним (3), 21:19, 20/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –12 +/
    Ищу speech-to-text и text-to-speech, мультиязычный, чтобы все компоненты были с нормальной лицензией (при использовании в своих приложениях имею право делать со своими приложениями что хочу, то есть не GPL, не коммерческая, не бесплатно-для-домашнего-использования, как это сегодня обычно распространено в области ИИ)
     
     
  • 2.6, Вован (??), 21:55, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Так напиши сам. :)
     
  • 2.13, Аноним (13), 23:03, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +9 +/
    "Бабло рубить с ипользованием чужого труда хочу, но изменениями делится не хочу." Ясно, понятно.
     
     
  • 3.28, Гугл (?), 11:02, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > "Бабло рубить с ипользованием чужого труда хочу, но изменениями делится не хочу."
    > Ясно, понятно.

    Все верно. Рубить бабло на SaaS с использованием чужого труда можно лишь нам, ну и (пока) амазону с МС.


     
     
  • 4.36, Аноним (-), 06:09, 22/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Поясни вою гнилую мысль более развёрнуто.
     
     
  • 5.38, Аноним (38), 11:26, 22/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Поясни вою гнилую мысль более развёрнуто.

    Пояснти свой негодующий пук более развернуто.
    Ты не знаешь что такое SaaS или не читал GPL и не в курсе, что
    https://www.gnu.org/licenses/old-licenses/gpl-2.0-faq.en.html
    >> If I know someone has a copy of a GPL-covered program, can I demand he give me a copy?
    > No. The GPL gives him permission to make and redistribute copies of the program if and when he chooses to do so. He also has the right not to redistribute the program, when that is what he chooses.
    >

     
  • 3.29, rshadow (ok), 15:16, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    GPL кстати бабло рубить не запрещает
     
     
  • 4.35, Аноним (-), 06:08, 22/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Но обязывает делиться.
     
     
  • 5.39, Аноним (38), 11:29, 22/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Но обязывает делиться.

    Отлично продемонстрированно гуглом еще цать лет назад - гуглу свои доработки EXT2 для своих серверов, зашибающих бабло, остальным - дырка от бублика и разрешение писать и тестировать следующие версии ФС.

     
     
  • 6.40, mandms (ok), 10:56, 24/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Хотелось бы узнать о нарушении GPL'а Google'ом конкретнее, по каким словам искать? сходу не нашлось
     
     
  • 7.41, Аноним (-), 11:53, 24/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >> Но обязывает делиться.
    > Хотелось бы узнать о нарушении GPL'а Google'ом конкретнее, по каким словам искать? сходу не нашлось

    Ты не знал, что GPLv2/3 не обязывает выкладывать наработки для SaaS, потому что бинарник остается на сервере?

     
  • 2.14, Аноним (14), 23:04, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    RHVoice через speech-dispatcher/SAPI5 не требует перелицензирования твоего кода под GPL.
     
     
  • 3.15, Аноним (14), 23:07, 20/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    С голосами затык, ибо почти все (те, что сделаны командой, которая сделала голос на основе голоса Тёмы Лебедева) под CC-BY-NC, но там недавно опубликовали пошаговую инструкцию по тренировке своей голосовой модели. С указанным набором данных можно будет запилить свои под нормальной лицензией.
     
  • 2.16, Аноним (16), 00:13, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    В своих приложениях? В которых лично твоего кода хорошо если 1 процент? Твоего тут ничего нет (с)
     
  • 2.18, Аноним (18), 02:44, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Мантру какую-то напомнило.
     
  • 2.21, Аноним (21), 03:57, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    просто купи амазон, тебе чуваки запилят всё, как надо, под нужной лицензией
     
     
  • 3.33, Аноним (33), 01:54, 22/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Маск, залогинься!
     
  • 2.25, Аноним (25), 07:42, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > не GPL, не коммерческая, не бесплатно-для-домашнего-использования

    А что тебе вообще надо?

     
     
  • 3.26, EuPhobos (ok), 09:12, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Видимо продавать чужой труд
     

  • 1.27, Аноним (27), 09:16, 21/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    нейросетка-переводчик Яндекс круче всех.D
     
     
  • 2.31, Pepenez (?), 16:26, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Только западные языки переводить умеет. Я до сих пор не понимаю как народ делает хотя бы автоперевод китайских и корейских сериалов, не говоря про нормальную озвучку, там все понятно.
     
     
  • 3.32, Аноним (27), 19:19, 21/04/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ага,с китайского не переводит.
     

  • 1.30, rshadow (ok), 15:22, 21/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Очень хорошо что и эта тема потихоньку двигается к открытости. Голосовые помошники действительно являются интересным и удобным функционалом. Очень не хватает софта под своим управлением. Без всех этих облачных сервисов яндекса, гугла и т.д. с обязательными дырками и сливом информации.
     
  • 1.34, smit (??), 02:48, 22/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Фраза из массива: "останови будильник на 7 утра". Что-то сомнения в качестве закрадываются...
     
  • 1.42, adolfus (ok), 22:08, 26/04/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Качество понимания английского можно проверить на фильме "Slade in Flame".  
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру