The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

19.06.2018 09:05  Выпуск Dragonfire 1.0, виртуального голосового помощника для Linux

После трёх лет разработки подготовлен релиз виртуального голосового помощника Dragonfire 1.0, позволяющего организовать управление рабочим столом при помощи голосовых команд. Проект написан на языке Python и распространяется под лицензией MIT. Поддерживается работа в Linux-дистрибутивах на базе Ubuntu (в том числе KDE neon и elementary OS), дополнительно подготовлен мобильный клиент для платформы Android.

Для разбора голосовых команд применяется система распознавания речи Mozilla DeepSpeech, построенная на платформе машинного обучения TensorFlow. Для синтеза речи задействован пакет Festival. Интерфейс в форме вопрос/ответ базируется на библиотеке распознавания текста на естественном языке spaCy и данных из Wikipedia. Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмов (Cornell Movie-Dialogs Corpus).

Программа может работать в режиме с графической анимацией, при котором на экран выводится полупрозрачный силуэт, визуализирующий работу приложения (на выбор можно выбрать мужской или женский персонаж или вообще отключить анимацию). При помощи голосового управления можно осуществлять операции поиска встроенных команд, запускать приложения, вычислять математические выражения и задавать произвольные вопросы. Например, можно скомандовать запустить офисный пакет, продиктовать текст и попутно спросить какой крупнейший город в Турции.

Система также может запускаться в серверном режиме, предоставляя RESTful API для создания диалоговых чатботов. В поставку входит готовый пример чатбота для Twitter. Для оптимальной работы желательно наличие в системе GPU с поддержкой CUDA и 2 Гб свободной оперативной памяти. Опционально предусмотрен режим использования вместо встроенного движка распознавания речи внешнего API Google Speech, который можно использовать при необходимости экономии ресурсов.

Голосовой помощник Dragonfire развивается как разработка, сопутствующая проекту по созданию мотоциклетного шлема дополненной реальности Dragon Armor. Изначально проект был нацелен на создание диалогового интерфейса бесклавиатурного управления, который мог бы использоваться во время вождения мотоцикла. CAD-файлы для 3D-печати шлема доступны под свободной лицензией MIT. Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3, камеры Pi Camera, камеры-детектора объектов Pixy (CMUcam5), GSM-модуля от Arduino, микрофона, двух громкоговорителей и мини-проектора DLP LightCrafter Display 3010 EVM. Для шлема развивается специализированный дистрибутив DragonOS на основе Ubuntu.



  1. Главная ссылка к новости (https://github.com/DragonCompu...)
  2. OpenNews: Проект Mozilla выпустил открытую систему распознавания речи
  3. OpenNews: Представлен Sirius, открытый персональный ассистент, напоминающий Apple Siri и Google Now
  4. OpenNews: Атака на системы голосового управления через передачу команд в ультразвуковом диапазоне
  5. OpenNews: Тестовый выпуск свободной системы распознавания речи Simon 0.4.80
  6. OpenNews: Открытие наработок проекта Mycroft
Лицензия: CC-BY
Тип: Программы
Ключевые слова: dragonfire, voice, ai, deepspeech, festival
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Показать все | RSS
 
  • 1.1, iPony, 10:33, 19/06/2018 [ответить] [смотреть все]     [к модератору]
  • –5 +/
    Годно, нужно Можно купить что-то открытое, типа Маркуши https mycroft ai shop... весь текст скрыт [показать]
     
     
  • 2.4, Аноним, 10:46, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +4 +/
    От Mycroft сложилось впечатление быстро сляпанного на коленке поделия Никаким ... весь текст скрыт [показать] [показать ветку]
     
  • 1.2, Аноним, 10:34, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +12 +/
    "Окей, шлем! Сколько китайских серверов получает запись моего голоса?"
     
     
  • 2.3, A.Stahl, 10:38, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +12 +/
    "Не ссы, хозяин! Китайцы всё равно не тебя не понимают."
     
     
  • 3.10, paulus, 11:12, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Таки, да Говорите тише, говорите громче, повторите Замучает же этот помошн... весь текст скрыт [показать]
     
  • 2.8, Аноним, 11:11, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +9 +/
    Будь безмятежен как цветок лотоса у подножия храма истины.
     
  • 1.5, MPEG LA, 11:00, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +10 +/
    >Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмов

    SHUT THE FUCK UP, DONNY^W%USERNAME%!
    надеюсь подборка хорошая была

     
     
  • 2.24, Гентушник, 12:07, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +7 +/
    - What?
    - Say "what" again.
     
     
  • 3.60, Павел, 20:28, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +5 +/
    Элэвын!
     
  • 1.6, Аноним, 11:06, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    Неплохо, а предусмотрено подключение сервера с GPU находящегося в локальной сет... весь текст скрыт [показать]
     
     
  • 2.12, Аноним, 11:13, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    Локальная сеть в седельных сумках ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.20, Аноним, 11:35, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Зачем же? Интернет бескраен и в сумку не влезет)
     
     
  • 4.40, Аноним, 14:44, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Порево да, а остальное запросто
     
  • 1.9, Аноним, 11:12, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    Это круто! Хочу такой шлем! Буду гонять в своей КИЯ в шлеме! :)))
     
  • 1.11, Аноним, 11:13, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    Ничего, кроме ржача Кстати, недочет - в тексте новости нужно было писать фре... весь текст скрыт [показать]
     
  • 1.13, Аноним, 11:17, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Хватит уже, АСТАНАВИТЕСЬ А то я чаем поперхнусь от смеха ... весь текст скрыт [показать]
     
     
  • 2.14, Аноним, 11:22, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Плата на модуль наверное очень логично а еще можно задублировать греется толь... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.16, Аноним, 11:25, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Плата на модуль Питона? Очень может быть))
     
  • 3.21, Cradle, 11:50, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    так зимой хорошо будет в этом шлеме, даже и без мотоцикла
     
     
  • 4.26, Аноним, 12:54, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    3-я малина без пассивного охлаждения при нагрузке выдает около 80 С, с пассивны... весь текст скрыт [показать]
     
     
  • 5.50, Урри, 17:23, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Вывести радиаторы наружу.
     
     
  • 6.77, Аноним, 12:15, 20/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    при 60 на солнце - не поможет.
     
  • 2.17, Аноним, 11:26, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –5 +/
    Ну так питон же ЖС требовал бы три платы, Java и C - две, а няшная сишечка - ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.19, 123, 11:34, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +5 +/
    Жаба бы все 6 затребовала по ОЗУ
     
     
  • 4.29, Аноним, 13:33, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Источник: диванная экспертиза.
     
     
  • 5.30, 123, 13:47, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    Основанная тем не менее на наблюдениями за наёмными жабокодерами в неволе И сер... весь текст скрыт [показать]
     
     
  • 6.31, Аноним, 13:56, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –4 +/
    171 Основанная на наблюдениями 187 Без аналогичного приложения на С любые... весь текст скрыт [показать]
     
     
  • 7.37, Аноним, 14:33, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –2 +/
    дада, и с тех времён пошла сказка, что на джава ничего не напишешь серьёзного Н... весь текст скрыт [показать]
     
     
  • 8.41, Аноним, 14:49, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Какое точное число Сразу видно проведены тщательнейшие научные исследования И... весь текст скрыт [показать]
     
     
  • 9.62, Аноним, 00:11, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    ну разумеется, главное чаще себе это повторять, бро Сони-эриксоны и сименсы ник... весь текст скрыт [показать]
     
  • 7.42, Аноним, 15:27, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    Отнють, имел честь поручкаться с мониторингом на яве, пинговало оно сеть из пары... весь текст скрыт [показать]
     
     
  • 8.47, J.L., 16:08, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    > Что умел серв на яве, пинговать, тупить, и матюкаться, что не знает
    > как с какойто прошивки что-то забрать, господи, да "ява-программисты" туда 2
    > года прикручивали возможность списком ip заливать..

    хм, а у нас 4к терминалов мониторится на 500 метрах, правда терминалы сами к нам конектятся и вливают инфу, а не мы опрашиваем
    ах да, гласфиш+жава

    зы: а SAP написан на C++ между прочим

     
     
  • 9.56, анон, 19:02, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    И 1С предприятие тоже, лол
     
  • 9.82, Аноним, 16:04, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ну это как мусор, который сам от себя избавляет, одежда которая сама гладится и ... весь текст скрыт [показать]
     
  • 8.73, YetAnotherOnanym, 09:30, 20/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    А по телнету чем коннектились? Я в похожей ситуации юзал NIST Expect, но не отказался бы пощупать что-нибудь ещё.
     
     
  • 9.81, Аноним, 15:43, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Вот тут все очень плохо, если в начале справлялись костыли, то с появлением желе... весь текст скрыт [показать]
     
  • 3.46, Аноним84701, 15:59, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +3 +/
    > Ну так питон же. ЖС требовал бы три платы, Java и C++  - две,

    И всем хорош очередной анализ с высоты  дивана, но Festival и DeepSpeech (т.е. то, что выполняет основную работу) на плюсах, а питон там только обвязка.
    > а няшный костилик из 70ых, с кучей подпорочек - половину.
    >

     
     
  • 4.64, Аноним, 05:18, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ты забыл упомянуть тот неудобный факт, что у Node JS, как и у Java, основная раб... весь текст скрыт [показать]
     
     
  • 5.66, Аноним84701, 07:15, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ты забыл упомянуть тот неудобный факт, что у питона основная работа делается на ... весь текст скрыт [показать]
     
  • 1.18, EuPhobos, 11:31, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    По русский понимает?
     
     
  • 2.22, Аноним, 11:54, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +5 +/
    NYET
     
  • 2.28, Аноним, 13:07, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    До тех пор, пока в русском языке фразы Ему же надо было и Ему жена добыла ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.32, Аноним, 14:00, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    А какая команда должна запуститься при фразе "йе-му-же-на-да-бы-ла"?
     
  • 3.39, Allen, 14:43, 19/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +5 +/
    Ага, точно, омофоны же только в русском языке есть, такой вот он уникальный на ... весь текст скрыт [показать]
     
  • 3.49, alltiptop, 16:36, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +3 +/
    В английском такой фигни едва ли меньше, там контекст надо понимать/угадывать
     
     
  • 4.78, dq0s4y71, 13:48, 20/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Больше. Connected speech называется.
     
  • 2.55, Аноним, 17:48, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Если ты научишь его, будет понимать.
     
  • 2.69, DmA, 08:10, 20/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    там же сказано- диалоговая база фильмов используеся...Какой там русский язык-то...
     
  • 1.23, Аноним, 12:03, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • –2 +/
    Эй драфая,зганяй в сельмах палитру вазьми, а.
     
     
  • 2.27, Аноним, 13:01, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +4 +/
    Use your white master's language.
     
  • 1.25, Аноним, 12:54, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    И отмоделены во Fusion360,гагага ... весь текст скрыт [показать]
     
  • 1.34, Аноняшка, 14:20, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    круто, впечатляет, ребята гении))
    надо только няшечку в качестве полупрозрачного силуэта на экран поставить, (или кому что нравиться)
     
  • 1.35, Аноним, 14:29, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +7 +/
    Был раньше Simon какой-то, совершенно неюзабельный. За 10 лет так ничего и не смогли сделать. А грозились что будет в каждом дистрибутиве и круче Siri.
     
  • 1.36, Аноним, 14:29, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Блин, хоть бы видео с демонстрацией выложили, как оно работает?
     
     
  • 2.44, Аноним, 15:36, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +2 +/
    В README проекта на гитхабе есть ссылки на видео, мой анонимный брат.
     
     
  • 3.54, Аноним, 17:46, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Спасибо, заценим!
     
  • 1.43, Аноним, 15:34, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    Тут ещё вот что интересно Шлем лишь часть экипировки мотоциклиста А остальное... весь текст скрыт [показать]
     
     
  • 2.45, Аноним, 15:38, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +1 +/
    А ты действительно хочешь поговорить со своими мотоботинками ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.48, Аноним, 16:29, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +6 +/
    > А ты действительно хочешь поговорить со своими мотоботинками?

    Можно же попытаться разговорить чужие..

     
     
  • 4.58, пох, 20:07, 19/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    "окей, бот, где вторая нога этого хруста?"

     
  • 4.72, Аноним, 08:38, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    В пробке будет образована MESH сеть из ботинок байкеров и хакеры запустят на них... весь текст скрыт [показать]
     
  • 3.70, DmA, 08:12, 20/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    >> Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное
    >> снаряжение они тоже будут на основе малинки клепать?
    > А ты действительно хочешь поговорить со своими мотоботинками?

    Надеюсь головы мотоциклистов в таких шлемах  после аварии станет искать легче :)

     
  • 1.51, corvuscor, 17:31, 19/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    И ускоряется это все исключительно проприетарной CUDA на проприетарной nvidia.
    Верной дорогой идут товарищи!
     
     
  • 2.52, Аноним, 17:46, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • –2 +/
    А есть еще видеокарты, кроме нвидии?
     
  • 1.53, Аноним, 17:46, 19/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    4 разбери пи запихали в шлем Эпичненько Еще батарейки займут склько места, да ... весь текст скрыт [показать]
     
     
  • 2.59, пох, 20:09, 19/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • –2 +/
    > 4 разбери пи запихали в шлем? Эпичненько. Еще батарейки займут склько места,

    какие еще тебе батарейки? Питаться будет от генератора мотоцикла.
    В крайнем случае - поставим небольшой буфер, и будем на дороге заряжаться беспроводной зарядкой от того же генератора. Что, излучение? Да выдумки это все. Но съемные заглушки для отрастающих рогов надо, конечно, добавить в проект.

     
     
  • 3.68, Аноним, 07:28, 20/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    а антенну для беспроводной зарядки вкорячить в седло, нехай там заряжает
     
  • 1.63, HitomiTanakaGoesLinux, 01:37, 20/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    А как Сири работает в старом айфоне на 1 гб памяти без всяких КУДА и ГБУ и каши не просит?
     
     
  • 2.65, soarin, 05:21, 20/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +1 +/
    очень просто – в тонко клиентном режиме.
    Без интернетов она не сможет работать.
     
  • 1.67, Аноним, 07:26, 20/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    элэс пробел минус эла цэпэ пробел минус а котики пробел слеш медия слеш юзернейм... весь текст скрыт [показать]
     
  • 1.71, Нанобот, 08:36, 20/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    >виртуального голосового помощника для Linux

    но зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между стулом и монитором" не справляется?

     
     
  • 2.74, YetAnotherOnanym, 09:36, 20/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    > но зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между
    > стулом и монитором" не справляется?

    Это неприличный вопрос. Создатели сабжа смотрят на Вас с укоризной.

     
  • 2.79, Аноним, 13:49, 20/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Понятия не имею, как там у большинства линуксоидов, но моя секретарша с этой раб... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.80, Аноним, 14:46, 20/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Правая или левая ... весь текст скрыт [показать]
     
  • 1.75, Аноним, 11:04, 20/06/2018 [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Как обычно, сделали сложно сказать что, зато опенсорс-хомячки будут кричать - у... весь текст скрыт [показать]
     
     
  • 2.76, Аноним, 11:26, 20/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +1 +/
    вы прослушали дежурную запись эсэмэмщика на проценте от продаж без методички
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor