После трёх лет разработки подготовлен (https://github.com/DragonComputer/Dragonfire/releases/tag/v1...) релиз виртуального голосового помощника Dragonfire 1.0 (https://github.com/DragonComputer/Dragonfire/), позволяющего организовать управление рабочим столом при помощи голосовых команд. Проект написан на языке Python и распространяется (https://github.com/DragonComputer/Dragonfire) под лицензией MIT. Поддерживается работа в Linux-дистрибутивах на базе Ubuntu (в том числе KDE neon и elementary OS), дополнительно подготовлен
мобильный клиент (https://play.google.com/store/apps/details?id=computer.drago...) для платформы Android.Для разбора голосовых команд применяется система распознавания речи Mozilla DeepSpeech (https://www.opennet.ru/opennews/art.shtml?num=47648), построенная на платформе машинного обучения TensorFlow. Для синтеза речи задействован пакет Festival (http://www.cstr.ed.ac.uk/projects/festival/). Интерфейс в форме вопрос/ответ базируется на библиотеке распознавания текста на естественном языке spaCy (https://www.opennet.ru/opennews/art.shtml?num=45351) и данных из Wikipedia. Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмов (Cornell Movie-Dialogs Corpus (http://www.cs.cornell.edu/%7Ecristian//Cornell_Movie-Di...)).
Программа может работать в режиме с графической анимацией, при котором на экран выводится полупрозрачный силуэт, визуализирующий работу приложения (на выбор можно выбрать мужской или женский персонаж или вообще отключить анимацию). При помощи голосового управления можно осуществлять операции поиска встроенных команд, запускать приложения, вычислять математические выражения и задавать произвольные вопросы. Например, можно скомандовать запустить офисный пакет и спросить какой крупнейший город в Турции.
Система также может запускаться в серверном режиме, предоставляя RESTful spaCy API для создания диалоговых чатботов. В поставку входит готовый пример чатбота (https://twitter.com/DragonfireAI) для Twitter. Для оптимальной работы желательно наличие в системе GPU с поддержкой CUDA и 2 Гб свободной оперативной памяти. Опционально предусмотрен режим использования вместо встроенного движка распознавания речи внешнего API Google Speech, который можно использовать при необходимости экономии ресурсов.
Голосовой помощник Dragonfire развивается как разработка, сопутствующая проекту по созданию мотоциклетного шлема дополненной реальности Dragon Armor (http://dragon.computer/). Изначально проект был нацелен на создание диалогового интерфейса безклавиатурного управления, который мог бы использоваться во время вождения мотоцикла. CAD-файлы для 3D-печати шлема доступны (https://github.com/DragonComputer/DragonArmor/) под свободной лицензией MIT. Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3, камеры Pi Camera, камеры-детектора объектов Pixy (CMUcam5 (http://www.cmucam.org/projects/cmucam5)), GSM-модуля от Arduino, микрофона, двух громкоговорителей и мини-проектора DLP LightCrafter Display 3010 EVM. Для шлема развивается специализированный дистрибутив DragonOS на основе Ubuntu.
URL: https://github.com/DragonComputer/Dragonfire/releases/tag/v1...
Новость: https://www.opennet.ru/opennews/art.shtml?num=48798
Годно, нужно.
Можно купить что-то открытое, типа Маркуши https://mycroft.ai/shop/
И засадить туда что хочешь и как хочешь
От Mycroft сложилось впечатление быстро сляпанного на коленке поделия. Никаким заявленным "Artificial Intelligence" и высокими технологиями там и не пахнет.Распознавание речи в Mycroft через внешний Google Cloud Speech, а вся логика зашита в огромный Python скрипт с регулярными выражениями и if/else типовых фраз. Для синтеза у них типа свой движок mimic, но на деле это форк Festival.
"Окей, шлем! Сколько китайских серверов получает запись моего голоса?"
"Не ссы, хозяин! Китайцы всё равно не тебя не понимают."
Таки, да! "Говорите тише, говорите громче, повторите..." Замучает же этот помошник ;) Амазоновкский приколы уже вытворял, записывал и рассылал кому не поподя.., и т.д. Показалось ему типа :)
Будь безмятежен как цветок лотоса у подножия храма истины.
>Ответ формируется с применением нейронной сети seq2seq, натренированной по базе диалогов из фильмовSHUT THE FUCK UP, DONNY^W%USERNAME%!
надеюсь подборка хорошая была
- What?
- Say "what" again.
Элэвын!
Илеван!
Неплохо,
а предусмотрено подключение сервера с GPU находящегося в локальной сети?
> Неплохо,
> а предусмотрено подключение сервера с GPU находящегося в локальной сети?Локальная сеть в седельных сумках?
Зачем же? Интернет бескраен и в сумку не влезет)
Это круто! Хочу такой шлем! Буду гонять в своей КИЯ в шлеме! :)))
Ничего, кроме ржача =) Кстати, недочет - в тексте новости нужно было писать "фреймворк", ога.
> Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3
> на языке PythonХватит уже, АСТАНАВИТЕСЬ!! А то я чаем поперхнусь от смеха :)
>> Электронная начинка шлема основана на применении четырёх плат Raspberry Pi 3
>> на языке Python
> Хватит уже, АСТАНАВИТЕСЬ!! А то я чаем поперхнусь от смеха :)Плата на модуль наверное. очень логично. а еще можно задублировать. греется только сильно.
Плата на модуль Питона? Очень может быть))
так зимой хорошо будет в этом шлеме, даже и без мотоцикла
3-я малина без пассивного охлаждения при нагрузке выдает около 80° С, с пассивным радиатором около 60. Я бы в таком шлеме не стал разъезжать, да... Ну или его позиционировать надо как "умная сауна"
Вывести радиаторы наружу.
при 60 на солнце - не поможет.
Ну так питон же. ЖС требовал бы три платы, Java и C++ - две, а няшная сишечка - половину.
Жаба бы все 6 затребовала по ОЗУ
Источник: диванная экспертиза.
Основанная тем не менее на наблюдениями за наёмными жабокодерами в неволе. И сервера по 180гб рамы под их поделия.
«Основанная на наблюдениями»? Без аналогичного приложения на С++ любые отсылки на размер рама являются не более, чем софистикой и диванными гипотезами, т.к. сравнивать не с чем. Серверные приложения корпоративного масштаба на плюсах ведь почему-то не пишут. А Java-приложения почему-то запускали и на примитивнейших хилых мобилах на платформе J2ME, если ты, конечно, застал времена ИК-портов.
дада, и с тех времён пошла сказка, что на джава ничего не напишешь серьёзного. Наверно потому, что для ява машины выделялись пулы по 25-50% всей рамы тех хилых мобил, дабы запустить одно приложениеце ))
> 25-50%Какое точное число. Сразу видно: проведены тщательнейшие научные исследования. И ни в коем случае (нет-нет-нет!) эти числа не взяты с потолка и не являются (нет-нет-нет!) плодом воображения диванных экспертов.
ну разумеется, главное чаще себе это повторять, бро. Сони-эриксоны и сименсы никогда не колупал?
> «Основанная на наблюдениями»? Без аналогичного приложения на С++ любые отсылкиОтнють, имел честь поручкаться с мониторингом на яве, пинговало оно сеть из пары тысяч железяк, кое что забирало по снмп, 16 гб озу, по процам уже не помню что, но такие же набитые памятью ставили на виртуализацию
VS
Задрипаный списаный серв с 2 Гб озу и процом чуть ли не коре2дуо
Итак: задрипаный серв с самописной программкой на сях которая кушала пару метров рамы реагировал ~8 секунд на отвал железки и ~2 сек. на восстановление, а серв с явой от 20 мин до 2 часов
По снмп на задрипаном серваке работал пхп, теже либы отдавали теже данные онлайн на вэб, огромные портянки на пхп, для разных классов железок, для разных вендоров и моделей, пара уровней абстракций и почти готовое RESTful для управления сетью, что не умело снмп, но умело хттп, было запилено через хттп, были железки со смешанным опросом, кое что телнетом забиралось
Что умел серв на яве, пинговать, тупить, и матюкаться, что не знает как с какойто прошивки что-то забрать, господи, да "ява-программисты" туда 2 года прикручивали возможность списком ip заливать..
> Что умел серв на яве, пинговать, тупить, и матюкаться, что не знает
> как с какойто прошивки что-то забрать, господи, да "ява-программисты" туда 2
> года прикручивали возможность списком ip заливать..хм, а у нас 4к терминалов мониторится на 500 метрах, правда терминалы сами к нам конектятся и вливают инфу, а не мы опрашиваем
ах да, гласфиш+жавазы: а SAP написан на C++ между прочим
И 1С предприятие тоже, лол
> сами к нам конектятся и вливают инфу, а не мы опрашиваемНу это как мусор, который сам от себя избавляет, одежда которая сама гладится и стирается, работа, которая сама себя работает.
А по телнету чем коннектились? Я в похожей ситуации юзал NIST Expect, но не отказался бы пощупать что-нибудь ещё.
> А по телнету чем коннектились? Я в похожей ситуации юзал NIST Expect,
> но не отказался бы пощупать что-нибудь ещё.Вот тут все очень плохо, если в начале справлялись костыли, то с появлением железок которые рисуют в телнете окна - отдают по 1 печатному символу с кучей управляющих, стало невыносимо, поэтому кое-что расхакали по snmp, кое-что перевели на ssh.
> Ну так питон же. ЖС требовал бы три платы, Java и C++ - две,И всем хорош очередной анализ с высоты дивана, но Festival и DeepSpeech (т.е. то, что выполняет основную работу) на плюсах, а питон там только обвязка.
> а няшный костилик из 70ых, с кучей подпорочек - половину.
>
> И всем хорош очередной анализ с высоты дивана, но Festival и DeepSpeech (т.е. то, что выполняет основную работу) на плюсах, а питон там только обвязка.Ты забыл упомянуть тот неудобный факт, что у Node.JS, как и у Java, основная работа делается на плюсах. И вот уже после выноса всей низкоуровнево-тяжелой логики на плюсы и имеем, что питон - самый тормозящий. Единственный интерпретируемый, как-никак. Единственный с GIL. Единственный без нормального сборщика мусора и GIT.
>> И всем хорош очередной анализ с высоты дивана, но Festival и DeepSpeech (т.е. то, что выполняет основную работу) на плюсах, а питон там только обвязка.
> Ты забыл упомянуть тот неудобный факт, что у Node.JS, как и у Java, основная работа делается на плюсах. И вот уже после выноса всей низкоуровнево-тяжелой логики на плюсы и имеем,Ты забыл упомянуть тот неудобный факт, что у питона основная работа делается на сишечке. Но это не значит, что у питоноскриптов "логика выносится на сишечку", как и "JS не тормозит, потому что V8 на С++!!"
> Единственный интерпретируемый
> NodeJS/0
> Единственный без нормального сборщика мусораТо ли дело "stop the world" с перелопачиванием данных и апдейтом всех внутренних указателей после копирования обьектов, ага.
> и GIT.
Может быть JIT, который жрет память, проц и сильно ограничен по времени, что сказывается на качестве оптимизации?
Ну и да:
> питон … Единственный без … GIT.https://pypy.org/
> Just-in-Time compiler/0
По русский понимает?
NYET
До тех пор, пока в русском языке фразы
"Ему же надо было" и
"Ему жена добыла"
будут звучать неотличимо, никаких голосовых управлялок интересных не появится
А какая команда должна запуститься при фразе "йе-му-же-на-да-бы-ла"?
Ага, точно, омофоны же только в русском языке есть, такой вот он уникальный (на самом деле нет).
В английском такой фигни едва ли меньше, там контекст надо понимать/угадывать
Больше. Connected speech называется.
The time flies like arrow.
The spirit is strong but the flesh is weak.
Это только из классики шестидесятых, что ли, по машинному переводу (если вдруг кому интересно, должно сгодиться как ключевые фразы -- возможно, придётся добавить "мухи" или "водка").
Если ты научишь его, будет понимать.
там же сказано- диалоговая база фильмов используеся...Какой там русский язык-то...
Эй драфая,зганяй в сельмах палитру вазьми, а.
>CAD-файлы для 3D-печати шлема доступны под свободной лицензией MITИ отмоделены во Fusion360,гагага.
круто, впечатляет, ребята гении))
надо только няшечку в качестве полупрозрачного силуэта на экран поставить, (или кому что нравиться)
Был раньше Simon какой-то, совершенно неюзабельный. За 10 лет так ничего и не смогли сделать. А грозились что будет в каждом дистрибутиве и круче Siri.
Блин, хоть бы видео с демонстрацией выложили, как оно работает?
В README проекта на гитхабе есть ссылки на видео, мой анонимный брат.
Спасибо, заценим!
Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное снаряжение они тоже будут на основе малинки клепать?
> Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное
> снаряжение они тоже будут на основе малинки клепать?А ты действительно хочешь поговорить со своими мотоботинками?
> А ты действительно хочешь поговорить со своими мотоботинками?Можно же попытаться разговорить чужие..
"окей, бот, где вторая нога этого хруста?"
>> А ты действительно хочешь поговорить со своими мотоботинками?
> Можно же попытаться разговорить чужие..В пробке будет образована MESH сеть из ботинок байкеров и хакеры запустят на них майнинг биткоинов...
а еще ботинки могут договорится с бензобаком и уйти пить пиво, оставив мотоциклиста посреди дороги босым и несколько сбитым с толку...
>> Тут ещё вот что интересно.) Шлем лишь часть экипировки мотоциклиста. А остальное
>> снаряжение они тоже будут на основе малинки клепать?
> А ты действительно хочешь поговорить со своими мотоботинками?Надеюсь головы мотоциклистов в таких шлемах после аварии станет искать легче :)
И ускоряется это все исключительно проприетарной CUDA на проприетарной nvidia.
Верной дорогой идут товарищи!
А есть еще видеокарты, кроме нвидии?
4 разбери пи запихали в шлем? Эпичненько. Еще батарейки займут склько места, да и жарко будет внутри =)) Для защитного пеноплатса места не осталось поди.
> 4 разбери пи запихали в шлем? Эпичненько. Еще батарейки займут склько места,какие еще тебе батарейки? Питаться будет от генератора мотоцикла.
В крайнем случае - поставим небольшой буфер, и будем на дороге заряжаться беспроводной зарядкой от того же генератора. Что, излучение? Да выдумки это все. Но съемные заглушки для отрастающих рогов надо, конечно, добавить в проект.
а антенну для беспроводной зарядки вкорячить в седло, нехай там заряжает
А как Сири работает в старом айфоне на 1 гб памяти без всяких КУДА и ГБУ и каши не просит?
очень просто – в тонко клиентном режиме.
Без интернетов она не сможет работать.
И без мистера майора на той стороне, которому на всякий призмируют голосишко.
элэс пробел минус эла
цэпэ пробел минус а котики пробел слеш медия слеш юзернейм слеш андроид интернелстораге имагес
>виртуального голосового помощника для Linuxно зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между стулом и монитором" не справляется?
> но зачем линуксу ещё один помощник? разве тот помощник, который "прослойка между
> стулом и монитором" не справляется?Это неприличный вопрос. Создатели сабжа смотрят на Вас с укоризной.
>разве тот помощник, который "прослойка между стулом и монитором" не справляется?Понятия не имею, как там у большинства линуксоидов, но моя секретарша с этой работой справляется отлично.
>>разве тот помощник, который "прослойка между стулом и монитором" не справляется?
> Понятия не имею, как там у большинства линуксоидов, но моя секретарша с этой работой справляется отлично.Правая или левая?
Как обычно, сделали сложно сказать что, зато опенсорс-хомячки будут кричать - "у нас и офисный пакет есть, и голосовой помощник". Кричать можно, главное, не говорить, что "не хуже, чем пропиетарные".А кому запись голоса летит, так это не вопрос, своим же, опенсорсникам летит. "Слушайте себя" на гитлабе через полгода!
вы прослушали дежурную запись эсэмэмщика на проценте от продаж без методички