https://opennet.ru/openforum/vsluhforumID3/115690.html Facebook опубликовал (https://code.fb.com/ml-applications/qnnpack/) новую библиотеку QNNPACK (https://github.com/pytorch/QNNPACK) (Quantized Neural Network PACKage), предоставляющую набор оптимизированных для выполнении на мобильных устройствах операторов, которые можно использовать для ускорения различных реализаций нейронных сетей. В частности QNNPACK предоставляет операторы для построения свёрточных, развёртывающих и полностью рекуррентных нейронных сетей, манипулирующие квантованными 8-битными тензорами (https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BD%D0%B7%D0%BE%D1%80). Библиотека написана на языке Си с ассемблерными вставками, использующими SIMD-инструкции NEON и SSE2 для распараллеливания обработки данных. Код распространяется (https://github.com/pytorch/QNNPACK) под лицензией BSD.<br><br><br><br>Предоставляемые библиотекой QNNPACK примитивы могут использоваться для замены типовых реализаций операторов нейронных сетей в высокоуровневых фреймворках машинного обучения. В настоящее время QNNPACK можно использов https://opennet.ru/openforum/vsluhforumID3/115690.html#60 Mon, 12 Nov 2018 08:32:48 GMT &gt;&gt; Это полезно исключительно для ботнетов.<br>&gt; Там вон на гитхабе интересный прототип ботнета лежит - включается в бортовую <br>&gt; сеть авто по CAN, берет анализ ситуации на себя и - <br>&gt; управляет ускорением, держит авто в своем lane (drive assist), а вообще <br>&gt; - стремиться стать полноценным автопилотом. Ему такое явно пригодится: если камерами <br>&gt; обвесить, сможет в классификацию объектов и анализ ситуаций.<br><br>Это в любом случае предполагает наличие вычислительных ресурсов как минимум сравнимых с современным настольным компьютером. И уж по любому не 8-битных... <br><br>&gt; На этой планете много применений которые бы хотели стать мобильными. <br><br>Но не на данном этапе... <br><br>&gt; И единственная <br>&gt; причина по которой это не произошло - железо нужной мощности пока <br>&gt; слишком большое и прожорливое. Но вот это - очень временно.<br><br>Вот именно. А когда дело дойдёт до практической реализации, то в ход <br>пойдут вот такие технологии: https://wavecomp.ai/<br>Процессоры со встроенным сопроцессором для ml-вычислений. <br><br>&gt; Обученная ней https://opennet.ru/openforum/vsluhforumID3/115690.html#59 Fri, 02 Nov 2018 13:16:08 GMT &gt; это же бит Шрёдингера!<br><br>он же - кубит, два разных понятия<br><br> https://opennet.ru/openforum/vsluhforumID3/115690.html#58 Thu, 01 Nov 2018 21:43:38 GMT &gt; Это полезно исключительно для ботнетов.<br><br>Там вон на гитхабе интересный прототип ботнета лежит - включается в бортовую сеть авто по CAN, берет анализ ситуации на себя и - управляет ускорением, держит авто в своем lane (drive assist), а вообще - стремиться стать полноценным автопилотом. Ему такое явно пригодится: если камерами обвесить, сможет в классификацию объектов и анализ ситуаций.<br><br>Представляю себе мир через 15-20 лет. По 6 полосам пилят сплошные роботы. Редкие напуганные джамшуты которым не хватило денег на хайтек - испуганно ныкаются от роботов и камер, пытаясь держать дистанцию не сильно хуже. Про лихачество забыто, потому что камеры и радары есть у всех - от sututation awareness диспетчерского центра до автопилотов. Скорость выбирается swarm intelligence пополам с данными диспетчеров, так что пробок нет как класса, поток пилит с той скоростью которой на этом участке можно пилить. А люди... люди в основном на заднем сидении. А возможно и руля нет. Задал адрес, закинул денег - и поехли.<br><br>&gt; Никто https://opennet.ru/openforum/vsluhforumID3/115690.html#57 Thu, 01 Nov 2018 21:29:41 GMT &gt; Да, выпендрежники те еще. "Квантованный", "тезорный". Опт вашу мать, это просто массив <br>&gt; байт. Софистика снова в моде!<br><br>От тензоров, векторов и проч - ожидаются несколько иные свойства чем от произвольного массива байтов. Так то вообще вся память компьютера - массив байтов. Но есть нюансы.<br> https://opennet.ru/openforum/vsluhforumID3/115690.html#56 Thu, 01 Nov 2018 18:24:36 GMT это же бит Шрёдингера!<br> https://opennet.ru/openforum/vsluhforumID3/115690.html#55 Thu, 01 Nov 2018 11:32:22 GMT &gt;&gt; Как в слове ML можно сделать две ошибки? :) <br>&gt; Сейчас под ML обычно понимают Machine Learning, если уж мы об этом... ;) <br><br>Не думаю, что Милнер выразит протест по этому поводу.<br> https://opennet.ru/openforum/vsluhforumID3/115690.html#54 Thu, 01 Nov 2018 08:36:07 GMT Это полезно исключительно для ботнетов. Никто иной в здравом уме учить нейронную сеть на мобильных устройствах не будет. В мобильных устройствах обычно используются уже обученные сети, для работы которых тензорные операторы не нужны... <br>Ну, теоретически кто-то может построить приложение, которое обучается/дообучается на мобильном клиенте. Но тяжеловесные тензорные операции для этого оверкилл. <br>Обычно дообучают более простыми алгоритмами... <br> https://opennet.ru/openforum/vsluhforumID3/115690.html#53 Wed, 31 Oct 2018 20:07:25 GMT &gt; Очевидно, асм вставки необходимы для использования SSE2. Либо интринсики, что аналогичны по сути.<br><br>Да вообще SIMD как такового. И вообще - в узких местах компилер все же может протупить и выдать черти-какой код. Если этот код заменить на аккуратную мелкую асмовую вставку, все может разогнаться в несколько раз малой кровью. Это почему-то всем очень нравится.<br> https://opennet.ru/openforum/vsluhforumID3/115690.html#52 Wed, 31 Oct 2018 20:05:05 GMT &gt; Но вот про "надёжно" спорно. Ошибки работы с памятью - это ненадёжно. <br><br>Если програмер раздолбай - как максимум изменится характер ошибок. При том именно ошибки работы с памятью довольно тривиально ловятся, статическим анализом и рантайм инструментами типа asan и valgrind. А когда это реально критично - есть наборы правил типа MISRA C позволяющие делать очень надежный софт для систем критичных к отказам.<br><br>Поэтому на сишке держатся управляющие системы, транспорт, промышленность и проч. А то что вы сможете все это лучше - на честное слово вам никто не поверит, увы.<br>