Представлен (https://tryolabs.com/blog/2018/04/17/announcing-luminoth-0-1/) выпуск тулкита Luminoth 0.1 (https://luminoth.ai/), предоставляющего инструменты для использования методов компьютерного зрения. В настоящее время функциональность Luminoth ограничена поддержкой распознавания и классификации объектов на изображениях и видео, но в будущем ожидается добавление новых методов обработки и анализа. Код проекта написан на языке Python и распространяется (https://github.com/tryolabs/luminoth) под лицензией BSD.
Для организации работы нейронных сетей с реализациями алгоритмов выделения объектов в Luminoth используется платформа машинного обучения TensorFlow (https://www.tensorflow.org/) и библиотека построения сложных нейронных сетей Sonnet (https://github.com/deepmind/sonnet) (работает поверх TensorFlow). Для ускорения работы нейронной сети возможно привлечение GPU или Google Cloud ML Engine. Предоставляются две модели определения объектов - Faster R-CNN (https://arxiv.org/abs/1506.01497) и SSD (https://arxiv.org/abs/1512.02325) (Single Shot Multibox Detector).
Модель Faster R-CNN обеспечивает более точные результаты, но SSD работает значительно быстрее и может использоваться для определения объектов в режиме реального времени, например, для анализа видео (при использовании GPU в SSD обеспечивается скорость анализа до 60 кадров в секунду, в то время как Faster R-CNN может обработать лишь 2-5 кадров в секунду). Luminoth предоставляет готовые слепки данных моделей, уже натренированные с использованием наборов данных COCO (http://cocodataset.org/#download) и Pascal VOC (http://host.robots.ox.ac.uk:8080/pascal/VOC/voc2012/index.html). Для дополнительного обучения поддерживается формат наборов ImageNet (http://image-net.org/download). В ближайшее время ожидается интеграция поддержки моделей RetinaNet (https://arxiv.org/abs/1708.02002) и Mask R-CNN (https://arxiv.org/abs/1703.06870).
Для пользователей и разработчиков предоставляется (http://luminoth.readthedocs.io/en/latest/) простой интерфейс командной строки и Python API, позволяющие подключить готовые модели, при необходимости провести тренировку определения новых объектов и выполнить анализ наличия объектов (например, можно обучить систему по картинкам с динозаврами, после чего система будет сама определять есть ли на изображении динозавр, выдавать координаты выявленных объектов и при необходимости визуализировать результат).$ lumi predict image.png
Found 1 files to predict.
Neither checkpoint not config specified, assuming `accurate`.
Predicting image.jpg... done.
{
"file": "image.jpg",
"objects": [
{"bbox": [294, 231, 468, 536], "label": "person", "prob": 0.9997},
{"bbox": [494, 289, 578, 439], "label": "person", "prob": 0.9971},
{"bbox": [727, 303, 800, 465], "label": "person", "prob": 0.997},
{"bbox": [555, 315, 652, 560], "label": "person", "prob": 0.9965},
{"bbox": [569, 425, 636, 600], "label": "bicycle", "prob": 0.9934},
{"bbox": [326, 410, 426, 582], "label": "bicycle", "prob": 0.9933},
{"bbox": [744, 380, 784, 482], "label": "bicycle", "prob": 0.9334},
{"bbox": [506, 360, 565, 480], "label": "bicycle", "prob": 0.8724}]
}
URL: https://tryolabs.com/blog/2018/04/17/announcing-luminoth-0-1/
Новость: https://www.opennet.ru/opennews/art.shtml?num=48478
Мне всегда казалось, что в виде опен сорса такого быть не может. Чисто физически не может: что проприетарщики, создавая такую сложную вещь, чуть ли не машинным кодом пишут
>Мне всегда казалось, что в виде опен сорса такого быть не может. Чисто физически не можетВсё правилньо, не может. То, о чём написано в новости, по факту сможет максимум сказать, что "вот это вытянутое и с шаром на голове - наверно, человек. Вот это длинное, вытянутое и невысокое - наверно, машина.
А вы чего ждали от программистов за спасибо?
> вот это вытянутое и с шаром на голове - наверно, человек. Вот это длинное, вытянутое и невысокое - наверно, машинаУ проприетарных с этим дело лучше? Не у тех, которые на пентагон и НАСА работают, а которые ширпотреб?
>У проприетарных с этим дело лучше? Не у тех, которые на пентагон и НАСА работают, а которые ширпотреб?Вот видите, вы сами ответили на свой вопрос - да, лучше, как минимум у Пентагона и НАСА. Есть ещё несколько конторок помельче, у которых с этим хорошо (в видеоиграх, например).
> Вот видите, вы сами ответили на свой вопрос - да, лучше, как
> минимум у Пентагона и НАСА. Есть ещё несколько конторок помельче, у
> которых с этим хорошо (в видеоиграх, например).У пентагона и наса и задачи наверное немного другие, а не разрабатывать тулкит для комп.зрения общего назначения.
А что вы имеете ввиду про видеоигры? Ничего что превосходило тензорфлоу и opencv я не припомню.
>А что вы имеете ввиду про видеоигры?Скажем, Misrosoft и их xBox и поддержкой игр, использующих камеры. Просто видеоигры, где, например, можно создать персонажа с твоим 3D-лицом, скормив игре своё фото.
>>У проприетарных с этим дело лучше? Не у тех, которые на пентагон и НАСА работают, а которые ширпотреб?Но ведь наса делает опенсорц.
Был в сентябре 2017 на одной конференции. Там товарищ из Днепровского офиса Самсунга докладывал об их разработках. Так вот они не только находят людей на изображении но и определяют кто чем занят по положению частей тела относительно туловища и земли, при чем в реальном времени.
Наоборот.
1)Сложные вещи лучше пилить всем миром, чем одной компанией.
2)Если проект настолько сложный, что посторонний в нем не разребертся, то что-то пошло не так. Открытость заставляет писать как можно понятнее, что плюс для сложного проекта.+легче найти человека с использованием проекта
3)Есть много опенсурса в тн "Машинных кодах" а-ля прошивки и схемы микропроцессоров,драйвера, ассемблерные проекты.
>Для ускорения работы
>Код проекта написан на языке PythonСмешно поделили на ноль.
Не поделили. Какая разница кто загрузит данные в видяху и запустит код либы на плюсах и куде?
Как видите по второй фотке, зрение у нас не особо получилось — оно не опознало людей, потому забирайте этот негодный тулкит.
А вы генератор фоторобота прикрутите, глядишь и опознает и показания напишет.
Ваще-то на второй фотке Люминот выделил людей и велики отдельно. Поэтому забирайте свой негодный коммент взад.
Такому компьютерному зрению уже сейчас срочно нужны компьютерные офтальмологи.
Много хайпа из ничего. По факту у кого больше набор данных для сбора статистической модели -- тот и распознаёт.
Датасеты COCO и Pascal VOC в открытом доступе - бери и учи.
> может использоваться для определения объектов в режиме реального времениНу чо, малогабаритный турбореактивный двигатель из автомобильного турбонагнетателя у нас, можно считать, есть, ПО для распознавания объектов в режиме реального времени тоже есть - кажется, наша amateur cruise missile может начать обрастать железом...
Надо прикрутить эту штуку к моей камере. Только стоит обучить распознавать цыган, свидетелей иеговы, продавцов и т.д. Чтоб если распознал цыгана - дверной звонок не срабатывал.
Хочу прогу, чтобы блокировала клавиатуру, если веб-камера заметила кота! (c) iBash
Она при этом будет сливать видео с камеры ноута в облако в реальном времени....
камооон, ребята эти просто обернули в пакет то, что уже давным давно есть в опен сорсе в репозитории у tensorflow:
https://github.com/tensorflow/models/tree/master/research/ob...
это уже года 2 в паблике
Вот и молодцы, что обернули. Глядишь, побольше народу заметит и будет использовать