Анонсирован (http://www.joaquimrocha.com/2012/03/21/announcing-skeltrack/) проект Skeltrack (https://github.com/joaquimrocha/Skeltrack), в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения скелета человека перед камерой с датчиком глубины. Библиотека позволяет в наборе изменяющихся изображений выделить и отследить перемещение контрольных точек, сопоставленных с конечностями и головой человека. Таким образом, появляется возможность распознания естественных движений и их использования в качестве управляющих жестов или для отождествления человека перед камерой с движениями персонажа игрового приложения.
Skeltrack использует набор математических алгоритмов (http://www.mpi-inf.mpg.de/~theobalt/2011_Baak_ICCV.pdf) и эвристических методов для реконструкции человеческого скелета, не требует проведения калибровки положения человека и не использует дополнительных баз данных с описанием возможных поз. В настоящее время библиотека поддерживает отслеживание только одного человека и может контролировать движение 7 контрольных точек (голова, плечи, локти, кисти рук). Оценить возможности Skeltrack можно на данной видеодемонстрации (https://vimeo.com/38875885).
<center><img src="https://www.opennet.ru/opennews/pics_base/0_1332531200.jpeg&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></center>
<center><img src="https://www.opennet.ru/opennews/pics_base/0_1332531220.jpeg&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></center>
Библиотека не зависит от типа устройств, но наиболее доступным в настоящее время устройством с датчиком глубины является Microsoft Kinect (http://en.wikipedia.org/wiki/Kinect), для которого Skeltrack может использоваться в сочетании с открытой библиотекой GFreenct (https://gitorious.org/gfreenect). GFreenct является GObject-обвязкой для открытой кроссплатформенной библиотеки libfreenect (https://github.com/OpenKinect/libfreenect), развиваемой сообществом OpenKinect (http://openkinect.org/wiki/Main_Page) и позволяющей организовать приём видеопотока с данными грубины от камеры Kinect.Код библиотеки Skeltrack распространяется под лицензией LGPLv3. Это первый открытый проект, решающий задачу отслеживания скелета для Kinect. До этого предлагалось использовать либо проприетарный пакет Microsoft Kinect SDK, либо полуоткрытый фреймворк OpenNI (https://www.opennet.ru/opennews/art.shtml?num=28976). Проблема OpenNI (http://www.openni.org/) состоит в том, что полностью открытым является (https://github.com/OpenNI/OpenNI) лишь базовый каркас фреймворка, в то время как все дополнительные компоненты, в которых непосредственно реализована необходимая функциональность, поставляются под лицензией не допускающей модификацию кода и его использование в сторонних продуктах.
URL: http://www.joaquimrocha.com/2012/03/21/announcing-skeltrack/
Новость: https://www.opennet.ru/opennews/art.shtml?num=33437
Вроде подобное уже это юзали в 1984, при съемках Терминотора 1.
Прогресс аднака.
к нему небось железа было с целую комнату?
> Прогресс аднака.Главное чтобы от этого прогресса потом не пришлось бы по катакомбам ныкаться :). А то с учетом беспринципности корпорасов - они наверняка забудут обучить всех этих красавцев принципам человечности (они и сами то ими не владеют). А стайка акул... ну ты же понимаешь что машина может прицелиться лучше и выстрелить быстрее, правда? :)
>прицелиться лучше и выстрелить быстрееЕсли бы это было определяющими факторами, хорошие стрелки правили бы миром.
Ну и кроме того: "Что один человек сделал - другой завсегда разломать сможет." (с)
> Если бы это было определяющими факторами, хорошие стрелки правили бы миром.У машин есть и много других любопытных свойств которыми люди не снабжены. Когда они станут совсем умными, настолько что станет возможным говорить о настоящем разуме, человекам может прийтись очень плохо, если они прощелкают клювами. А вот это мы очень даже можем...
Став совсем умными, машины смогут обходиться без людей, и не станут тратить драгоценную энергию на истребление каких-то там козявок, копошащихся в земле.
Э, как вас попёрло!!!
Пока стойко наблюдается тенденция - Всё что делается руками человека, делается для того чтоб бесконечно ремонтироваться.
У природы, по всей видимости, было побольше времени что б обкатать до совершенства все "устройства" и "механизмы" которые сейчас прекрасно функционируют, а некоторые ещё и сами какуюто хрень пытаются сделать.
И наверное самое главное - Эволюция не базировалась на экономической выгодности.
Если так - то поводов для беспокойства нет и не будет.
Видимо Вы чего-то не договариваете, потому как мало кто тут понял что-то из Ваших слов.
> Вроде подобное уже это юзалиВроде бы нет.
Тут отслеживание при помощи камеры. Раньше использовали датчики.
Открывается большое раздолье для всяких онлайн ходилок/бродилок/общалок.
Только представьте - копируются движения рук, головы, мимика.
Голос и так можно передать.
Думаю, для имитации человека достаточно движений верхней части тела - руки, голова, торс.
Для ног можно оставить WASD, пробел/shift/Ctrl)
Было бы прикольно поиграть в mmorpg, где для ударов и магии нужно двигать руками.
Так же, открываются просторы для удаленной работы или учебы.
В виртуальном кабинете сидят виртуальные люди и машут руками)
Ещё одно применение - управление компом с помощью рук, как в фильме "особое мнение".
Главное, чтобы жесты руками не обложили патентами)
ну да. Руками размахивать, пальцами ног нажимать пробелы, контролы..
Дык уже... обложили, в смысле... Нокиа в в пояснительной записке технологии управления трубкой жестами (не касаясь экрана!) патентовала не ТЕХНОЛОГИЮ, а именно ЖЕСТЫ...
Это бред. В играх вас будут натягивать обладатели нормальных клавиатур (как сейчас натягивают играющих в fps на геймпадах), для телеприсутствия не нужно копировать движения головы и мимики, а просто передавать видео с вебкамеры. Для интерфейса это тоже тупиковый путь, что уже оказали трёхмерные мыши и прочие поделки. Итого применения - кустарный motion capture, возможно управление какими-то манипуляторами (но для начала придётся поднять разрешающую способность где-то на порядок) и недоигры aka "спортивные симуляторы" для толстых домохозяек, которых уже навалом на поделках типа wii.
>Это бред. В играх вас будут натягивать обладатели нормальных клавиатурА вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то. А части тел обладателей нормальных клавиатур будут торчать во все стороны.
> А вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то.То-то в xonotic все бойко прыгают и приседают и гранатами из-за углов кидаются. С клавиатуры, да :)
> А вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то.
> А части тел обладателей нормальных клавиатур будут торчать во все стороны.Пока обладатель кинекта будет двигать своей ожиревшей тушкой, обладатель нормальной клавиатуры высунется по клавише и снимет его в голову, успев тщательно прицелиться.
> Для ног можно оставить WASD, пробел/shift/Ctrl)А клавиатуру для ног придется оптимизировать наверное? А то если я руками размахиваю перед камерой то WASD нажимать ими же я, вероятно, не смогу :)
> Так же, открываются просторы для удаленной работы или учебы.
> В виртуальном кабинете сидят виртуальные люди и машут руками)Внимательно перебиравший разную удалёнку народ крепко и аргументированно плевался на такой способ как исключительно бестолковый: http://wiki.4intra.net/File:Efficent-elearning.mm
Бежал, бежал, бежал... устал - пошел, покурил. :).
это открывает большие возможности для занятий спортом в домашних условиях (в смысле, делает это занятие менее скучным)...что же касается управления компом а-ля "особое мнение", имхо - это сомнительно. движения надо наоборот сводить к минимуму (сравни мышь и трекбол), а не размахивать руками по любому поводу. к концу дня тааак намашешься... мама не горюй. ну и потом - усталость снижает реакцию.
управление жестами эргономически оправданно на устройствах с относительно (телефоны и небольшие планшеты) малой диагональю поверхности, а вот на 24-дюймовой панели монитора тач-скрин ну просто нелепо выглядит...
голосовое управление (а-ля сири) - это хорошо, но в людных местах (в офисе где полно таких же, отдающих команды голосом) быстро утомит...
Для спорта ключевым является мотивация. Напр. "хотите дожить до 80 лет?" или "хотите похудеть к лету?", или "хотите стать чемпионом города в поднятии гири?".В остальном соглашусь с оговоркой что пока эффективность работы существующих устройств оставляет желать лучшего: дли Сири требуется хорошая дикция и правильное произношение, для трёхмерного управления также требуется приличная точность и согласованность жестов с алгоритмом.
Появляются интересные игры - они уже есть на XBOX и Wii, напр. 3D-боулинг или теннис. Но это скорее показатели возможности платформы, чем игра, способная увлечь на пару месяцев.
То есть, если раньше для управления персом было достаточно движений мышкой в пределах сантиметра в любую сторону, то теперь надо стоять перед камерой и махать лапами.
Такую штуку хорошо встроить в манекен для единоборств, а в игрушках она нафиг не нужна.
Не мешайте юноше мечтать.
Такое ощущение, что тут большинство народа только и занимается качанием эльфов 80го уровня. Зарядку тут хоть кто-нибудь по утрам делает?
Как обычно - только сотовый ;)
Но ведь действительно, кроме динамичных игр, применения этой технологии в домашнем компьютере пока нет и не предвидится.
чтобы делать зарядку, вовсе не нужны такие штуки. хватит и 20-30 минут обруч потяжелее покрутить на поясе... и\или побегать...
ППКС, и ещё добавлю, что собственное тело - это спортинвентарь, который всегда с тобой.
1) скучно
2) если задумываешься и как-то не так выполняешь движения - запросто можно не заметить. Как итог - КПД хорошо упадёт.
Если делать зарядку постоянно, а не раз в полгода - все движения будут доведены до автоматизма. И никакие мысли не собьют алгоритм. ))
А учиться правильно делать как? В том числе и менять набор упражнений или увеличивать нагрузки? Сейчас домашняие занятия физкультурой с необходимостью ограничены теми простейшими упроажнениями, которые может проконтролировать сам занимающийся. Сделать роботренера - по-моему совершенно напрашивающийся шаг. Тем более что его можно совместить с экспертной системой, которая и набор упражнений поможет подобрать, добавить отслеживание динамики изменений, избавить человека от необходимости считать подходы и вообще помнить что там следующее, и музыку из базы в нужном ритме можно автоматом подбирать...
Именно.
Собственно, для шайтан-коробки в ее киннектом "игры" для занятия аэробикой уже существуют.
Вы путаете зарядку и тренировки. Зарядка не предполагает увеличение нагрузки или достижения некоторых показателей к некоторому сроку. И тренер для зарядки поэтому не особенно нужен, и рассчёт подходов (подъём штанги или 3*30 отжимания на зарядке?)
> избавить человека от необходимости считать подходы и вообще помнить что там следующееИнтересно, многие ли из радующихся такому ещё способны самостоятельно ориентироваться в городе и тем более на открытой местности...
> Зарядку тут хоть кто-нибудь по утрам делает?Ну делают, допустим. И нафига компьютеру это распознавать? Такое как раз надо эльфам 80 уровня :)
Из набора "камера + софтина / браслет, отслеживающий пульс" - получится отличный индивидуальный спортивный тренажер с кучей толковых функций - от отслеживания количества движений/подходов и остановки если упражняющийся сильно устал до выставления правильных движений - хоть в зарядке, хоть в ката каких-нибудь.
Оно ж уже давно есть в xbox kinect? правда проприетарное и таки по 3D
по 3D на самом деле проще, тут придется заморачиваться со светлым фоном и т.п.
Так "это" уже сейчас можно поставить и пощупать? Простая вебкамера сойдет?
Хотелось бы услышать мнения того кто уже поюзал.
Кстати, судя по скриншотам алгоритм прилично лажает:
1. правая (для чудика) рука и плечи не составляют прямой линии, а угол между левой и плечом более острый
2. правая рука не согнута в локте, плечи параллельны полу
собрал, запустил с ms kinect. Работает, но как-то кривовато ... движения распознает нечетко, руки на экране дрожат, хотя реально не дрожат (вроде не пил :)
Думаю еще несколько итераций надо подождать, до приемлимого уровня.
Ну прямо как дети (с)...
Это же дистанционный бертильонаж.
> первый открытый проект для отслеживания перемещения скелета человека перед камеройНазвание новости доставляет. Считаю, что за сам факт запечатления на камеру перемещения скелета человека, нужно нобелевку давать по оккультным наукам
> Считаю, что за сам факт запечатления на камеру перемещения
> скелета человека, нужно нобелевку давать по оккультным наукамРисованый кот Леопольд с мышицами на полнобелевки сгодится? :)
