The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Skeltrack - первый открытый проект для отслеживания перемещения скелета человека перед камерой

23.03.2012 23:02

Анонсирован проект Skeltrack, в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения скелета человека перед камерой с датчиком глубины. Библиотека позволяет в наборе изменяющихся изображений выделить и отследить перемещение контрольных точек, сопоставленных с конечностями и головой человека. Таким образом, появляется возможность распознания естественных движений и их использования в качестве управляющих жестов или для отождествления человека перед камерой с движениями персонажа игрового приложения.

Skeltrack использует набор математических алгоритмов и эвристических методов для реконструкции человеческого скелета, не требует проведения калибровки положения человека и не использует дополнительных баз данных с описанием возможных поз. В настоящее время библиотека поддерживает отслеживание только одного человека и может контролировать движение 7 контрольных точек (голова, плечи, локти, кисти рук). Оценить возможности Skeltrack можно на данной видеодемонстрации.

Библиотека не зависит от типа устройств, но наиболее доступным в настоящее время устройством с датчиком глубины является Microsoft Kinect, для которого Skeltrack может использоваться в сочетании с открытой библиотекой GFreenct. GFreenct является GObject-обвязкой для открытой кроссплатформенной библиотеки libfreenect, развиваемой сообществом OpenKinect и позволяющей организовать приём видеопотока с данными глубины от камеры Kinect.

Код библиотеки Skeltrack распространяется под лицензией LGPLv3. Это первый открытый проект, решающий задачу отслеживания скелета для Kinect. До этого предлагалось использовать либо проприетарный пакет Microsoft Kinect SDK, либо полуоткрытый фреймворк OpenNI. Проблема OpenNI состоит в том, что полностью открытым является лишь базовый каркас фреймворка, в то время как все дополнительные компоненты, в которых непосредственно реализована необходимая функциональность, поставляются под лицензией не допускающей модификацию кода и его использование в сторонних продуктах.

  1. Главная ссылка к новости (http://www.joaquimrocha.com/20...)
  2. OpenNews: Универсальный открытый фреймворк для устройств естественного взаимодействия, таких как MS Kinect
  3. OpenNews: Учреждены новые награды за развитие поддержки MS Kinect в открытых ОС
  4. OpenNews: Для Microsoft Kinect представлен открытый драйвер
  5. OpenNews: За создание первого открытого драйвера к Microsoft Kinect объявлена награда в 3000$
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: kinect, motion, skeltrack, image
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (45) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 00:26, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вроде подобное уже это юзали в 1984, при съемках Терминотора 1.
    Прогресс аднака.
     
     
  • 2.2, анон (?), 02:09, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +6 +/
    к нему небось железа было с целую комнату?


     
  • 2.3, Аноним (-), 03:25, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Прогресс аднака.

    Главное чтобы от этого прогресса потом не пришлось бы по катакомбам ныкаться :). А то с учетом беспринципности корпорасов - они наверняка забудут обучить всех этих красавцев принципам человечности (они и сами то ими не владеют). А стайка акул... ну ты же понимаешь что машина может прицелиться лучше и выстрелить быстрее, правда? :)

     
     
  • 3.29, umbr (ok), 22:07, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >прицелиться лучше и выстрелить быстрее

    Если бы это было определяющими факторами, хорошие стрелки правили бы миром.
    Ну и кроме того: "Что один человек сделал - другой завсегда разломать сможет." (с)

     
     
  • 4.39, Аноним (-), 03:29, 26/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Если бы это было определяющими факторами, хорошие стрелки правили бы миром.

    У машин есть и много других любопытных свойств которыми люди не снабжены. Когда они станут совсем умными, настолько что станет возможным говорить о настоящем разуме, человекам может прийтись очень плохо, если они прощелкают клювами. А вот это мы очень даже можем...

     
     
  • 5.43, umbr (ok), 11:00, 26/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Став совсем умными, машины смогут обходиться без людей, и не станут тратить драгоценную энергию на истребление каких-то там козявок, копошащихся в земле.
     
     
  • 6.44, GoSha (?), 10:23, 27/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Э, как вас попёрло!!!
    Пока стойко наблюдается тенденция - Всё что делается руками человека, делается для того чтоб бесконечно ремонтироваться.
    У природы, по всей видимости, было побольше времени что б обкатать до совершенства все "устройства" и "механизмы" которые сейчас прекрасно функционируют, а некоторые ещё и сами какуюто хрень пытаются сделать.
    И наверное самое главное - Эволюция не базировалась на экономической выгодности.
     
     
  • 7.45, umbr (ok), 10:55, 27/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Если так - то поводов для беспокойства нет и не будет.
     
  • 3.30, jt3k (ok), 22:24, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Видимо Вы чего-то не договариваете, потому как мало кто тут понял что-то из Ваших слов.
     
  • 2.16, Аноним (-), 12:54, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Вроде подобное уже это юзали

    Вроде бы нет.

     
  • 2.35, anonim (?), 09:54, 25/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Тут отслеживание при помощи камеры. Раньше использовали датчики.
     

  • 1.4, XoRe (ok), 03:49, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Открывается большое раздолье для всяких онлайн ходилок/бродилок/общалок.
    Только представьте - копируются движения рук, головы, мимика.
    Голос и так можно передать.
    Думаю, для имитации человека достаточно движений верхней части тела  - руки, голова, торс.
    Для ног можно оставить WASD, пробел/shift/Ctrl)
    Было бы прикольно поиграть в mmorpg, где для ударов и магии нужно двигать руками.
    Так же, открываются просторы для удаленной работы или учебы.
    В виртуальном кабинете сидят виртуальные люди и машут руками)
    Ещё одно применение - управление компом с помощью рук, как в фильме "особое мнение".
    Главное, чтобы жесты руками не обложили патентами)
     
     
  • 2.6, kombat (ok), 07:13, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +7 +/
    ну да. Руками размахивать, пальцами ног нажимать пробелы, контролы..
     
  • 2.7, Андрей (??), 08:49, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Дык уже... обложили, в смысле... Нокиа в в пояснительной записке технологии управления трубкой жестами (не касаясь экрана!) патентовала не ТЕХНОЛОГИЮ, а именно ЖЕСТЫ...
     
  • 2.12, Аноним (-), 10:13, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это бред. В играх вас будут натягивать обладатели нормальных клавиатур (как сейчас натягивают играющих в fps на геймпадах), для телеприсутствия не нужно копировать движения головы и мимики, а просто передавать видео с вебкамеры. Для интерфейса это тоже тупиковый путь, что уже оказали трёхмерные мыши и прочие поделки. Итого применения - кустарный motion capture, возможно управление какими-то манипуляторами (но для начала придётся поднять разрешающую способность где-то на порядок) и недоигры aka "спортивные симуляторы" для толстых домохозяек, которых уже навалом на поделках типа wii.
     
     
  • 3.15, Аноним (-), 12:34, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Это бред. В играх вас будут натягивать обладатели нормальных клавиатур

    А вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то. А части тел обладателей нормальных клавиатур будут торчать во все стороны.

     
     
  • 4.23, Аноним (-), 15:29, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > А вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то.

    То-то в xonotic все бойко прыгают и приседают и гранатами из-за углов кидаются. С клавиатуры, да :)

     
  • 4.34, Аноним (-), 07:37, 25/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А вот и нет. Можно пригнуться, выглянуть из-за угла или ещё что-то.
    > А части тел обладателей нормальных клавиатур будут торчать во все стороны.

    Пока обладатель кинекта будет двигать своей ожиревшей тушкой, обладатель нормальной клавиатуры высунется по клавише и снимет его в голову, успев тщательно прицелиться.

     
  • 2.22, Аноним (-), 15:28, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Для ног можно оставить WASD, пробел/shift/Ctrl)

    А клавиатуру для ног придется оптимизировать наверное? А то если я руками размахиваю перед камерой то WASD нажимать ими же я, вероятно, не смогу :)

     
  • 2.49, Michael Shigorin (ok), 03:36, 30/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Так же, открываются просторы для удаленной работы или учебы.
    > В виртуальном кабинете сидят виртуальные люди и машут руками)

    Внимательно перебиравший разную удалёнку народ крепко и аргументированно плевался на такой способ как исключительно бестолковый: http://wiki.4intra.net/File:Efficent-elearning.mm

     

  • 1.5, Константин Кравченко (?), 04:12, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Бежал, бежал, бежал... устал - пошел, покурил. :).
     
  • 1.8, Аноним (-), 09:16, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    это открывает большие возможности для занятий спортом в домашних условиях (в смысле, делает это занятие менее скучным)...

    что же касается управления компом а-ля "особое мнение", имхо - это сомнительно. движения надо наоборот сводить к минимуму (сравни мышь и трекбол), а не размахивать руками по любому поводу. к концу дня тааак намашешься... мама не горюй. ну и потом - усталость снижает реакцию.

    управление жестами эргономически оправданно на устройствах с относительно (телефоны и небольшие планшеты) малой диагональю поверхности, а вот на 24-дюймовой панели монитора тач-скрин ну просто нелепо выглядит...

    голосовое управление (а-ля сири) - это хорошо, но в людных местах (в офисе где полно таких же, отдающих команды голосом) быстро утомит...

     
     
  • 2.40, Ваня (??), 10:43, 26/03/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Для спорта ключевым является мотивация. Напр. "хотите дожить до 80 лет?" или "хотите похудеть к лету?", или "хотите стать чемпионом города в поднятии гири?".

    В остальном соглашусь с оговоркой что пока эффективность работы существующих устройств оставляет желать лучшего: дли Сири требуется хорошая дикция и правильное произношение, для трёхмерного управления также требуется приличная точность и согласованность жестов с алгоритмом.

    Появляются интересные игры - они уже есть на XBOX и Wii, напр. 3D-боулинг или теннис. Но это скорее показатели возможности платформы, чем игра, способная увлечь на пару месяцев.

     

  • 1.11, YetAnotherOnanym (?), 10:13, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    То есть, если раньше для управления персом было достаточно движений мышкой в пределах сантиметра в любую сторону, то теперь надо стоять перед камерой и махать лапами.
    Такую штуку хорошо встроить в манекен для единоборств, а в игрушках она нафиг не нужна.
     
     
  • 2.13, Аноним (-), 10:14, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Не мешайте юноше мечтать.
     
  • 2.18, Ананимуз (?), 13:27, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Такое ощущение, что тут большинство народа только и занимается качанием эльфов 80го уровня. Зарядку тут хоть кто-нибудь по утрам делает?
     
     
  • 3.19, тоже Аноним (ok), 13:39, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Как обычно - только сотовый ;)
    Но ведь действительно, кроме динамичных игр, применения этой технологии в домашнем компьютере пока нет и не предвидится.
     
  • 3.21, аноним к. (?), 13:46, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    чтобы делать зарядку, вовсе не нужны такие штуки. хватит и 20-30 минут обруч потяжелее покрутить на поясе... и\или побегать...
     
     
  • 4.26, YetAnotherOnanym (?), 16:00, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ППКС, и ещё добавлю, что собственное тело - это спортинвентарь, который всегда с тобой.
     
     
  • 5.27, Crazy Alex (ok), 19:04, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    1) скучно
    2) если задумываешься и как-то не так выполняешь движения - запросто можно не заметить. Как итог - КПД хорошо упадёт.
     
     
  • 6.32, Sluggard (ok), 01:45, 25/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если делать зарядку постоянно, а не раз в полгода - все движения будут доведены до автоматизма. И никакие мысли не собьют алгоритм. ))
     
     
  • 7.33, Crazy Alex (ok), 05:39, 25/03/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А учиться правильно делать как? В том числе и менять набор упражнений или увеличивать нагрузки? Сейчас домашняие занятия физкультурой с необходимостью ограничены теми простейшими упроажнениями, которые может проконтролировать сам занимающийся. Сделать роботренера - по-моему совершенно напрашивающийся шаг. Тем более что его можно совместить с экспертной системой, которая и набор упражнений поможет подобрать, добавить отслеживание динамики изменений, избавить человека от необходимости считать подходы и вообще помнить что там следующее, и музыку из базы в нужном ритме можно автоматом подбирать...
     
     
  • 8.38, Ананимуз (?), 15:50, 25/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Именно Собственно, для шайтан-коробки в ее киннектом игры для занятия аэробик... текст свёрнут, показать
     
  • 8.41, Ваня (??), 10:45, 26/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Вы путаете зарядку и тренировки Зарядка не предполагает увеличение нагрузки или... текст свёрнут, показать
     
  • 8.50, Michael Shigorin (ok), 03:39, 30/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Интересно, многие ли из радующихся такому ещё способны самостоятельно ориентиров... текст свёрнут, показать
     
  • 3.24, Аноним (-), 15:30, 24/03/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Зарядку тут хоть кто-нибудь по утрам делает?

    Ну делают, допустим. И нафига компьютеру это распознавать? Такое как раз надо эльфам 80 уровня :)

     

  • 1.28, Crazy Alex (ok), 19:09, 24/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Из набора "камера + софтина / браслет, отслеживающий пульс" - получится отличный индивидуальный спортивный тренажер с кучей толковых функций - от отслеживания количества движений/подходов и остановки если упражняющийся сильно устал до выставления правильных движений - хоть в зарядке, хоть в ката каких-нибудь.
     
  • 1.31, anonymous (??), 00:51, 25/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оно ж уже давно есть в xbox kinect? правда проприетарное и таки по 3D
    по 3D на самом деле проще, тут придется заморачиваться со светлым фоном и т.п.
     
  • 1.36, Ононо (?), 11:28, 25/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Так "это" уже сейчас можно поставить и пощупать? Простая вебкамера сойдет?
     
  • 1.37, Ононо (?), 11:40, 25/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хотелось бы услышать мнения того кто уже поюзал.
     
  • 1.42, Ваня (??), 10:48, 26/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кстати, судя по скриншотам алгоритм прилично лажает:
    1. правая (для чудика) рука и плечи не составляют прямой линии, а угол между левой и плечом более острый
    2. правая рука не согнута в локте, плечи параллельны полу
     
  • 1.46, анонимус (??), 18:27, 27/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    собрал, запустил с ms kinect. Работает, но как-то кривовато ... движения распознает нечетко, руки на экране дрожат, хотя реально не дрожат (вроде не пил :)
    Думаю еще несколько итераций надо подождать, до приемлимого уровня.
     
  • 1.47, toivo (?), 10:01, 28/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну прямо как дети (с)...
    Это же дистанционный бертильонаж.
     
  • 1.48, axe (??), 23:04, 29/03/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > первый открытый проект для отслеживания перемещения скелета человека перед камерой

    Название новости доставляет. Считаю, что за сам факт запечатления на камеру перемещения скелета человека, нужно нобелевку давать по оккультным наукам

     
     
  • 2.51, Michael Shigorin (ok), 03:40, 30/03/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Считаю, что за сам факт запечатления на камеру перемещения
    > скелета человека, нужно нобелевку давать по оккультным наукам

    Рисованый кот Леопольд с мышицами на полнобелевки сгодится? :)

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру