The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

04.04.2012 21:58  Прототип интерфейса для управления GNOME 3 жестами перед web-камерой

Создатели проекта Skeltrack, в рамках которого развивается свободная библиотека для отслеживания в режиме реального времени перемещения конечностей человека перед камерой с датчиком глубины, представили прототип практической реализации интерфейса для организации управления GNOME 3 через систему пространственных жестов. Код управляющего интерфейса распространяется под лицензией GPLv3. Наглядно оценить возможности пространственного управления можно просмотрев специально подготовленный видеоролик.

Используя web-камеру с датчиком глубины, которой комплектуется устройство Kinect, разработчикам удалось организовать генерацию событий Xlib через распознавание типовых жестов. Например, можно перемещать курсор контролируя его позицию указательным пальцем, масштабировать окна и изображение через характерное разведение или сведение ладоней, выбирать объект, прокручивать содержимое окон, перемещать окна и т.п. Отдельный интерес представляет демонстрация возможностей Skeltrack для управления играми. В частности, показано как можно управлять автомобилем в игре Super Tux Kart, изображая руками вращение руля.

Для приёма видеопотока с данными глубины от камеры Kinect используется GFreenect, а для отслеживания движений рук задействована библиотека Skeltrack. Управляющие жесты воспринимаются путем анализа попадания руки в активную область, которая определена примерно в 30 см. от головы. Жесты достаточно интуитивны. Например, когда одна рука двигается осуществляется перемещение курсора; клик воспринимается когда одна рука находится в активной зоне, а вторая быстро входит и выходит из активной зоны; если вторая рука задерживается в активной зоне распознаётся нажатие и удерживание кнопки мыши, первая рука при этом может использоваться для перемещения объекта.



  1. Главная ссылка к новости (http://www.joaquimrocha.com/20...)
  2. OpenNews: Skeltrack - первый открытый проект для отслеживания перемещения скелета человека перед камерой
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: skeltrack, gesture, gnome
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, alltiptop, 22:45, 04/04/2012 [ответить] [смотреть все]
  • +19 +/
    Диетологи будут прописывать гном 2 раза в день?
     
     
  • 2.14, Аноним, 00:03, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]
  • +1 +/
    Почему? Для похудения?
     
     
  • 3.30, FSA, 07:37, 05/04/2012 [^] [ответить] [смотреть все]
  • +5 +/
    Даже по экрану возить пальцем нужно больше энергии, чем мышкой или тачпадом А т... весь текст скрыт [показать]
     
     
  • 4.43, Axel, 12:00, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Вот под этим подпишусь ... весь текст скрыт [показать]
     
     
  • 5.45, pavlinux, 13:43, 05/04/2012 [^] [ответить] [смотреть все]  
  • +6 +/
    Теперь на работу будут принимать действительно "сильных" программистов.
    Склиозники с мех.-мата МГУ будут просто падать в обморок от истощения,
    после 2-х часов работы ибо забивали на Физ-ру :D
     
  • 4.56, lucentcode, 20:11, 05/04/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Откройте для себя продукцию Wacom И мультитач-экраны, которые доступны и для П... весь текст скрыт [показать]
     
  • 4.63, Аноним, 03:11, 06/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Наоборот К упражнениям и рукам постоянно в воздухе человеческий организм уж... весь текст скрыт [показать]
     
     
  • 5.64, Аноним, 05:12, 06/04/2012 [^] [ответить] [смотреть все]  
  • +2 +/
    угу, 15 минут руки на весу подержи, тогда перестанешь умничать бредом об эволюци... весь текст скрыт [показать]
     
  • 4.66, Avator, 05:50, 07/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Согласен, только вы еще про trackpoint забыли на небольших ноутах это очень у... весь текст скрыт [показать]
     
  • 4.68, Аноним, 18:32, 10/04/2012 [^] [ответить] [смотреть все]  
  • +/
    >>в случае стеснённых или полевых условий.

    трекбол наше всё.=)

     
  • 2.49, анон, 14:58, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    гном 3 раза в день =)
     
  • 1.3, Аноним, 23:01, 04/04/2012 [ответить] [смотреть все]  
  • +/
    А что без "датчика глубины" нельзя управлять?
     
  • 1.7, Аноним, 23:30, 04/04/2012 [ответить] [смотреть все]  
  • +2 +/
    Годно будет, если допилить, ИМХО...
     
     
  • 2.9, Аноним, 23:34, 04/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Может быть полезно в качестве дополнения к основному интерфейсу.
     
  • 2.10, Аноним, 23:34, 04/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Допилить и отправить аппл к чертям с их патентами на тачскрин жесты в соседней в... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.29, Аноним, 06:54, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Тогда придет мелкософт, у нх кинект уже давно и патентов наверняка уже целый вор... весь текст скрыт [показать]
     
  • 1.11, QuAzI, 23:49, 04/04/2012 [ответить] [смотреть все]  
  • +13 +/
    Вот уже два часа Василий пытался объяснить гному "Иди на*, я не хочу удалять все файлы с рабочего стола"
     
     
  • 2.17, Аноним, 00:24, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    А просто показать средний палец в камеру он не пробовал ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.28, Аноним, 06:29, 05/04/2012 [^] [ответить] [смотреть все]  
  • +5 +/
    Приложение GNOME обиделось и закрывается Следующие 12 часов он не хочет с вами ... весь текст скрыт [показать]
     
  • 2.60, Аноним, 03:05, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    При чем здесь гном Это будущее windows 9 А линуксу оно не грозит Ибо там дово... весь текст скрыт [показать] [показать ветку]
     
  • 1.12, Аноним, 23:56, 04/04/2012 [ответить] [смотреть все]  
  • +1 +/
    я уже придумываю, какой жест повесить на "послать sigkill текущему приложению"
     
     
  • 2.18, Аноним, 00:25, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Да что там придумывать - см рис 1 , там вполне доходчиво ... весь текст скрыт [показать] [показать ветку]
     
  • 1.13, Аноним, 00:01, 05/04/2012 [ответить] [смотреть все]  
  • +/
    Теперь инвалидам будет еще легче работать в гном3.
     
     
  • 2.15, Аноним, 00:04, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +4 +/
    А остальным людям что делать?
     
     
  • 3.16, Аноним, 00:07, 05/04/2012 [^] [ответить] [смотреть все]  
  • +6 +/
    Тем, кто пользуется гном3 - можно ничего не делать, им и так хорошо.
     
  • 3.58, Аноним, 20:27, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Стать инвалидами
     
  • 2.22, paulus, 00:42, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Это каким У которых нарушена координация или слабое зрение Тут проф дирижером... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.26, Аноним, 03:07, 05/04/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Ну вот поневоле и прокачаются ... весь текст скрыт [показать]
     
  • 3.65, Пр0х0жий, 17:50, 06/04/2012 [^] [ответить] [смотреть все]  
  • +/
    1 Угу Вот надел очки и думаю и как это г вно должно понять, что шрифты мне на... весь текст скрыт [показать]
     
  • 2.61, Аноним, 03:07, 06/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Наоборот - не всякий инвалид осилит руками махать Гномошелл - для здоровых и эн... весь текст скрыт [показать] [показать ветку]
     
  • 1.19, paulus, 00:33, 05/04/2012 [ответить] [смотреть все]  
  • +3 +/
    В гугло-хроме подобную срань пилят, типа заняться больше нечем... Все сделано, чтобы вы работали-работали, но почесав ушко выполнили rm -rf ~/;)
     
  • 1.20, XoRe, 00:35, 05/04/2012 [ответить] [смотреть все]  
  • –1 +/
    Офигительно.
    Вот оно, будущее.

    Имхо, как дальнейшее развитие, реакция на простое указание пальцем в сторону объекта.
    Кстати, не так сложно, если система будет знать, как относительно друг друга расположены монитор и kinect.
    Есть точка в пространстве "голова"/"глаза", есть точка "кончик указующего пальца".
    Выбираем момент, когда кончик пальца закончил движение в сторону монитора и начал движение обратно.
    Через две точки строим прямую до пересечения с плоскостью "монитор" - получаем координаты щелчка.
    В итоге:
    - не нужна мышка
    - не нужна клавиатура
    - не нужны широкие жесты руками

    P.S.
    Мне кажется, для управления жестами пора придумывать что-то, отличное от мышки.

    P.P.S.
    Кстати, так же можно подумать об управлении клавиатурой жестами.
    Молотишь пальцами в пространстве - система распознает, на место какой кнопки ты нажал.
    Можно ориентировать клавиатуру по большим пальцам, они обычно на концах пробела лежат.

    P.P.P.S.
    Блин, куча идей сразу возникает)

     
     
  • 2.21, paulus, 00:39, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    1 пальчики у всех разные настройки сделаешь 2 всю кучу уже запатентовали ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.24, Аноним, 01:06, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Лазерные клавиатуры никогда не видели Они именно этим и занимаются Подсветка л... весь текст скрыт [показать]
     
  • 2.23, Аноним, 01:05, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +4 +/
    Будушее - это возможность рулить силой мысли прямой интерфейс человек-машина ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.42, Аноним, 11:44, 05/04/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Нет не так Будушее - это возможность силой мысли выполнять необходимую работу б... весь текст скрыт [показать]
     
     
  • 4.50, alltiptop, 15:14, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Люди - промежуточное звено ... весь текст скрыт [показать]
     
     
  • 5.62, Аноним, 03:08, 06/04/2012 [^] [ответить] [смотреть все]  
  • +/
    > Люди - промежуточное звено.

    Тссс, роботы, не палимся.

     
     
  • 6.67, xrensgory, 09:58, 09/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Рюмка коньяка с долькой лимона - вот венец творения Человек лишь промежуточное ... весь текст скрыт [показать]
     
  • 2.27, Аноним, 05:45, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Тоже сначала так думал Но купив ребенку XBOX с Kinect, ессесно вместе с ребенко... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.47, Sergey, 14:15, 05/04/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Всем полезно двигаться, не только детям :)
     
  • 2.40, Ваня, 10:55, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Ваши идеи находят практическое воплощение с 60-х годов Мне понравились перчатки... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.46, pavlinux, 13:54, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Найвный чукотский бот ... весь текст скрыт [показать]
     
  • 2.54, Амонимус, 17:57, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Уже придумали - голосом, мыслью, взглядом Осталось довести до ума А подобное ... весь текст скрыт [показать] [показать ветку]
     
  • 1.25, Аноним, 03:06, 05/04/2012 [ответить] [смотреть все]  
  • +/
    прикольно, интересно пощупать... если так можно выразиться :)
     
  • 1.32, ааноним, 08:29, 05/04/2012 [ответить] [смотреть все]  
  • +/
    нашёл практическое применение - повесить монитор + Raspberry Pi + Kinect на стене под потолоком на кухне)))
     
  • 1.33, Аноним, 08:33, 05/04/2012 [ответить] [смотреть все]  
  • +1 +/
    Так вот он какой танец с бубном ))))
     
     
  • 2.41, Aleks Revo, 10:58, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Ага, в бубне - rfid-чип для доступа к административным функциям )))
     
  • 1.34, Аноним, 08:52, 05/04/2012 [ответить] [смотреть все]  
  • +/
    Gunomushiki-do
     
     
  • 2.36, uniman, 09:23, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Gnome-do, Путь Гнома, или Искуcство Побеждать Программы В книге Ката Журавль в... весь текст скрыт [показать] [показать ветку]
     
  • 1.35, Аноним, 09:15, 05/04/2012 [ответить] [смотреть все]  
  • +2 +/
    Теперь мне все ясно, мне ясно почему все такое большое в гноме Это чтобы сдалек... весь текст скрыт [показать]
     
     
  • 2.57, Аноним, 20:26, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Кэп не дремлет :D
     
  • 1.37, Anonimus, 09:59, 05/04/2012 [ответить] [смотреть все]  
  • +/
    Если у вас проблемы с работой в 3D приложениях в том числе Wine: нельзя переключиться на другую программу/рабочий стол, свернуть и т.п. Открой для себя Гноме 3, как это сделали для себя многие. Поняв философию интерфеса, выучив пару тройку хоткеев уже не захочется, что-то другого, кроме может быть устаревшего оборудования. Проект бурно развивается и на целен на будущее. ИМХО реальной альтернативы ему нет в своей категории... А так злобно критиковать зачем? Сделай лучше...
    ЗЫЖ Основной аргумент ненавистников звучит один - слишком унифицированный интерфейс, нормальный человек посчитает это только плюсом единый интерфейс на многих типах/формах устройств.
     
  • 1.39, Ваня, 10:48, 05/04/2012 [ответить] [смотреть все]  
  • +/
    GNOME: решение на уровне "посмотрите что я могу", практической пользы из-за неудобства и колоссальных затрат энергии не имеет.

    Игры: Кинект используется уже давно и широко (для игр собственно и создавался), так что "отдельный интерес представляет демонстрация возможностей для управления играми" показывает желтизну ресурса во всей красе.

     
     
  • 2.48, anonimous, 14:55, 05/04/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    управления играми - _которые изначально под киннект не затачивались_.
     
     
  • 3.52, Ваня, 15:46, 05/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Игры, написанные для Kinect и Kinect, разработанный для игр - это программно... весь текст скрыт [показать]
     
  • 1.44, Аноним, 13:00, 05/04/2012 [ответить] [смотреть все]  
  • +/
    Напомнило сцену из фильма "Особое мнение"
     
  • 1.53, Xasd, 15:51, 05/04/2012 [ответить] [смотреть все]  
  • +/
    > Jeepers!
    >
    > This video can’t be played with your current setup.
    > Please switch to a browser that provides native H.264 support or install Adobe
    > Flash Player.

    Opennet местами бывает ну прям такой OPENnet xD xD xD

     
  • 1.59, Аноним, 21:48, 05/04/2012 [ответить] [смотреть все]  
  • +/
    Вот тут-то и проявил себя гном три в самом лучшем виде им легко управлять чем у... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor