The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Проект xrdesktop для использования GNOME и KDE в шлемах виртуальной реальности

31.07.2019 19:16

Разработчики из компании Collabora представили проект xrdesktop, в рамках которого при поддержке компании Valve развивается библиотека с элементами для взаимодействия с традиционными рабочими столами внутри трёхмерных окружений, формируемых при использовании 3D-очков и шлемов виртуальной реальности. Код библиотеки написан на языке Си и распространяется под лицензией MIT. Готовые сборки подготовлены для Arch Linux и Ubuntu 19.04/18.04.

В настоящее время для Linux уже имеются средства для прямого вывода на шлемы виртуальной реальности (Vulkan-расширения VK_EXT_acquire_xlib_display для X11 и VK_EXT_acquire_wl_display для Wayland), но отсутствуют поддержка на уровне корректной отрисовки окон в 3D-пространстве и синхронизации частоты обновления экрана. Целью проекта xrdesktop является разработка методов, которые позволят использовать в виртуальных окружениях классические интерфейсы, ориентированные на вывод на двухмерном экране и управление при помощи клавиатуры и мыши.

Компоненты xrdesktop расширяют имеющиеся оконные и композитные менеджеры возможностями для использования runtime систем виртуальной реальности для отрисовки окон и рабочего стола в трехмерных виртуальных окружениях. В xrdesktop продвигается идея интеграции в существующие десктоп-окружения без необходимости запуска отдельного специализированного композитного менеджера и позволяя использовать с 3D-шлемами уже имеющиеся пользовательские конфигурации, используемые с обычным монитором.

Архитектура проекта подразумевает возможность интеграции с любыми рабочими столами, но на текущем этапе разработки компоненты для поддержки шлемов виртуальной реальности реализованы для KDE и GNOME. Для KDE поддержка 3D-шлемов реализован через Compiz-подобный плагин, а для GNOME через набор пачтей к GNOME Shell. Указанные компоненты зеркалируют существующие окна в виртуальное окружение 3D-шлемов в форме отдельной сцены или в оверлейном режиме, при котором окна рабочего стола могут накладываться на другие запущенные приложения виртуальной реальности.

Кроме механизмов отрисовки в xrdesktop предоставляются компоненты для обеспечения навигации и ввода при помощи специализированных пространственных контроллеров, таких как Valve Index и VIVE Wand. Xrdesktop на основе информации от VR-контроллеров генерирует обычные события ввода, симулируя использование клавиатуры и мыши.

В состав xrdesktop входит несколько библиотек, формирующих текстуры окон для VR runtime при помощи OpenVR, а также основанная на API система рендеринга полноценного рабочего стола в 3D-окружении. Так как xrdesktop не предоставляет собственного оконного менеджера, требуется проведение работы по интеграции с существующими оконными менеджерами (xrdesktop может быть портирован для любого оконного менеджера X11 или Wayland). На стороне графических драйверов для работы требуется драйвер с поддержкой API Vulkan и расширения VK_KHR_external_memory extension.

Основные составные части xrdesktop:

  • gulkan - glib-обвязка для Vulkan, предоставляющая классы для обработки устройств, шейдеров и инициализации текстур из памяти или DMA-буферов;
  • gxr - API для абстрагирования программных интерфейсов для разработки приложений виртуальной реальности. В настоящее время поддерживается только OpenVR, но в ближайшее время будет добавлена и поддержка стандарта OpenXR;
  • libinputsynth - библиотека для синтеза событий ввода, таких как движение мыши, клики и нажатия клавиш, реализованная в форме бэкендов для xdo, xi2 и Clutter;
  • xrdesktop - библиотека для управления окнами в 3D-окружении, набор сопутствующих виджетов и бэкенды для отрисовки сцены;
  • kwin-effect-xrdesktop и kdeplasma-applets-xrdesktop - плагин к KWin для интеграции с KDE и Plasma-апплет для перевода KWin в режим вывода на 3D-шлем;
  • gnome-shell patchset и gnome-shell-extension-xrdesktop - набор патчей к GNOME Shell для интеграции поддержки xrdesktop и дополнение для переключения вывода на 3D-шлем в GNOME Shell.

Проектом поддерживается несколько методов организации взаимодействия с рабочим столом и окнами в виртуальном окружении, которые могут применяться для захвата окон, масштабирования, перемещения, вращения, наложения на сферу, закрепления и скрытия окон, использования управляющего меню и одновременного управления двумя руками с использованием нескольких контроллеров.

















  1. Главная ссылка к новости (https://www.collabora.com/news...)
  2. OpenNews: Компания Collabora представила окружение для запуска Android-приложений в Linux
  3. OpenNews: Компания Collabora представила новый видеодрайваер для GPU Mali Midgard и Bifrost
  4. OpenNews: Google в Android начинает использовать штатные DRM/KMS драйверы Linux
  5. OpenNews: Компания Collabora развивает Zink, реализацию OpenGL поверх API Vulkan
  6. OpenNews: Выпуск Firefox Reality 1.1, браузера для устройств виртуальной реальности
Лицензия: CC-BY
Тип: Интересно / Программы
Ключевые слова: collabora, vr, gnome, kde
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (75) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.1, soarin (ok), 19:20, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    Тошнить же начнёт
     
     
  • 2.2, Анонимушка (?), 19:24, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    GNOME и KDE на 360 градусов
     
     
  • 3.4, Аноним (4), 19:33, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    360 в трёх измерениях, так что поболе. Вниз-вверх же ещё.
     
  • 2.11, VINRARUS (ok), 20:21, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +15 +/
    Так не используй GNOME.
     
     
  • 3.13, Аноним (13), 20:29, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –4 +/
    И Плазму, из-за её падений будет тошнить.
     
     
  • 4.14, VINRARUS (ok), 20:44, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > И Плазму, из-за её падений

    "Алё, у меня упала плазма, а с ней упал и я!"

     
  • 2.17, AlexYeCu_not_logged (?), 21:07, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Тошнить же начнёт

    С чего бы вдруг?

     
     
  • 3.36, Led (ok), 23:24, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Это же поняша - их, поней, постоянно радугой тошнит.
     
  • 2.32, Канифоль Патрика (?), 23:15, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Меня и без шлема.. Как увижу эту разноцветную в пастельных тонах ЛГБТ-ёлку, так сразу всё и наружу.
     
     
  • 3.60, Аноним (60), 10:43, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    16 цветов хватит всем?
     
  • 3.74, Timoteo Cirkla (ok), 14:07, 04/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    К психиатру вам надо, батенька, раз везде мерещится.
     
  • 2.64, Аноним (64), 13:05, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    От гнома и без шлема уже давно тошнит
     

  • 1.3, Vassa2633 (?), 19:29, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Порнушку смотреть )))
     
     
  • 2.26, Аноним (26), 22:27, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Гном та еще порнография
     
     
  • 3.39, Аноним (39), 23:43, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Еще один озабоченный
     
     
  • 4.66, Аноним (26), 13:09, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Как и все пользователи гнома.
     

  • 1.5, IdeaFix (ok), 19:35, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Все эти скриншоты напоминают мне "иллюстрации анимационных картинок" и "иллюстрации интернета" в компьютерных книгах начала нулевых.... вроде и картинка, а вроде и не пришей кобыле хвост.
     
     
  • 2.7, Аноним (7), 19:40, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    "Положить обычные гуи на шар" - немного недотягивает до подобных юесполезных футуристических триде интерфейсов. И это, конечно, хорошо
     

  • 1.6, имя (?), 19:37, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    http://insitu.lri.fr/metisse/ возвращается!
     
     
  • 2.9, Аноним (9), 20:15, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Только метис просто работал, а этой поделке нужен вулкан, шлем, и еще патчить все подряд
     

  • 1.8, timur.davletshin (ok), 19:51, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Project Looking Glass больше 10 лет назад был уже и выглядел даже круче.
     
     
  • 2.20, Аноним (20), 21:27, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сделать крутые скриншоты - это отдельное искусство, не связанное с реальной красотой или юзабельностью интерфейса.
     
     
  • 3.22, timur.davletshin (ok), 21:36, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Сделать крутые скриншоты - это отдельное искусство, не связанное с реальной красотой
    > или юзабельностью интерфейса.

    Ни одна из попыток сделать 3д или 2,5д рабочий стол успешной не была. Они и тогда были игрищами и сейчас такими же остаются.

     
     
  • 4.25, Анонимный пользователь Интернета (?), 22:21, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Ни одна из попыток сделать летающий аппарат тяжелее воздуха успешной не была. Они и тогда были игрищами и сейчас такими же остаются.

    FTFY

     
  • 4.30, AlexYeCu_not_logged (?), 22:40, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Они и тогда были игрищами и сейчас такими же остаются.

    Сейчас они как раз могут стать полезными: уже появились инструменты для работы в виртуальном пространстве, а с ними и потребность «иметь рабочий стол перед глазами». Зачем снимать шлем и подходить к монитору, если нужно что-то прочитать или написать в мессенджере или ответить на видеозвонок?

     
     
  • 5.38, имя (?), 23:33, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Зачем снимать шлем и подходить к монитору

    …когда можно словить глитч, задержку или пропажу видеофида в шлеме, споткнуться об неожиданно материализовавшуюся физическую мебель и гарантировать себе как минимум инвалидность?

     
     
  • 6.52, AlexYeCu_not_logged (?), 09:14, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >> Зачем снимать шлем и подходить к монитору
    > …когда можно словить глитч, задержку или пропажу видеофида в шлеме, споткнуться об
    > неожиданно материализовавшуюся физическую мебель и гарантировать себе как минимум инвалидность?

    Теоретик?

     
     
  • 7.59, Аноним (59), 10:41, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Днём 21 декабря 2017 года в квартире в доме на проспекте Маршала Жукова в г. Москва обнаружено тело мёртвого мужчины 1973 года рождения в очках виртуальной реальности c резаной раной головы. По предварительной версии следствия, мужчина передвигался по квартире в очках виртуальной реальности и упал на стеклянный стол, в результате чего получил ранения и от потери крови скончался на месте.
     
     
  • 8.62, AlexYeCu_not_logged (?), 11:02, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ясно, теоретик Открою тебе несколько секретов, чтоб не зашибся, если что 1 Пе... текст свёрнут, показать
     
     
  • 9.67, имя (?), 14:06, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Замечу, что про 171 снимать шлем и подходить к монитору 187 писал именно ты ... текст свёрнут, показать
     
     
  • 10.68, AlexYeCu_not_logged (?), 17:05, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А ты не очень умный, верно Потому как если б было иначе, ты смог бы осмыслить в... текст свёрнут, показать
     

  • 1.10, VINRARUS (ok), 20:17, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Новый тренд - говнокодить в 3D?
     
     
  • 2.15, Аноним (15), 20:53, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я думал, мода на 3д-рабочие столы со всякими крутящимися кубами прошла в нулевых годах.
     
     
  • 3.33, Канифоль Патрика (?), 23:16, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А у большинства их никогда и не было.
     
  • 2.54, заминированный тапок (?), 09:34, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    да не, вот говнокомментить по любому поводу - это действительно новый тренд
     

  • 1.12, Аноним (12), 20:22, 31/07/2019 Скрыто [﹢﹢﹢] [ · · · ]
  • +/
     
     
  • 2.16, VINRARUS (ok), 21:03, 31/07/2019 Скрыто
  • +2 +/
     
  • 2.18, Аноним (18), 21:14, 31/07/2019 Скрыто
  • +/
     
     
  • 3.24, 0x0 (?), 22:13, 31/07/2019 Скрыто
  • +/
     
  • 2.35, Аноним (26), 23:23, 31/07/2019 Скрыто
  • +/
     

     ....нить свёрнута, показать (4)

  • 1.19, Аноним (19), 21:20, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Gnome 3 (с дизайном для планшетов) теперь можно выкидывать и смело начинать делать Gnome 4 c дизайном для VR.
     
     
  • 2.27, Аноним (26), 22:31, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    в этот раз на php, осталось чтобы лучшие "умы" gtk говнокодеров придумали как отрисовывать окна на php.
     
     
  • 3.28, Аноним (28), 22:39, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    php никого не интересует, сейчас js у руля.
     
     
  • 4.37, Аноним (26), 23:32, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Веб за пределами браузеров "у руля" только у идиотов. А так плюсы у руля.
     
     
  • 5.40, Аноним (28), 23:47, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    причем тут веб? Нужен был им скриптовый язык, выбрали js. В qt вашешм любимом в qml тоже он, нет?
     
     
  • 6.48, Аноним (48), 08:31, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > В qt вашешм любимом в qml тоже он

    Ну да несовмсем...

     
  • 5.49, iFRAME (ok), 08:32, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    То-то я смотрю практически все десктопные приложения на электроне написаны. Хм...
     
     
  • 6.61, пох. (?), 10:53, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    и где вы тут видите противоречие?
     
  • 3.58, Аноне (?), 10:34, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    PHP - для бэкенда. Если он доступен криворуким - технология не виновата.
     

  • 1.23, Ретроград (?), 22:07, 31/07/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Эти ваши 3D-шлемы никогда не станут массовым явлением. Так и олстанутся узкоспециализированным инструментом, точнее сказать бесполезной игрушкой. Скорее в затылок будут USB провод вставлять и в Matrix подключаться.
     
     
  • 2.29, Аноним (28), 22:40, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Станут подешевле и меньше, то будут везде. Лет 30 назад так про "мобильные" телефоны говорили.
     
     
  • 3.41, Аноним (41), 23:57, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Меньше это как, для микроцефалов ?
     
     
  • 4.55, заминированный тапок (?), 09:38, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    экий ты максималист

    это размером с обыный очки или конатктную линзу, это же очевидно

     
  • 3.69, б.б. (?), 07:34, 02/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Станут подешевле и меньше, то будут везде. Лет 30 назад так про
    > "мобильные" телефоны говорили.

    так году в 95-м и был писк шлемов. я на какой-то сельской выставке даже видел heretic, со шлемом, и с управлением почему-то рулём :)

     
     
  • 4.70, Аноним (26), 09:11, 02/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    потому что про сцена играет в шутаны на рулях, клаво-мышь для казуалов!
     
  • 2.31, AlexYeCu_not_logged (?), 22:42, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Эти ваши 3D-шлемы никогда не станут массовым явлением.

    Экий ты ретроград.

     
  • 2.34, Канифоль Патрика (?), 23:18, 31/07/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Только зелёным по чОрному и коньюктивит!
     
  • 2.46, гугль (?), 07:03, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    деточка, Matrix - это была фантастика, ненаучная.

    вставлять будут не в затылок.

     
     
  • 3.71, InuYasha (?), 11:29, 02/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    просто голливудская цензура не пропустила... )
     
  • 2.50, Аноним (48), 08:34, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Эти ваши 3D-шлемы никогда не станут массовым явлением.

    Вы не верите в силу маркетинга. Даже ойпеды, и те покупают.

     

  • 1.43, б.б. (?), 02:21, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    теперь плазма падает вместе с головой. ощути сам всё то, что эти годы чувствовала плазма. непревзойдённая реальность.
     
     
  • 2.56, заминированный тапок (?), 09:39, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    ну а раньше было - сначала упала голова с кривыми руками, потом плазма
    теперь ракировочка будет (или рекурсия)
     

  • 1.44, гномщик (?), 04:41, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    А мне всегда казалось что пользователи КДЕ живут в виртуальной реальности давно, без шлема.
     
     
  • 2.51, Аноним (26), 08:37, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Лучше так, чем сидеть с пользователями гнома в выгребной яме.
     

  • 1.45, Аноним (45), 05:10, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Джонни-мнемоник одобряэ
     
  • 1.47, жека воробьев (?), 07:45, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Выглядит довольно ужасно
     
  • 1.53, Аноним (53), 09:29, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Теперь можно будет смотреть тиринг из VR-шлема. Наканецта!
     
  • 1.57, Аноним (57), 10:00, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А vulkan какие очки поддерижвают? модели?
     
     
  • 2.65, Аноним (26), 13:07, 01/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ты наркоман?
     

  • 1.63, Аноним (64), 13:04, 01/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    О, x-rdesktop! Теперь можно будет по RDP винду админить прямо в шлеме.
     
     
  • 2.72, InuYasha (?), 11:35, 02/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Главное чтобы венда не начала админить _тебя_ )
     
     
  • 3.76, Мимоходом (?), 14:25, 05/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Что значит "не начала"?.. А предыдущие 25 лет -- это тогда что было?.. ;)
     
  • 2.77, Аноним (77), 12:57, 22/08/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я тоже так подумал.
     

  • 1.73, RedEyedMan (ok), 10:42, 04/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ладно там VR в играх, но DE в VR -- это что-то непонятное и скорее всего малоюзабельное.

    -- Саша, обед стынет!

    -- Ну мам, я щас в гноме экстеншоны поставлю... Та-ак, вот это сюда... а это сюда. *Пинс!* *лядь, куда оно пропало?!

     
  • 1.75, mistiq (?), 20:44, 04/08/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Настолько же бесполезная хня как и всякие Cube надстройки к помпиз. Не нужно от слова совсем. Оно будет иметь смысл лишь после того как будет создана система распознавания движения глаз, и то с большими оговорками. Крутить бошкой в шлеме когда руки лежат на хоткеях - безумство чистой воды.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру