The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Опубликован проект PIXIE для построения 3D-моделей людей по фотографии

19.10.2021 10:53

Открыты исходные тексты системы машинного обучения PIXIE, позволяющей создавать 3D-модели и анимированные аватары тела человека по одной фотографии. К результирующей модели могут быть привязаны реалистичные текстуры лица и одежды, отличающиеся от изображённых на исходной фотографии. Система может применяться, например, для отрисовки с другой точки наблюдения, создания анимации, реконструкции тела по форме лица и формирования 3D-модели пальцев рук. Код написан на языке Python с использованием фреймворка Pytorch и распространяется под лицензией, допускающей только использование в некоммерческих целях.

Заявлено, что по сравнению с похожими проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрытого одеждой на фотографии, форму лица и положение суставов рук. Метод основан на применении нейронной сети, которая выделяет из пиксельного изображения параметры лица, тела и рук. Работу нейронной сети координирует специальный регулятор, который на основании анализа освещённости добавляет информацию о весовых коэффициентах различных частей тела для исключения определения неестественных поз. При создании модели учитываются анатомические отличия мужского и женского тела, параметры позы, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.

Особенности PIXIE:

  • Воссозданная 3D-модель тела, а также информация о позе, положении рук и выражении лица сохраняются в виде набора параметров SMPL-X, которые в дальнейшем могут использоваться в системе моделирования Blender через плагин.
  • По фотографии определяется детальная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин (для построения модели головы применяется система машинного обучения DECA, разработанная теми же авторами).
  • При генерации текстуры лица оценивается альбедо объекта.
  • Построенная модель тела в дальнейшем может быть анимирована или представлена в другой позе.
  • Поддержка построения модели по обычным фотографиям, на которых человек снят в естественных условиях. PIXIE хорошо справляется с определением различных поз, условий освещения и перекрытием видимости частей объекта.
  • Высокая производительность, подходящая для динамической обработки картинки с камеры.


  1. Главная ссылка к новости (https://github.com/YadiraF/PIX...)
  2. OpenNews: PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков
  3. OpenNews: Открыт код для синтеза анимации с помощью нейросетей
  4. OpenNews: FairMOT, система для быстрого отслеживания нескольких объектов на видео
  5. OpenNews: Использование нейронной сети для восстановления повреждённых изображений
  6. OpenNews: NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
Лицензия: CC-BY
Наводку на новость прислал Аноним
Тип: Программы
Короткая ссылка: https://opennet.ru/55983-pixie
Ключевые слова: pixie, ai, 3d, model
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (72) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:10, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    чисто побаловаться на вечерок в блендере
     
     
  • 2.6, Аноним (6), 11:35, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Качество уровня "натяни сову на глобус"... Что с ногами сразу на самой первой модели?!
     
     
  • 3.8, Аноним (8), 11:46, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Нейронки это всегда "что-то отдалённо похожее на настоящее, только исскуственное и не факт что угадали". Лучшее применение нейронок, которое я видел, это для расчёта физики движения моделей в играх. Мокап конечно круто и впечатляюще, но одним мокапом сыт не будешь.
     
     
  • 4.14, Аноним (14), 12:34, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Так и скажи что ты просто читер. Ты еще небось с этими читами чемпионат по доте 2 недавно выиграл.
     
     
  • 5.21, Аноним (8), 12:44, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но вообще я имел виду именно анимации, игры они тоже проходят на время конечно.
     
     
  • 6.25, Аноним (25), 13:17, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Перечитал несколько раз, не понял смысла. Шизофазия какя-то. Игры проходят игроки. Теорию о том что время конечно слышал.
     
     
  • 7.28, Аноним (8), 13:34, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Почему программы не могут проходить игры? Нейронки вполне нашли своё применение в задачах итеративного вычисления идеальных таймингов, ну а дальше оно само как-то эмулирует игрока (если пнуть в нужном направлении).
     
  • 7.29, Мимоходом... (?), 13:34, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    AlphaStar, DeepMind, StarCraft2, не, не слышали? Больше 5 лет уже...

    Уж про шахматы и не говорю.

     
  • 3.16, Псевдоним (??), 12:37, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты можешь потом в блендере подправить. Все быстрее чем самим с нуля моделить.
     
     
  • 4.24, Аноним (14), 13:01, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Открываю секрет: позы фигур человека никто и не моделит. Берут подготовленные 3д-модели и прикладывают к фотографии прямо в редакторе и меняют позу на такую же как в фотографии. А если это последовательность кадров(видео) то так повторяют для каждого кадра. Так в общем случае получается анимация фигур.  Фактически в сабже искусственный интеллект делает то же самое что делает естественный интеллект.
     
     
  • 5.27, Псевдоним (??), 13:19, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Открываю секрет: позы фигур человека никто и не моделит. Берут подготовленные 3д-модели
    > и прикладывают к фотографии прямо в редакторе и меняют позу на
    > такую же как в фотографии. А если это последовательность кадров(видео) то
    > так повторяют для каждого кадра. Так в общем случае получается анимация
    > фигур.  Фактически в сабже искусственный интеллект делает то же самое
    > что делает естественный интеллект.

    Спасибо, кэп, но это софт для создания 3д-моделей, а не для трекинга поз. Для поз есть например мокап.
    А модели либо моделят (долго), либо собирают аналогом сабжа из круговых\сферических фотографий (быстрее). Я какое-то время работал в фирме по производству российских 3д сканеров (из российского там конечно был только корпус) и знаю о чем говорю.

     

  • 1.2, QwertyReg (ok), 11:10, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    > допускающей только использование в некоммерческих целях.

    Ну то есть чисто поиграться, ни в одном серьёзном проекте это использовать нельзя.

     
     
  • 2.5, SinoptikUF (?), 11:34, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    в FIFA EA SPORTS как футболистов делают?
     
     
  • 3.7, Аноним (6), 11:37, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не поверишь... motion capture
     
     
  • 4.9, Аноним (9), 11:53, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    мокап не для моделей нужен лол, из названия понято
     
     
  • 5.12, Аноним (6), 12:28, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В т.ч. и для моделей используется.
     
  • 2.15, Псевдоним (??), 12:35, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты можешь прийти к разработчикам и попросить другую лицензию. В основном правда за денежку.
     
  • 2.35, Аноним (35), 14:19, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Реально серьёзные проекты поглотят этот проект с потрохами, а разработчиков возьмут в штат. Скорее всего проект будет куплен китайцами, ибо с точки зрения обеспечения государственной безопасности биометрической слежки много и даже достаточно не бывает.
     
     
  • 3.44, QwertyReg (ok), 15:01, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > обеспечения государственной безопасности биометрической слежки много и даже достаточно
    > не бывает.

    Молодец, приплёл.

     
  • 3.47, _kp (ok), 15:09, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    У китайцев и японцев есть системы строящие 3д модели по нескольким фотографиям, зато модели выходят не абстрактные.
    А этот проет для баловства, к знакомым девкам голые тела пририсовывать максимум.
     
     
  • 4.51, Аноним (35), 16:23, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >по нескольким фотографиям

    По нескольким фотографиям и 20 лет назад умели. Это классика машинного зрения. Без всяких нейросетей.

    Тут же система векторизует силуэт в латентное пространство, то есть это та самая биометрия по силуэту, которую совсем недавно анонсировали, что уже запустили в Москве.

     

  • 1.11, Аноним (11), 12:20, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    а бибу по фотографии смоделирует?
     
  • 1.13, животнае (?), 12:30, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    интересно оно под кожаных только заточено, или в шерстяное тоже умеет?
     
     
  • 2.19, pavlinux (ok), 12:38, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    шерстяное было модно до середины 80-х, потом брить начали.
     
     
  • 3.26, животнае (?), 13:18, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    нет в шесрстяное не  умеет ъуъ

    https://ps.is.mpg.de/research_fields/seeing-understanding-people

     
  • 3.31, Аноним (31), 13:46, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ты про глубокую глотку 1972?
     
     
  • 4.38, животнае (?), 14:20, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Нет, мои интересы не замыкаются только на этом.
    Еще котейки есть так-то. Кто поймет тебя лучше чем твой шерстяной, теплый кот?
     
     
  • 5.77, Аноним (31), 18:44, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну так-то собака лучше поймет. Коты они своенравны и независимы. Ты для них игрушка и источник удовлетворения прихотей.
     
     
  • 6.78, животнае (?), 19:29, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Бро, ка же ты прав:) Любите шерстяных, они любят по настоящему :) Вот прихожу домой, а там мой рыжий шерстяной пузотер у двери уже ждёт(жрать хочет:D, клёво) Немного сентиментальности вам в ленту
     
     
  • 7.86, InuYasha (??), 13:34, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    и лужа в углу, и какахи размазаны, и шерсть равномерно распределена по объёму помещения...
     
  • 2.37, Роботы (?), 14:20, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Шерстяные в нас палками не тыкали.
     
  • 2.91, Аноним (91), 10:26, 23/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Тоже жду для шерстяных. Кожаным мешкам отдают слишком много почестей.
     

  • 1.18, pavlinux (ok), 12:37, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Вы всё ещё считаете, что изображение на поверхности монитора это 3D ? :)
     
     
  • 2.22, Аноним (8), 12:48, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    3д не изоборажение, а модель. Ещё это может быть сцена. 2д-мультики например тоже получают из 3д сцены (и они выглядят как нарисованные при этом).
     
     
  • 3.33, Аноним (6), 13:58, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Первые "3D" мульты рисовались как раз с 2D киноплёнки. Это потом пошёл шлак в виде шреков.
     
     
  • 4.36, Аноним (8), 14:19, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Насколько первые? Дело в том, что аниме повально в 3д ещё с 90х. Потому что это намного дешевле покадровой анимации. Или ты имеешь в виду стерео-изображение? Почитай, сколько времени и ресурсов потратили на ручную отрисовку 10 минутного Love, Death & Robots S01E03 (NSFW) - и то там значительная часть в 3д, по-моему все задники например.  
     
     
  • 5.40, Аноним (6), 14:35, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Насколько первые?

    Ты прикалываешься? Ни разу не слышал про ротоскоп?!

     
     
  • 6.41, Аноним (8), 14:40, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Я смотрел Aku no Hana, но каким местом это 3д? Пс, эндинг для ценителей прекрасного: https://www.youtube.com/watch?v=Ok5yDYrO0gc
     
     
  • 7.43, Аноним (6), 14:51, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Господи... Хинто тебе про ротоскоп: Белоснежка (1937), Золушка (1950) и т.д.
     
     
  • 8.46, Аноним (8), 15:04, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Опять же, каким местом это 3д ... текст свёрнут, показать
     
  • 5.42, Аноним (6), 14:48, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > аниме повально в 3д ещё с 90х

    ...даааа... Ты совсем не знаком с техникой аниме. Настоящее 3D в аниме - большая редкость даже сейчас. Массовое аниме - это аналог ротоскопа для фоток задников плюс 2D морды, трансформированные (не всегда) на компе в скрин-спейс пространстве. И лишь иногда вставляют 3D рендер сложных объектов (самолёт, машина) при меняющемся ракурсе.

     
     
  • 6.45, Аноним (8), 15:03, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Большая редкость? 100% это компьютерная анимация и заготовки, любые сложные сцены куда проще и дешевле сделать в 3д и потом их переиспользовать от тайтла к тайтлу. Кстати, анимация полтора кадра в секунду там тоже совершенно искусственная и не может служить индикацией чего бы то ни было (я помнится наивно полагал, что это из-за высокой стоимости).
     
     
  • 7.75, Аноним (75), 18:30, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Где ты в Акире компьютерную анимацию увидел?
     
     
  • 8.92, Аноним (91), 10:31, 23/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Опубликован проект PIXIE для построения 3D-моделей людей по ...... текст свёрнут, показать
     
  • 3.68, prokoudine (ok), 18:01, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ЧСХ, есть голографические мониторы типа Looking Glass, так что наш друк в попытке поумничать обломался со всех сторон.
     
     
  • 4.82, pavlinux (ok), 23:14, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Где, пля, 3D ... грибов что ль обожрались.  
     

  • 1.20, iPony129412 (?), 12:42, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А пони можно?
     
     
  • 2.23, Аноним (14), 12:56, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/

    Я тебе запрещаю, оскорблять чувства пони прогоняя их через эту программу.
     

  • 1.32, Аноним (31), 13:56, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Правильной дорогой идете. Все эти вещи приблизят вас к желанной жизни в капсуле виртуальной реальности с инскусственным вскармливанием зондом. Так и мировое правительство придет. Корпорации заменят все. В 2к21 все карашо!
     
     
  • 2.88, kusb (?), 18:14, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зато в этой реальности можно будет быть маленькой девочкой...
     

  • 1.39, животнае (?), 14:31, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    тут внимательно вчитался "При генерации текстуры лица оценивается альбедо объекта" - т.е. его отражательная способность.
    Нейронка троллит баклажанов)) толстый_повар_мем_жпг.
     
  • 1.48, YetAnotherOnanym (ok), 15:26, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Одного меня смущает, что и у бородатого мужика в клетчатых штанах, и у девки на мотороллере, на крайней правой картинке оказываются сиськи одинакового размера?
     
     
  • 2.49, Аноним (31), 15:28, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Чувак, меня смущает, что ты смотришь на 3д модели сисек мужиков!
     
  • 2.52, SJW (?), 16:25, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нет ли тут мизогинии?
     
     
  • 3.55, Аноним (55), 16:37, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Нет ли тут мизогинии?

    я не знаю, что это такое, но мне это не нравится

     
     
  • 4.56, Аноним (31), 16:48, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну это типа ущемление женских титек. Сравняли с мужской грудью на скринах.
    Хотя ща у смуззяш мужского вроде как пола такие эстрогены, что и титьки растут.
     
     
  • 5.66, Аноним (14), 17:46, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Все полы равны у любого могут быть сиськи любого размера, это нормально
     
     
  • 6.70, Аноним (31), 18:11, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Прокачиваешь свои пивасем? А если у девочки титьки меньше, чем у мальчика - тоже нормально?
     
     
  • 7.74, Аноним (75), 18:26, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Что тебе не понятно в слове равноправие?
     
     
  • 8.76, Аноним (31), 18:40, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Равноправие сисек Мне это непонятно Один мой товарищ говорит если у женщины ... текст свёрнут, показать
     
     
  • 9.93, Аноним (91), 10:34, 23/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не нравится маленькая грудь Ну и хорошо, мне больше достанется ... текст свёрнут, показать
     
  • 2.90, Аноним (90), 19:35, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Меня больше смущает что у мужиков членов нет. А тебе лишь бы сиськи.
     

  • 1.57, Аноним (57), 16:51, 19/10/2021 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • +1 +/
     
     
  • 2.59, Аноним (14), 16:52, 19/10/2021 Скрыто модератором
  • +/
     
  • 2.60, Аноним (60), 17:07, 19/10/2021 Скрыто модератором
  • +1 +/
     

     ....ответы скрыты модератором (2)

  • 1.79, Аноним (-), 19:56, 19/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    А голых женщин в нем можно намутить? Желательно одной кнопкой.
     
     
  • 2.81, Аноним (35), 20:19, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/dreamnettech/dreampower не благодари.
     
     
  • 3.85, Аноним (85), 11:34, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    dreampower: error: Checkpoints file not found! это натренированная модель. В архивах её нет. С сайта не скачивается.
     
  • 2.83, Аноним (31), 23:44, 19/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А тебе для чего? Вроде с проном нонче проблем нет. Хошь хоррор, хошь какапис...на любой вкус)
     
  • 2.84, Аноним (84), 09:34, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Если как сервис на пожалуйста раздевай кого хочешь https://deepsukebe.io/
     
  • 2.87, InuYasha (??), 13:37, 20/10/2021 [^] [^^] [^^^] [ответить]  
  • +/
    чтобы потом на 3д-принтере распечатать? :_D
     

  • 1.89, kusb (?), 18:15, 20/10/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Нужен сервис для восстановления ДНК по фотографии и последующего клонирования.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру