The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

HyperStyle - адаптация системы машинного обучения StyleGAN для редактирования изображений

03.12.2021 09:12

Группа исследователей из Тель-Авивского университета представила HyperStyle, инвертированный вариант развиваемой компанией NVIDIA системы машинного обучения StyleGAN2, который переработан для воссоздания недостающих частей при редактировании реальных изображений. Код написан на языке Python c использованием фреймворка PyTorch и распространяется под лицензией MIT.

Если StyleGAN позволяет синтезировать реалистично выглядящие новые лица людей, задавая такие параметры, как возраст, пол, длину волос, характер улыбки, форму носа, цвет кожи, очки и ракурс фотографии, то HyperStyle даёт возможность изменять аналогичные параметры в уже существующих фотографиях, не меняя их характерных черт и сохраняя узнаваемость исходного лица. Например, при помощи HyperStyle можно симулировать изменение возраста человека на фотографии, поменять причёску, добавить очки, бороду или усы, придать изображению вид персонажа мультфильма или рисованной картины, сделать выражение лица грустным или весёлым. При этом система может быть обучена не только для изменения лиц людей, но и для любых предметов, например, для редактирования изображений автомобилей.

Предложенный метод нацелен на решение проблемы с реконструкцией недостающих частей изображения при редактировании. В ранее предлагавшихся методах компромисс между реконструкцией и редактируемостью решался через тонкую настройку генератора изображений для подстановки частей целевого изображения при воссоздании изначально отсутствующих редактируемых областей. Недостатком подобных подходов является необходимость проведения длительного целевого обучения нейронной сети для каждого изображения.

Метод на основе алгоритма StyleGAN даёт возможность использовать типовую модель, предварительно натренированную на общих коллекциях изображений, для генерации свойственных исходному изображению элементов с уровнем достоверности сопоставимым с алгоритмами, требующими индивидуальной тренировки модели для каждого изображения. Из достоинств нового метода также отмечается возможность модифицировать изображения с производительностью, близкой к режиму реального времени.

Готовые натренированные модели подготовлены для лиц людей, машин и животных на основе коллекций Flickr-Faces-HQ (FFHQ, 70 тысяч высококачественных PNG-изображений лиц людей), Stanford Cars (16 тысяч изображений машин) и AFHQ (фотографии животных). Дополнительно предоставлен инструментарий для тренировки своих моделей, а также пригодные для использования с ними готовые натренированные модели типовых кодировщиков и генераторов. Например, доступны генераторы для создания картинок в стиле Toonify, персонажей Pixar, формирования скетчей и даже для стилизации под принцесс из диснеевских мультфильмов.



  1. Главная ссылка к новости (https://yuval-alaluf.github.io...)
  2. OpenNews: NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
  3. OpenNews: PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков
  4. OpenNews: NVIDIA открыла код системы машинного обучения, синтезирующей пейзажи по наброскам
  5. OpenNews: Использование нейронной сети для восстановления повреждённых изображений
  6. OpenNews: Реализация нейронной сети для синтеза и редактирования лиц
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/56273-hyperstyle
Ключевые слова: hyperstyle, stylegan, ai, image
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (33) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (2), 11:13, 03/12/2021 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • +/
     
     
  • 2.3, Аноним (3), 11:14, 03/12/2021 Скрыто модератором
  • +18 +/
     
  • 2.6, Pahanivo (ok), 11:38, 03/12/2021 Скрыто модератором
  • +/
     
  • 2.12, Аноним (12), 12:37, 03/12/2021 Скрыто модератором
  • –1 +/
     
     
  • 3.17, Crazy Alex (ok), 13:48, 03/12/2021 Скрыто модератором
  • –1 +/
     
  • 2.16, Crazy Alex (ok), 13:45, 03/12/2021 Скрыто модератором
  • –1 +/
     
     
  • 3.23, Аноним (-), 15:37, 03/12/2021 Скрыто модератором
  • +1 +/
     
  • 2.26, prokoudine (ok), 17:19, 03/12/2021 Скрыто модератором
  • +1 +/
     

     ....ответы скрыты модератором (7)

  • 1.4, Аноним (4), 11:21, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –10 +/
    > Prerequisites
    > NVIDIA GPU + CUDA CuDNN

    Обратите внимание, что никакого тухлого OpenCV здесь нет. И тем более амуде. NVIDIA - для линукса и нейросетей. Амуде - для игр под вантузом.

     
     
  • 2.5, commiethebeastie (ok), 11:37, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Обратил, приятного аппетита тем кто в танке:

    https://hub.docker.com/u/rocm

     
     
  • 3.7, Аноним (7), 11:50, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > rocm

    Поддержку Полярисов в 4.5 таки вернули? Или бежать за новой видеокартой, а то у хипстеров код на пихоне протухает?

     
     
  • 4.21, commiethebeastie (ok), 14:51, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Там действительно какой-то бардак в разработке, что проще видеокарту выкинуть, чем поддерживать. Фиг соберешь этот комплекс сам.
     
  • 4.27, Аноним (-), 18:57, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > пихоне

    желаю тебе и всем, кто тебе дорог, медленной и мучительной смерти от ковида на ивл

     
     
  • 5.30, Аноним (30), 20:49, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо тебе, братишка)
    Что, всё-таки кроссплатформенный код протух? Ну, тогда перепиши его на R...
     
  • 5.39, анонз (?), 09:58, 08/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Угу, коровавируз и эвээл. Напугал
     
  • 3.33, Анон1 (?), 10:17, 04/12/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я повелся на rocm, когда покупал видеокарту, в итоге у меня сейчас rx580 и работу с rocm через docker. Любые попытки им пользоваться связаны с любыми проблемами и болью. Больше никогда не буду брать amd видеокарты
     
     
  • 4.35, Аноним (35), 23:11, 05/12/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    еще один неосилятор

    тебе нужен драйвер - ты и пиши его

    тебе никто ничего не обещал!

     
  • 2.10, Аноним (-), 12:29, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Невидия - QtWebengine всё также падает под ней?
     
     
  • 3.11, Аноним (4), 12:31, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    не знаю, спрашивай у разрабов QtWebengine, почему у них там че-то падает.
     
  • 3.19, Аноним (19), 14:45, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ничего не падает. Или ты про нуво?
     
  • 2.18, Crazy Alex (ok), 13:56, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/l4rz/practical-aspects-of-stylegan2-training - "I can confirm that SG2 training works on AMD GPUs"
     
     
  • 3.25, Аноним (4), 17:15, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    на голом ЦПУ тоже в принципе works. Может даже на ЦПУ-ах образца 1996-го года. Вопрос в производительности.
     
  • 2.38, Nuzhny (?), 06:01, 06/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >Обратите внимание, что никакого тухлого OpenCV здесь нет.

    Вообще-то есть и в зависимостях, и в коде

     

  • 1.8, ыы (?), 12:04, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    особенно порадовало преобразование тачки в рыдван...
     
     
  • 2.20, commiethebeastie (ok), 14:49, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Плакали всем Канзасом.
     

  • 1.9, YetAnotherOnanym (ok), 12:08, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Уилла Смита укусила сенатор Петренко?
     
  • 1.13, Аноним12345 (?), 12:47, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >> При этом система может быть обучена не только для искажения лиц людей

    Мдя ...

     
  • 1.14, Аноним (14), 13:08, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Классная вещь. Для народа-зрелище, для спец.служб-хлеб.
     
     
  • 2.15, ыы (?), 13:21, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    теперь им для искажения лиц людей не надо отрываться от экрана?
     
     
  • 3.28, ano1492 (?), 19:17, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Не. Теперь, подростка, бросившего пластиковый стаканчик, смогут найти и опознать и через 50 лет.
     

  • 1.29, Аноним (29), 20:31, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Эти бы всякие нейросети да в Гимп...
     
     
  • 2.31, prokoudine (ok), 22:17, 03/12/2021 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/kritiksoman/GIMP-ML
     

  • 1.32, vitalif (ok), 22:43, 03/12/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    По ходу отделы дизайнеров автопроизводителей можно распускать
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру