The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"NVIDIA открыла код системы машинного обучения, синтезирующей..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от opennews (??), 13-Апр-19, 11:19 
Компания NVIDIA опубликовала (https://nvlabs.github.io/SPADE/) исходные тексты системы машинного обучения  SPADE (https://nvlabs.github.io/SPADE/) (GauGAN), позволяющей синтезировать реалистичные пейзажи на основе грубых набросков, а также связанные с проектом нетренированные модели (https://drive.google.com/file/d/12gvlTbMvUcJewQlSEaZdeb2CdOB...). Система была продемонстрирована (https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealist.../) в марте на конференции GTC 2019, но код был опубликован только вчера. Наработки открыты (https://github.com/NVlabs/SPADE) под лицензией CC BY-NC-SA 4.0 (https://creativecommons.org/licenses/by-nc-sa/4.0/) (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch (https://pytorch.org/).


Наброски оформляются в виде сегментированной карты, определяющей размещение примерных объектов на сцене. Характер генерируемых объектов задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в воду, тёмно зелёная в деревья, светло  зелёная в траву, светло коричневая в камни, тёмно коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку. Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов,  от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.

Объекты синтезируются генеративно-состязательной нейронной сетью (GAN (https://ru.wikipedia.org/wiki/%D0%93%D0%...)), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. В отличие от ранее развиваемых систем синтеза изображений предложенный метод основан на применении адаптивного пространственного преобразования с последующей трансформацией на основе машинного обучения. Обработка сегментированной карты вместо семантической разметки позволяет добиться точного соответствия результата и  контролировать стиль.


Для достижения реалистичности применяются две конкурирующие друг с другом нейронных сети: генератор и дискриминатор (Discriminator). Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор начинает компоновать всё более качественные образцы, до тех пор пока дискриминатор не перестанет отличать их от настоящих.

URL: https://github.com/NVlabs/SPADE
Новость: https://www.opennet.ru/opennews/art.shtml?num=50507

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +3 +/
Сообщение от dimchaemail (??), 13-Апр-19, 11:19 
ОГНИЩЕ!!!!!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  –3 +/
Сообщение от Аноним (2), 13-Апр-19, 11:22 
Всё стремится к примитивности. Такими темпами скоро появятся "желтые" заголовки в стиле - "шимпонзе создала картину превосходящую по технике Ван Гога!" и "мой кот повторяет шедевры Пикассо!"
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +25 +/
Сообщение от commiethebeastie (ok), 13-Апр-19, 12:38 
Мой кот умнее анонима.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

16. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +14 +/
Сообщение от Аноним (16), 13-Апр-19, 15:23 
Ей, осторожнее, я и есть твой кот.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Ordu (ok), 13-Апр-19, 13:52 
https://www.brecorder.com/2019/04/11/488194/scientists-put-h.../
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

41. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Попугай Кеша (?), 15-Апр-19, 17:08 
"Планета обезьян" из фантастики становится возможным будущим
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

39. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от qwerty_qwerty1 (?), 15-Апр-19, 10:26 
Искусство, вообще понятие субъективное. Так что да, ваш кот не сможет нечего создать, а вот мои рыбки те да гениальны.  
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +12 +/
Сообщение от Zenitur (ok), 13-Апр-19, 11:27 
А можно ли конвертировать игры для CGA и EGA в HiRes в реальном времени?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (15), 13-Апр-19, 14:41 
Нет, конечно. Оно на питоне написано.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

19. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +2 +/
Сообщение от Аноним (19), 13-Апр-19, 16:50 
На питоне там только обвязка, производительность которой некритична. Сама нейросеть работает нативно.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

20. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (20), 13-Апр-19, 17:06 
Для real-time приложения, а другое для игр не получится, обвязка на питоне сожрёт любые доступные ресурсы
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

25. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +2 +/
Сообщение от Аноним (25), 13-Апр-19, 22:47 
Сказали же - computation graph обученной нейросети не нуждается в обвязке на питоне, конструирующей сеть и обучающей её. Нужна только тупая обвязка на С++, прокидывающая картинку из текстуры OpenGL в код на OpenCL и обратно путём биндинга некоторых объектов, ещё нужна обвязка, грузящая код из файла. Но суперпупер 3д игры не ожидайте - от кадра к кадру пропущенная через сеть картинка будет очень разная, от такой игры даже у здрового человека голова заболит. Для суперпупер 3д надо уметь векторизовать и восстанавливать 3д информацию, а это уже пахнет вокселями и 3д-нейросетью заместо полигональных моделей, а это уже неподъёмно.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

29. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (29), 14-Апр-19, 03:49 
EVE Online на пайтоне. И ничего... работает!
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

31. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от анонимз (?), 14-Апр-19, 07:07 
http://www.the8bitguy.com/243/cga-graphics-not-bad-thought/ ;) в реальности CGA поддерживает емнип 16 цветов, а не 4, но нужен композитный монитор или телевизор
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

45. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Ordu (ok), 16-Апр-19, 19:23 
Круто. Люблю такие исторические ретроспективы. Интересно, будут ли в вузах будущего читать курс истории микрокомпьютеров, где будущие историки будут учится писать скроллеры под cgi, или записывать на 5" дискету 1600Kb? Или всё это так и забудут, так же как многие тысячи пневматических уличных часов, показывавших централизованно синхронизированное время по всему Парижу на стыке XIX и XX веков. Лет же пятьдесят эти часы отработали, а потом их просто вышвырнули на помойку, и забыли успешно. Неблагодарные хомячки-потребители.
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

4. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от freehckemail (ok), 13-Апр-19, 11:34 
Молодцы, что открыли, фигли. Поясните кто-нибудь, кто разбирается, и у кого есть время посмотреть: рисование картин по шаблонам вроде как тема очень не новая, в связи с чем вопрос; в части построения слоёв там что-нибудь принципиально новое есть, или это просто демонстраци того, как оптимизировать это дело под NVidia?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (5), 13-Апр-19, 12:01 
Здесь наглядное сравнение с аналогами https://nvlabs.github.io/SPADE/images/coco_comparison.jpg при обучении на одной и той же коллекции картинок. Насколько я понял принципиальная разница в том, что сеть начинает поступательно улучшать полученную на входе мазню до уровня реализма без отдельной фазы нормализации.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +12 +/
Сообщение от Аноним (6), 13-Апр-19, 12:23 
Драйверы под линь лучше бы написала и открыла
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

26. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  –2 +/
Сообщение от Аноним (25), 13-Апр-19, 22:49 
Зачем, если они и так монополист и всех вертели?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

7. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (7), 13-Апр-19, 12:27 
>Грым не знал точно, как работает доводчик — и никто толком не знал. Дамилола сказал только, что в нём заложен тот же алгоритм, что и в Кае — программа учитывает всё, когда-то сказанное людьми, все бесчисленные смысловые выборы, которые делались в течение веков и сохранились в информационных анналах. Пальцы Грыма как бы управляли армией мёртвых душ, двигавших для него кубики слов.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  –1 +/
Сообщение от Анонимс (?), 13-Апр-19, 12:51 
> Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков

Видимо, скоро актёры в голливуде останутся без работы. Нажал на кнопку, а ИИ тебе сгенерировал 100500 новых, реалистичных актёров, которые будут делать всё, что пожелаешь.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от EuPhobos (ok), 13-Апр-19, 14:12 
Рендерить рожи якобы "знаменитостей" уже умеет
https://youtu.be/VrgYtFhVGmg?t=19
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

14. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +4 +/
Сообщение от Аноним (14), 13-Апр-19, 14:30 
Да и пес с ними с актерами.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

34. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (34), 14-Апр-19, 11:04 
Действительно, что нам актёры? Такое впечатление, что анонимы "Generation П" не читали.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

10. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (10), 13-Апр-19, 13:38 
Кривая гладь воды радует
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Crazy Alex (ok), 13-Апр-19, 14:23 
И давно NC-лицензии стали свободными?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +3 +/
Сообщение от GG (ok), 13-Апр-19, 16:19 
Они не стали, это пропаганда копирастов.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

21. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (21), 13-Апр-19, 17:32 
Да, CC BY-NC-SA 4.0 ограничивает свободу распространения, поэтому называть ее свободной нельзя. И очень странно использование CC для ПО - видимо, нестыковка как раз в этом. Данные лицензии применяют для документов. Ну вот, например, проекты распространяются под GPL v3 (исходники и бинарные сборки для всех ОС), а документация к ним, имеющая самостоятельную литературную и научную ценность, под CC-BY-SA 4.0. Считаю такой подход более корректным.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

23. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от GG (ok), 13-Апр-19, 19:09 
Нет, для документации есть GNU FDL.
Лицензии CC были придуманы и навязаны копирастами для рисованов, чтобы те пилили закопирастеные картинки, которые в свободном ПО использовать или проблематично или вообще невозможно.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

24. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (21), 13-Апр-19, 19:51 
Каждый вправе выбрать сам лицензию или придумать свою. Был приведен только пример. Некоторые нюансы делают GNU FDL менее предпочтительной, чем CC BY-SA, для указанного типа документации. Кстати, о картинках. Недавно один из интересных ресурсов изображений перешел с СС  на собственную лицензию. А Википедия наоборот - с GNU на СС.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

27. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +1 +/
Сообщение от Аноним (25), 13-Апр-19, 22:51 
Вообще-то просто cc-by, cc-by-sa и cc-0 вполне свободные лицензии. И Лессиг против копирастии.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

28. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от GG (ok), 13-Апр-19, 23:38 
Нет, не свободные, т.к. не требуют выдачи исходников в случае производной работы (бинарник, например).
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

35. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от shpinog (?), 14-Апр-19, 13:04 
Слово " требовать" и "свобода", как то странно приравниваются... кто сказала что свободная лицензия должна что-то требовать, MIT.
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

18. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (18), 13-Апр-19, 16:41 
Кто-нибудь картинку с саванным шимпанзе уже проверял?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (22), 13-Апр-19, 17:58 
Если бы у "Нашего человека в Гаване" была такая штука, ему не пришлось бы срисовывать чертежи пылесоса...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (-), 14-Апр-19, 05:12 
чистый синтез это процедурная генерация(ассембл.+ Си) а тут просто микширование картинок по шаблонам с добавлением эффектов. На современных видяхах используя чистую генерацию можно творить невероятные реалтайм шедевры умещающиеся в пару мегабайт вместо сотен гигов машинно обученой базы.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (32), 14-Апр-19, 09:06 
> На современных видяхах используя чистую генерацию можно творить невероятные реалтайм шедевры умещающиеся в пару мегабайт

Ссылки на (желательно, свободные) примеры в студию.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

37. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Vitaliy Blatsemail (?), 14-Апр-19, 17:38 
Каждая школота знала про Bryce.

Ты из поколения ЕГЭ шоле ?

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

42. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Попугай Кеша (?), 15-Апр-19, 17:10 
Bryce - зачетная тема, могу еще накинуть - Vue (Avatar) / Terragen (использовался в Sucker Punch)
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

33. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (33), 14-Апр-19, 09:49 
Хаха, осталось только придумать процедуру (и закодить). В этом и прелесть нейронных сетей (грубо говоря, она сама придумывают процедуру). В этом же и её слабость (на ком натренирована).
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

36. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (21), 14-Апр-19, 15:16 
Нейронная сеть не

> придумывают процедуру

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

38. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (38), 14-Апр-19, 19:24 
Грубо говоря же. Вообще, тут долго можно спорить об определениях, что есть обучение, что есть интеллект или мышление.
Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

40. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (40), 15-Апр-19, 11:11 
А можно точно также, но с электронными компонентами?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

43. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Аноним (43), 16-Апр-19, 10:43 
"Послушай, Успенский с тобой говорит. Здесь за окном офигительный вид.". Гуглим дальше.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

44. "NVIDIA открыла код системы машинного обучения, синтезирующей..."  +/
Сообщение от Попугай Кеша (?), 16-Апр-19, 13:38 
На чем научили )
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Ihor
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру