The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В рамках проекта subpixel подготовлена нейронная сеть для восстановления изображений

02.10.2016 10:59

Лаборатория Tetrachrome открыла исходные тексты проекта subpixel, в рамках которого подготовлена реализация свёрточной нейронной сети, выполняющей работу по восстановлению качества изображений. Система может использоваться для воссоздания промежуточных пикселей изображения, утерянных в результате масштабирования, или для повышения качества деталей на общих снимках. Иными словами, subpixel предоставляет средства для обратного масштабирования с восстановлением утраченной пиксельной детализации. Код открыт под лицензией MIT.

Например, subpixel позволяет довести до узнаваемого вида пикселизированное изображения лиц, запечатлённых на камеру наблюдения, в обычных условиях невоспринимаемых из-за недостаточной детализации. Для предсказания недостающих пикселей в Subpixel используется нейронная сеть на базе пакета Tensorflow в сочетании с наработками в области компьютерного зрения и машинного обучения.



  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Google открыл код SyntaxNet, системы восприятия естественного языка
  3. OpenNews: Открыт код системы машинного обучения TensorFlow, разработанной командой Google Brain
  4. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/45263-tensorflow
Ключевые слова: tensorflow, pixel, image
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (70) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:12, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +15 +/
    Лучше скажите, нет ли чего для восстановления детализации картинки на основе нескольких изображений. Есть видеозапись ДТП с камеры наблюдения, где номер скрывшегося виновника аварии в отдельных кадрах размыт до контуров. Но кадров много и контуры меняются.
     
     
  • 2.2, анонимм (?), 11:31, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Интересная задача, подскажите пожалуйста,мне бы тоже пригодилось
     
  • 2.5, aliceklipper (ok), 11:57, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Вот, например:
    http://www.sciencedirect.com/science/article/pii/S0032063315003591
    Тут, правда, речь идёт про фотки Марса, но суть та же: есть несколько снимков одного и того же места, из них мы получаем один снимок лучшего качества.

    Ну и вообще гугли публикации по super-resolution, там много интересного.

     
  • 2.7, Андрей (??), 12:22, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Похожее цифровые мыльницы научились делать чуть-ли ни 10 лет тому назад. Вроде бы с целью уменьшения шумов: несколько кадров при слабом освещении дают один кадр с... именно заметно лучшим разрешением (для такой освещённости), т.к. меньше шумов.
     
     
  • 3.18, Mihail Zenkov (ok), 14:07, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не так там все просто: даже при съемке с одной точки камера немного смещается в каждом кадре. Нужно провести сложное преобразование для точного совмещения нескольких снимков. В итоге шумов меньше, но и детали понемногу размываются.
     
     
  • 4.58, Аноним (-), 04:14, 09/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Так это хорошо что смещается - если есть несколько кадров, в них попадет больше информации. Нет никакого смысла захватывать один и тот же кадр два раза - произвольное количество таких дублей можно получить при помощи memcpy().
     
     
  • 5.60, Mihail Zenkov (ok), 13:23, 09/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Нет. Весь смысл операции уменьшении искажений вносимых оцифровывающем устройством (в нашем случае - сенсором камеры). А конкретно - в уменьшении шумов и ошибки квантования. Снимая неподвижную картинку мы получаем постоянный (неизменный и идеальный - без шумов и искажений) поток информации, на который накладываются искажения сенсора. Те искажения, которые для каждого захвата будут разными (шум, ошибки квантования), при сложении множество кадров будут уменьшаться.

    Если же информация будет меняться при каждом захвате - ничего не хорошего не получится. Для наглядности сделайте снимок с длиной выдержкой неподвижной камерой, а затем движущейся.

    Если интересна тема - смотрите "AVR121: Enhancing ADC resolution by oversampling", там подробно с графиками рассказывается как из АЦП на 10 бит получить 11-16 бит.

     
     
  • 6.62, Аноним (-), 09:06, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В этой логике есть некоторый промах Вы считаете что ошибка измерений может быть... большой текст свёрнут, показать
     
     
  • 7.63, Mihail Zenkov (ok), 14:06, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, я специально отметил Те искажения, которые для каждого захвата будут b ра... большой текст свёрнут, показать
     
     
  • 8.64, Аноним (-), 18:07, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Хм, действительно Значит вы в курсе и я прокапитанил А вот это зависит от ко... большой текст свёрнут, показать
     
     
  • 9.65, Mihail Zenkov (ok), 21:12, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Стыковка нескольких фотографий с разной экспозицией приминается при большом коли... текст свёрнут, показать
     
     
  • 10.66, Аноним (-), 22:46, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Динамический диапазон у матриц значительно меньше чем у глаза, даже у лучших Уп... большой текст свёрнут, показать
     
     
  • 11.68, Mihail Zenkov (ok), 00:52, 14/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Так же, как у современных камер, у глаза - 10-14 бит Вы также не видите деталей... большой текст свёрнут, показать
     
     
  • 12.70, Аноним (-), 07:56, 14/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Проблема в том что глаз оперативно адаптируется и поэтому человк может разглядет... большой текст свёрнут, показать
     
     
  • 13.71, Mihail Zenkov (ok), 14:28, 14/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Я к тому, что непринципиально - что сжимать 12-14 бит в 8 или 20 в 8 - в любом с... большой текст свёрнут, показать
     
     
  • 14.73, Аноним (-), 16:09, 15/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это принципиально при обработке и преобразованиях если информации нет - это сов... большой текст свёрнут, показать
     
  • 2.16, nuzhny (?), 13:35, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Метод называется superresolution. Вроде как даже в последней версии OpenCV есть вариант реализации. Так что надо пробовать.
     
     
  • 3.19, Mihail Zenkov (ok), 14:08, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Для superresolution погрешность совмещения снимков должна быть менее пиксела, что без штатива не реально.
     
     
  • 4.42, КО (?), 09:07, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >> Камеры наблюдения (в вопросе Анонима), обычно приколочены к стене дома. :)
     
     
  • 5.47, Mihail Zenkov (ok), 12:21, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да, но насколько я понимаю, номер (вместе с автомобилем) движется, иначе он не был бы размыт.


     
     
  • 6.59, Аноним (-), 04:17, 09/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Да, но насколько я понимаю, номер (вместе с автомобилем) движется, иначе он
    > не был бы размыт.

    Что не мешает попытаться состыковать желаемые регионы на манер того же hugin-а.

     
     
  • 7.61, Mihail Zenkov (ok), 13:32, 09/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Вы скорее всего имеете ввиду совмещение из-за недостаточной глубины резкости (часть в фокусе, часть размыта). Для этого случая это не применимо.

    1. Глубина резкости у камер наблюдений большая.
    2. Размытие вызвано длиной выдержкой: не хватало света или большая скорость движения объекта.


     
     
  • 8.67, Аноним (-), 23:01, 13/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Видеокамера не сможет слишком уж длинную выдержку, реалтайм не ждет Так что нав... текст свёрнут, показать
     
     
  • 9.69, Mihail Zenkov (ok), 01:13, 14/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Точно не скажу, но скорее всего камера просто очищает матрицу не после каждого к... текст свёрнут, показать
     
     
  • 10.72, Аноним (-), 21:15, 14/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это софт или аппаратный блок image processing, если он есть в SoC прикалываетс... текст свёрнут, показать
     
  • 2.20, Mihail Zenkov (ok), 14:11, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Лучше скажите, нет ли чего для восстановления детализации картинки на основе нескольких
    > изображений. Есть видеозапись ДТП с камеры наблюдения, где номер скрывшегося виновника
    > аварии в отдельных кадрах размыт до контуров. Но кадров много и
    > контуры меняются.

    Не совсем то, но возможно поможет: http://refocus-it.sourceforge.net

     
  • 2.24, trustno1 (?), 15:30, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    На Хабрахабре есть отличный цикл статей Владимира Южникова про слепую деконволюцию и разработку приложения, её реализующую.
    https://habrahabr.ru/users/yuvladimir/topics/

    Кроме того

    Исправление смазанных фотографий в новой версии Photoshop
    https://habrahabr.ru/post/130198/

     
  • 2.29, DeadLoco (ok), 18:14, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Апскейлишь все 16-32х, совмещаешь со скьюингом по ключевым точкам, перемножаешь и даунскейлишь обратно.
     
  • 2.31, Аноним (-), 21:14, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Такое для астрономии есть. Из нескольких изображений одного объекта делается одно. При этом детализация и выдержка как бы увеличиваются. Точно софта не помню, извините.
     
     
  • 3.51, Аноним (-), 15:05, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Registax например
     
  • 2.54, Devider (ok), 21:08, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Чтобы это проканало в ГИБДД, Вам придется нобелевку по математике получить.
     
     
  • 3.55, Mihail Zenkov (ok), 21:25, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Обычно проблемно найти нарушителя, а доказать можно иным способом (повреждение/остатки лакокрасочного покрытия). Более того - у нас (Беларусь) записи с видеорегистратора не имеют юридической силы, но на практике имеют решающее значение.

     

  • 1.3, angra (ok), 11:44, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Ну теперь еще остается написать нейронную сеть, которая взламывает любой комп после набирания на клавиатуре 'upload virus' или вообще произвольного набора символов без пробелов, и компьютерные сцены в фильмах перестанут вызывать улыбку.
     
     
     
    Часть нити удалена модератором

  • 3.22, омномномнимус (?), 15:20, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    https://www.youtube.com/watch?v=ZmhMsa015sQ :-)
     
  • 3.26, Disaron (ok), 16:20, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ага, даже ip адреса стали на правильные похожи, а не на что-то типа 414.260.680.22
    Правда вирусы на питоне пишут...
     
     
  • 4.48, Аноним (-), 13:12, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Mr. Robot?
     
  • 3.49, Аноним (-), 15:01, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Из блокбастеров, в деталях правда не помню:
    Форсаж. Симпотная девочка создала чип, который позволял взломать любую камеру на планете под любой ОС и распознавать лица, в реальном времени.
    Всякий Марвел(одна Минута Славы Фейлтрона чего стоит), ну это вообще треш и угар.
    Сериал Кастл, там вообще была атака котиками(!) и конечно же "о нет, сейчас он сбросит бомбу, я не успеваю, ааа, всю инфу стер!"
     

  • 1.4, john123 (ok), 11:52, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/

    А на самом деле слева голубоглазая, одного зуба не хватает и шрам на левой щеке.
    Нейросеть обучили когнитивным искажениям.
     
     
  • 2.23, all_glory_to_the_hypnotoad (ok), 15:25, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ну и вообще кажется же что правая немного улыбвается, а на додуманном варианте всё совсем не так.
     
     
  • 3.33, KOT040188 (ok), 22:06, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    to'/Z вам секрет открою, только вы никому не говорите: первая пара фотографий на самом деле вторая, и наоборот…
     
  • 2.35, Анонимс (?), 22:16, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    если узко-узко прищурится на исходное изображение и немного абстрагироваться - результат близок к нейросети, у правой нос немного поуже.
     

  • 1.8, YetAnotherOnanym (ok), 12:31, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    > subpixel позволяет довести до узнаваемого вида пикселизированное изображения лиц, запечатлённых на камеру наблюдения, в обычных условиях невоспринимаемых из-за недостаточной детализации.

    Вот я посмеюсь, когда кого-то признают виновным на основании такой восстановленной картинки, а потом окажется, что это был кто-то другой. И какой иск этот человек влепит авторам сего поделия.

     
     
  • 2.11, Аноним (-), 12:52, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >какой иск этот человек влепит авторам сего поделия.

    если бы это было возможно, то пострадавшие от кухонных ножей разорили бы исками производителей утвари.

     
     
  • 3.17, ПолковникВасечкин (?), 13:40, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В США это вполне возможно, а чтобы избежать исков, производитель пишет disclaimer к своим изделиям.
    Не написал -- ССЗБ.
     
  • 2.25, all_glory_to_the_hypnotoad (ok), 15:30, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В штатах судья решает что подходит под улики, а что нет. И вообще там же нет призумпции невиновости и бывает что вполне достаточно просто подозрений чтобы закрыть человека на лет 20. Так что всё зависит от адвоката, если сумеет разыграть шоу и затроллить улику, то восстановленную картинку может быть и не будут учитывать.
     
     
  • 3.27, Crazy Alex (??), 16:42, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Что, блин?

    Из википедии: In many states, presumption of innocence is a legal right of the accused in a criminal trial, and it is also regarded as an international human right under the UN's Universal Declaration of Human Rights, article 11

     
     
  • 4.36, Аноним (-), 22:25, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    какое слово тут не ясно?
    In many == In All - что-то не ясно ?
     

  • 1.9, Ordu (ok), 12:44, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    А если взять исправленную фотографию, и исправить её ещё раз? А потом ещё и ещё? Можно ли из одного пикселя получить HD картинку?
     
     
  • 2.12, Аноним (12), 13:24, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    вплоть до 4К и стереоэффекта... смишно* вы шутите.
     
  • 2.21, Mihail Zenkov (ok), 14:20, 02/10/2016 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > А если взять исправленную фотографию, и исправить её ещё раз? А потом
    > ещё и ещё? Можно ли из одного пикселя получить HD картинку?

    Теоретически можно, но она совершенно не будет соответствовать оригиналу. Нельзя восстановить утраченную информацию. Программа "додумывает" детали на основании предыдущего опыта.

     
     
  • 3.52, YetAnotherOnanym (ok), 15:49, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Есть забавный рассказ "Будни Модеста Павловича" про попытку создать информацию из ничего.
     
     
  • 4.74, PSV (?), 15:26, 06/11/2017 [^] [^^] [^^^] [ответить]  
  • +/
    + (долго сам вспоминал название, спасибо!)
     
  • 2.40, x0r (??), 02:34, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Не вы первый: http://img0.joyreactor.cc/pics/post/fuuuu-auto-111812.jpeg
     
     
  • 3.53, YetAnotherOnanym (ok), 15:52, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Не вы первый: http://img0.joyreactor.cc/pics/post/fuuuu-auto-111812.jpeg

    О, пасиб! Тоже эту картинку вспомнил, только не знал, как её найти.

     

  • 1.10, Аноним (-), 12:48, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А есть инструкция как это запустить?
     
  • 1.13, Аноним (-), 13:25, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Вот ещё есть аналог: https://github.com/david-gpu/srez
     
  • 1.28, vit (??), 17:45, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    круууть! наконецто киношный прием притварен в жизнь!!!
     
     
  • 2.50, Аноним (-), 15:05, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > круууть! наконецто киношный прием притварен в жизнь!!!

    До киношного еще как без рук, ног и летательных средств до Луны.

     

  • 1.30, Аноним (-), 19:53, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +17 +/
    Теперь японскую порнуху можно будет розпикселить
     
     
  • 2.57, Аноним (-), 16:08, 07/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ага интересно что после такого обучения эта нейронная сеть будет в обычных фотках рисовать :D
     

  • 1.32, Necrogrinder (ok), 21:49, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Что за фигня. В кино с 2000-ых годов у всяких ЦРУ, лучше улучшение качества.
     
  • 1.34, Аноним (34), 22:13, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересены последствия многократного прогона изначально ужатого изображения через сию приблулу, потом опять ужатого и так несколько (десятков?) итераций =))
    Что-то наподобие многократного машинного перевода ((английский->русский)^английский)*N
     
     
  • 2.56, axredneck (?), 00:49, 04/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Красивый узор Тьюринга будет.
    А вообще мне тоже хотелось бы на это поглядеть.
     

  • 1.37, Аноним (-), 23:01, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Только в реальных делах, вроде восстановления фото лиц для уголовного розыска эта фигня бесполезна. Ибо не увеличивает количества информации о картинке, а только достраивает один из возможных вариантов по уже известным примерам.
     
     
  • 2.46, Анонимум (?), 10:42, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Семь новых шапок из одной овцы не сделаешь никак. (C)
     

  • 1.38, Necrogrinder (ok), 23:12, 02/10/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Так дома сейчас я могу использовать или мне квантовый комп нужен?
     
     
  • 2.39, Аноним (-), 00:04, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Так дома сейчас я могу использовать или мне квантовый комп нужен?

    Плазменный генератор и гравицапа нужны.

     
     
  • 3.41, ОШИБКА Отсутствуют данные в поле Name (?), 04:34, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Без КЦ негде достать!
     
     
  • 4.43, commiethebeastie (ok), 09:30, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    1 рубль в магазине.
     
     
  • 5.44, пучапучс (?), 09:56, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    там без цкешника - надо в центр везти, проверять.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру