The OpenNET Project

 
Поиск (теги):    НОВОСТИ (+) КОНТЕНТ WIKI MAN'ы ФОРУМ twitter

14.07.2016 21:31  Dropbox опубликовал реализацию алгоритма сжатия изображений Lepton

Разработчики из компании Dropbox представили новый алгоритм сжатия изображений без потерь, применяемый для обеспечения экономии дискового пространства при хранении пользовательских изображений, уже сжатых в формате JPEG. Lepton позволяет сократить размер изображения JPEG в среднем на 22% без потери информации и с возможностью полностью бит в бит воссоздать исходный файл. Библиотека с реализацией алгоритма и сопутствующий набор утилит распространяется под лицензией Apache 2.0.

Реализация отличается высокой производительностью - на системе с CPU Intel Xeon E5 2650 (2.6GHz) сжатие производится со скоростью 5 мегабайт в секунду, а восстановление оригинала со скоростью 15 мегабайт в секунду, что позволяет организовать обработку изображений на лету и использовать Lepton для потоковой отдачи контента. Потребление оперативной памяти при работе с изображением составляет менее 24 Мб. Lepton применяется в Dropbox для хранения около 16 миллиардов изображений, позволяя компании экономить петабайты дискового пространства.

Используемый в Lepton алгоритм сжатия основан на предсказании коэффициентов кодирования в JPEG-блоках и использования предсказанных параметров для увеличения эффективности работы арифметического кодировщика. Напомним, что формат JPEG разбивает изображения на блоки 8×8 пикселей, которые сохраняются в виде 64 знаковых десятибитовых коэффициентов, при помощи которых можно воссоздать блок при помощи дискретного косинусного преобразования (DCT) и уточняющих параметров.

Уменьшение размера хранимых данных достигается благодаря тому, что рассчитанные коэффициенты не записываются как есть, а подвергаются дополнительному арифметическому кодированию (применяется кодировщик VP8), в котором учитываются данные ранее обработанных секций изображения, а результат сохраняется в формате унарного кодирования. Кроме того, коэффициент, отвечающий за параметры яркости (занимает до 8% размера), с высокой долей вероятности может быть предсказан на основании содержимого остальных коэффициентов. Для достижения 100% точности восстановления, Lepton оценивает разницу между предсказанным и фактическим значением и сохраняет только отличия.

Для повышения безопасности в реализации применяется фильтр seccomp, блокирующий выполнение системных вызовов, за исключением системных вызовов для чтения и записи в уже открытые файловые дескрипторы. Надёжность работы алгоритма проверена путем побитового сравнения восстановленных после кодирования изображений на коллекции из 4 миллиардов фотографий.

  1. Главная ссылка к новости (https://blogs.dropbox.com/tech...)
  2. OpenNews: Представлен FLIF, новый формат сжатия изображений без потерь
  3. OpenNews: Инженеры Dropbox представили новый алгоритм сжатия видео и изображений без потерь
  4. OpenNews: Доступен MozJPEG 3.0, высокоэффективный кодировщик JPEG-изображений от проекта Mozilla
  5. OpenNews: Создатель QEMU и FFmpeg предложил новый формат изображений BPG
  6. OpenNews: Представлен ImageZero, новый lossless-кодек для изображений
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: image, lepton, dropbox
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, VoDA, 21:39, 14/07/2016 [ответить] [смотреть все]
  • –2 +/
    Круто предсказывают! ))) На 22% )))
     
     
  • 2.22, Аноним999, 00:41, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]
  • –1 +/
    Главное, что не  Lipton.
     
     
  • 3.38, KroTozeR, 10:11, 15/07/2016 [^] [ответить] [смотреть все]
  • +7 +/
    Позор!!! Го зубрить школьный учебник физики за 11 класс, раздел "Квантовая физика" по слову "Лептон"!
     
     
  • 4.41, YetAnotherOnanym, 10:25, 15/07/2016 [^] [ответить] [смотреть все]
  • +10 +/
    Два чая этому джентльмену.
     
     
  • 5.87, Ваганыч, 19:15, 15/07/2016 [^] [ответить] [смотреть все]
  • +1 +/
    Два чая Lipton, я надеюсь? ;)
     
  • 4.63, Аноним, 12:43, 15/07/2016 [^] [ответить] [смотреть все]  
  • +4 +/
    Квантовая физика в школьном учебнике? Ее походу на 3 курсе универа проходят.
     
     
  • 5.86, qwe, 18:33, 15/07/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Представьте себе, по программе много что есть.
     
  • 1.2, Аноним999, 21:44, 14/07/2016 [ответить] [смотреть все]  
  • –10 +/
    Лучше бы ДропБокс починил отображение их значка на панели в КДЕ4.
     
     
  • 2.6, Шарп, 22:09, 14/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –3 +/
    Зачем что-то чинить для KDE4, если все сейчас пользуются KDE5?
     
     
  • 3.8, Аноним999, 22:15, 14/07/2016 [^] [ответить] [смотреть все]  
  • –13 +/
    Покажи мне этих всех И покажи кто ещё на KDE4 или ранее И посчитай кого больш... весь текст скрыт [показать]
     
     
  • 4.11, Аноним, 22:20, 14/07/2016 [^] [ответить] [смотреть все]  
  • –4 +/
    Ну мне лично плевать на существование дропбокса, кде, линукса и их проблемы, а н... весь текст скрыт [показать]
     
     
  • 5.37, Аноним, 10:04, 15/07/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Пользователь бзд?
     
     
  • 6.43, scorry, 10:29, 15/07/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Скорее виндовоз.
     
     
  • 7.45, Аноним, 10:42, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Но у нас иконка есть И всегда была И лично я Дропбоксу ничего не платил ... весь текст скрыт [показать]
     
  • 4.39, iPony, 10:15, 15/07/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    А ты посчитал Я вот уверен, что их процент от тех кто деньги заносит будет срав... весь текст скрыт [показать]
     
  • 3.82, Аноним, 16:58, 15/07/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Зачем вообще что то чинить на КДЕ, если есть Гном?
     
  • 2.53, вася, 11:18, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    юзай lxde
     
  • 2.83, Аноним, 18:15, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Багрепорт отправляли?
     
  • 2.92, Аноним, 16:04, 17/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    лучше бы они репутацию починили , уволив часть персонала из АНБ, ЦРУ и госдепар... весь текст скрыт [показать] [показать ветку]
     
  • 1.4, Аноним, 22:04, 14/07/2016 [ответить] [смотреть все]  
  • –2 +/
    Молодцы, хорошо сделали.
     
     
  • 2.23, Аноним999, 00:42, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    > Молодцы, хорошо сделали.

    Ты уже сжимал?

     
     
  • 3.57, tyuiop, 12:19, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Ну я сжимал

    2934224 153.jpg
    2262558 153.lep

     
     
  • 4.62, tyuiop, 12:33, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Кстати, текущая версия большие jpg-и 14MB и выше точно не берёт Worker thread ... весь текст скрыт [показать]
     
  • 2.95, Аноним, 16:43, 17/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    из свободных патентно оно все равно слабее и FLIF и даже отягощенных патентам... весь текст скрыт [показать] [показать ветку]
     
  • 1.9, Роман, 22:15, 14/07/2016 [ответить] [смотреть все]  
  • +11 +/
    0_о Пегий Дудочник??
     
     
  • 2.28, Кирилл72, 03:28, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Ага, я тоже об этом подумал)
     
  • 2.30, _KUL, 06:10, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    было бы упоминание про хранение кодированный байтов у всех юзеров по p2p, тогда ... весь текст скрыт [показать] [показать ветку]
     
  • 2.47, rshadow, 10:47, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Лучше перевод от Кураж-Бомбей посмотри.
     
     
  • 3.84, Аноним, 18:15, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Лучше без перевода.
     
     
  • 4.91, Аноним Анонимович Анонимов, 16:28, 16/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Да ну, это английский учить надо Я лучше арч по гайдам установлю и нескучную те... весь текст скрыт [показать]
     
  • 1.13, angra, 22:43, 14/07/2016 [ответить] [смотреть все]  
  • –2 +/
    А пару десятков лет назад я объяснял юзерам, что картинки архивировать ненужно, так как их нельзя сжать еще больше никаким из имеющихся алгоритмов.
     
     
  • 2.14, Харитон, 22:48, 14/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +4 +/
    Откройте дросселя xz Змеи джепеги где-то также Может медленнее разве что ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.15, Харитон, 22:50, 14/07/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Ого автозамена ... весь текст скрыт [показать]
     
  • 3.17, Аноним, 23:47, 14/07/2016 [^] [ответить] [смотреть все]  
  • –4 +/
    Проорал.
     
  • 3.24, angra, 00:56, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Да что вы говорите Взял первые пять попавшихся jpg, -rw-r--r-- 1 root root 1... весь текст скрыт [показать]
     
     
  • 4.32, Anonymous2, 08:52, 15/07/2016 [^] [ответить] [смотреть все]  
  • +4 +/
    Ого, картинки от рута...

    Нода в докере?

     
     
  • 5.46, Аноним, 10:47, 15/07/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Порнуху рута никто не увидит кроме самого рута Подозреваю, там что-то с тентакл... весь текст скрыт [показать]
     
     
  • 6.52, Аноним, 11:09, 15/07/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    > -rw-r--r--
    > r--
    > никто не увидит
     
     
  • 7.56, Аноним, 12:12, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Мда, теряю сноровку, мля.. :(
     
     
  • 8.60, angra, 12:28, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Сейчас скажу страшное для вас обоих, возможность просмотреть файл определяется н... весь текст скрыт [показать]
     
  • 5.58, angra, 12:24, 15/07/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Время модификации ни на какие мысли не наводит?
     
     
  • 6.73, Аноним, 13:52, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Всё произошло в течении одной минуты? Ну, может у него не АМД?
     
  • 2.29, x0r, 04:15, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Откройте для себя paq (paq8px)
     
     
  • 3.48, Аноним, 10:48, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    И ещё какую-нибудь неведомую муйню откройте Нужно больше альтернативы ... весь текст скрыт [показать]
     
     
  • 4.80, _, 16:14, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Не понял предъявы Знать - всй равно полезно А так дык даже Dropbox липки ... весь текст скрыт [показать]
     
  • 4.88, Zarat, 23:05, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Все, кто раньше, хоть сколь нибудь, детально интересовались сжатием данных, знаю... весь текст скрыт [показать]
     
     
  • 5.89, Crazy Alex, 00:33, 16/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Ну, то есть paq будет медленнее Lepton раз в 5-10, как минимум Всего-то Что ло... весь текст скрыт [показать]
     
     
  • 6.96, Аноним, 17:48, 17/07/2016 [^] [ответить] [смотреть все]  
  • +/
    если вам скорости то BPG порвет как тузик грелку всех трех, благодаря аппаратн... весь текст скрыт [показать]
     
  • 3.65, Аноним, 12:50, 15/07/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Это который будет сжимать так долго а разжимать ещё дольше , что за это время ... весь текст скрыт [показать]
     
  • 2.33, soarin, 08:53, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Да и пару десятков лет, естественно можно было сжать сжатые картинки Вопрос же ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.67, angra, 12:56, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Пару десятков лет назад rar, zip, arj могли очень редко дать 1 сжатия на картин... весь текст скрыт [показать]
     
     
  • 4.70, Аноним, 13:18, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    А сейчас что-то изменилось Ну, кроме версий этих архиваторов ... весь текст скрыт [показать]
     
     
  • 5.74, angra, 13:57, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Новость прочитать не пробовал?
     
     
  • 6.75, Аноним, 14:02, 15/07/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Не, я не сжимаю картинки У меня даже в iCloud всё хранится несжатое ... весь текст скрыт [показать]
     
     
  • 7.76, Led, 14:23, 15/07/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Макофилы любят большие ... весь текст скрыт [показать]
     
     
  • 8.77, Аноним, 14:53, 15/07/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Да. Мы не жмёмся.
     
     
  • 9.81, _, 16:16, 15/07/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    > Да. Мы не жмёмся.

    На вазелин? :-)

     
  • 7.78, scorry, 15:45, 15/07/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Типа спецом разжимаешь, что ли ... весь текст скрыт [показать]
     
  • 4.79, soarin, 15:51, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Какая связь ... весь текст скрыт [показать]
     
     
  • 5.97, Ordu, 17:54, 17/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Если вы, цитируя, не будете выкидывать существенные куски контекста, то вы не по... весь текст скрыт [показать]
     
     
  • 6.99, iPony, 09:49, 18/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Ну так от этого оригинальная фраза не перестаёт быть враньём для юзеров Если был... весь текст скрыт [показать]
     
  • 2.34, shpaker, 08:54, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –6 +/
    Пару десятков дет назад? Юзерам? Это в каком году? В сорок пятом?
     
     
  • 3.35, тоже Аноним, 09:01, 15/07/2016 [^] [ответить] [смотреть все]  
  • +10 +/
    Напечатайте это себе на футболке. Люди при встрече с вами будут хоть как-то подготовлены...
     
     
  • 4.49, Аноним, 10:53, 15/07/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    Ну, пару десятков лет назад ведь не было ещё никаких компьютеров же ж Я сейчас ... весь текст скрыт [показать]
     
     
  • 5.68, тоже Аноним, 13:12, 15/07/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Советским - смогло бы. А вот хлипким китайским кокос не расколешь.
     
     
  • 6.71, Аноним, 13:25, 15/07/2016 [^] [ответить] [смотреть все]  
  • +/
    Во http www 3dnews ru assets external illustrations 2012 09 11 635006 iclassi... весь текст скрыт [показать]
     
  • 1.18, Аноним, 23:49, 14/07/2016 [ответить] [смотреть все]  
  • +1 +/
    На чём ... весь текст скрыт [показать]
     
     
  • 2.19, кругомогорожено, 00:01, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    На 5 и 15 мегабайтах в секунду, соответственно.
     
  • 2.21, Штунц, 00:12, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +3 +/
    > На чем?

    На кластере из квантовых компьютеров

     
  • 2.50, Аноним, 10:55, 15/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    > На чём?

    Ну явно не на вашем дисководе.

     
  • 1.26, cmp, 01:52, 15/07/2016 [ответить] [смотреть все]  
  • +/
    То есть, оклонения от статистического дефолта, показали бы этот дефол, интересно котик или селфи с утиными губками))
     
  • 1.27, Аноним, 02:59, 15/07/2016 [ответить] [смотреть все]  
  • +/
    >>коллекции из 4 миллиардов <приватных> фотографий

    магнет пожалуйста

     
  • 1.31, Аноним, 07:20, 15/07/2016 [ответить] [смотреть все]  
  • +3 +/
    Так вот почему у них картинки по полчаса скачиваются?
     
  • 1.40, iv, 10:21, 15/07/2016 [ответить] [смотреть все]  
  • +/
    > Потребление оперативной памяти при работе с изображением составляет менее 24 Мб.

    Независимо от размера картинки, архитектуры и оси?

     
     
  • 2.98, Аноним, 00:30, 18/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    бенчмаркинга с разными тестовыми наборами картинок и с разными установками кодэк... весь текст скрыт [показать] [показать ветку]
     
  • 1.42, Аноним, 10:27, 15/07/2016 [ответить] [смотреть все]  
  • +/
    а чё дрмный интел а не амд ? или свет клином
     
  • 1.59, anonymous, 12:25, 15/07/2016 [ответить] [смотреть все]  
  • –1 +/
    Чем это лучше packjpg?
     
     
  • 2.90, Crazy Alex, 01:03, 16/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    По сжатию примерно на том же уровне По скорости - мне сложно судить, так как по... весь текст скрыт [показать] [показать ветку]
     
  • 1.85, Barafu, 18:20, 15/07/2016 [ответить] [смотреть все]  
  • –1 +/
    Хоронили JPEG, порвали 3 стандарта.
     
     
  • 2.94, Аноним, 16:07, 17/07/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    по поводу Jpeg-92 до сих пор споры идут кстати идеальная реализация исходного-т... весь текст скрыт [показать] [показать ветку]
     
  • 1.93, Аноним, 16:05, 17/07/2016 [ответить] [смотреть все]  
  • +/
    не круче BPG увы даже хуже Jpeg-XR, аэто довольно средне по современным меркам... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2016 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by BSH TopList