The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Компания Google представила новый алгоритм сжатия данных Brotli"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Компания Google представила новый алгоритм сжатия данных Brotli"  +1 +/
Сообщение от opennews (??) on 22-Сен-15, 13:17 
Компания Google анонсировала (http://google-opensource.blogspot.ru/2015/09/introducing-bro...) алгоритм сжатия данных Brotl, который отнесён к алгоритмам сжатия общего назначения, но позиционируется как решение для минимизации объёма данных, передаваемых по сети.  Спецификация Brotli передана (http://www.ietf.org/id/draft-alakuijala-brotli-05.txt) в комитет IETF (Internet Engineering Task Force), занимающийся развитием протоколов и архитектуры Интернет, в качестве претендента на получение звания интернет-стандарта. В настоящее время Brotli уже применяется в качестве алгоритма сжатия шрифров Web Open Font Format 2.0. Эталонная реализация Brotl написана на языке С++ и распространяется (https://github.com/google/zopfli) под лицензией Apache 2.0.


Brotli демонстрирует (http://www.gstatic.com/b/brotlidocs/brotli-2015-09-22.pdf) уровень сжатия, сопоставимый с лучшими современными методами сжатия общего назначения, но опережая их по скорости кодирования и декодирования. Например, в тесте Canterbury Corpus (http://corpus.canterbury.ac.nz/) алгоритм Brotli превосходит по уровню сжатия LZMA и bzip2 и при этом меньше потребляет ресурсов CPU.

Brotli близок по производительности к алгоритму Deflate (https://ru.wikipedia.org/wiki/Deflate), но превосходит его по степени сжатия. По сравнению с  представленным (https://www.opennet.ru/opennews/art.shtml?num=36267) в 2013 году алгоритмом Zopfli, совместимым с Zlib и Deflate, Brotli позволяет сжимать данные на 20–26% эффективнее.

<center><a href="http://www.gstatic.com/b/brotlidocs/brotli-2015-09-22.pdf&qu... src="https://www.opennet.ru/opennews/pics_base/0_1442916096.png&q... style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>


Brotli является комбинацией современного варианта алгоритма LZ77 (https://ru.wikipedia.org/wiki/LZ77), адаптивного кодирования Хаффмана (https://ru.wikipedia.org/wiki/%D0%9A%D0%...) и методов контекстного моделирования второго порядка (http://www.intuit.ru/studies/courses/1069/206/lecture/5328?p...). При сжатии разнородных данных. Высокий уровень сжатия достигается применением контекстного моделирования второго порядка, повторным использованием кодов энтропии, более крупным размером окна кодирования и использованием совместных кодов распределения (joint distribution code). Компания Google надеется, что в скором времени поддержка данного формата будет реализована во всех основных браузерах (в рамках поддержки Web Open Font Format 2.0), что позволит уменьшить размер передаваемых данных и, как следствие, приведёт к меньшему потреблению энергии при открытии контента на мобильных устройствах.


URL: http://google-opensource.blogspot.ru/2015/09/introducing-bro...
Новость: https://www.opennet.ru/opennews/art.shtml?num=43006

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Компания Google представила новый алгоритм сжатия данных Bro..."  +10 +/
Сообщение от Аноним email(??) on 22-Сен-15, 13:17 
цитата кода
"#define NUM 9  /* Good value: 9. */"
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Компания Google представила новый алгоритм сжатия данных Bro..."  +16 +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 13:20 
В подобной алгоритмике экспериментально подобранные "хорошие значения" сплошь и рядом, особенно на ранних этапах. Иногда потом теория под них находится, иногда - нет.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

28. "Компания Google представила новый алгоритм сжатия данных Bro..."  –5 +/
Сообщение от Аноним (??) on 22-Сен-15, 15:54 
возможно, аноним имел ввиду что лучше написать "const int NUM = 9;"
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

30. "Компания Google представила новый алгоритм сжатия данных Bro..."  +13 +/
Сообщение от pavlinux (ok) on 22-Сен-15, 16:29 
А чё не " const static unsigned short volatile const NUM __attribute__ ((aligned (16))) = 0b1001u;" ?
Ну так, чисто чтоб всех анонимов сразу в моск пробило. :)
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

33. "Компания Google представила новый алгоритм сжатия данных Bro..."  +5 +/
Сообщение от Sw00p aka Jerom on 22-Сен-15, 17:44 
убил
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

43. "Компания Google представила новый алгоритм сжатия данных Bro..."  +4 +/
Сообщение от pavlinux (ok) on 22-Сен-15, 19:57 
> убил

Чорт, забыл inline

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

46. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 22-Сен-15, 20:52 
И дважды const поставил.
А вот register - забыл.
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

47. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от pavlinux (ok) on 22-Сен-15, 22:05 
> И дважды const поставил.

Курить стандарт срочно.

> А вот register - забыл.

Туда же.

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

51. "Компания Google представила новый алгоритм сжатия данных Bro..."  –3 +/
Сообщение от Аноним (??) on 22-Сен-15, 22:32 
>> И дважды const поставил.
> Курить стандарт срочно.
>> А вот register - забыл.
> Туда же.

Вам бы самому тоже не помешало.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

52. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от pavlinux (ok) on 22-Сен-15, 23:37 
Слив засчитан.  
Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

66. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 23-Сен-15, 19:49 
О, Ктулху, что тебя разбудило? :)
Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

69. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от pavlinux (ok) on 23-Сен-15, 20:28 
> О, Ктулху, что тебя разбудило? :)

Осень, велосезон заканчивается, обострение. :-P

Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

2. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 22-Сен-15, 13:20 
оффтоп: изнутри наружу =)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от anonymous (??) on 22-Сен-15, 13:20 
Почему Хаффман, а не арифметическое кодирование?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 13:21 
Потому что хаффман быстрее, скорее всего.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

49. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 22-Сен-15, 22:28 
К тому же вокруг арифметического кодирования патентов много.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

63. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от anonymous (??) on 23-Сен-15, 12:49 
Патент IBM уже давно истек
Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

65. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Andrey Mitrofanov on 23-Сен-15, 19:30 
#>патентов много.
> Патент IBM уже давно истек

Один из "много"?  АргУмент.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

6. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 13:23 
Что-то с графиком странное. deflate:1 медленнее deflate:9? Что за бред?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Компания Google представила новый алгоритм сжатия данных Bro..."  +3 +/
Сообщение от Аноним (??) on 22-Сен-15, 13:30 
все с ним в порядке.....это у вас там...
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от z (??) on 22-Сен-15, 13:34 
Чем больше распаковывается данных из окна совпадений - тем быстрее, т.к. это hot cache, при низком сжатии данные распаковываются меньшими частями, т.е. чаще вычитываются из входного потока, который тоже больше
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 13:40 
А, ну да. Decompression же.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "Компания Google представила новый алгоритм сжатия данных Bro..."  +4 +/
Сообщение от z (??) on 22-Сен-15, 13:43 
Поздно, меняй ник
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

8. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 22-Сен-15, 13:27 
Гугл таки купил Pied Piper?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

38. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от dr Equivalent (ok) on 22-Сен-15, 18:19 
Не, это они Nucleus переименовали.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

14. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 14:09 
Мда, основной вывод - gzip можно выкидывать окончательно - эта штука его перекрывает полностью - и на 1 и на 9 жмёт быстрее и лучше и распаковывает быстрее, чем gzip на аналогичном уровне. bzip2 и подавно идёт лесом - при сравнимом сжатии скорость различается в разы.

А вот lzma в скорости сжатия при сравнимом ratio новичок проигрывает, хотя распаковывает быстрее - то есть надо выбирать в зависимости от задачи. Хотя, моежт, можно уровень 10 подобрать, чтобы был сравним - тогда получится совсем универсал.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Компания Google представила новый алгоритм сжатия данных Bro..."  +4 +/
Сообщение от Аноним (??) on 22-Сен-15, 14:42 
gzip (как и zip), скорее всего, не выкинут, ибо совместимо с любыми системами. А bzip2 уже давно можно выкидывать - примерно со времен появления xz.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

19. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 15:12 
Там, где сжимаешь чаще, чем распаковываешь (бэкапы те же) bzip2 часто интереснее.

А совместимость... нарастёт со временем. Во всяком случае, понятно, в какую сторону двигаться.

Но о zip я ничего не говорил. zip, в отличие от, стал скорее контейнером, чем компрессором. Там само сжатие вообще не критично в большинстве случаев.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

67. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 23-Сен-15, 19:52 
> Там, где сжимаешь чаще, чем распаковываешь (бэкапы те же) bzip2 часто интереснее.

Ничем он не интересный: ресурсоемкий и на сжатие и на распаковку и плохо (по сравнению с другими сильными компрессорами) жмет.

> Но о zip я ничего не говорил. zip, в отличие от, стал скорее контейнером,

При том достаточно дурным, изначально там ограничения на размера файла. А субформат без таковых уже как бы полусовместимый...

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

77. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Crazy Alex (ok) on 24-Сен-15, 02:57 
Cильные - жмут дольше, вообще-то, потому bzip2 и лучше. А в случае тех же бекапов в большинстве случаев их вообще не приходится ни разу распаковывать, а если приходится - время не сильно критично. Но это всё от конкретного случая зависит, конечно.

zip - ну ограничения, но обычно это не особо важно. Часто вы встречали те же офисные документы или jar, которые в эти ограничения не укладываются?

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

80. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Аноним (??) on 24-Сен-15, 23:12 
> Cильные - жмут дольше, вообще-то,

Вообще, сильно зависит от настроек: разогнать большинство "сильных" алгоритмов с небольшой потерей сжатия не особая проблема. А вот bzip2... он просто по современным меркам как-то не очень хорошо жмет, хотя ресурсоемкость и сжатия и распаковки - вполне на уровне.

> это всё от конкретного случая зависит, конечно.

Ну да. Не, коненчо бывают любители пожать .tar.bz2, а потом убив сдуру пару файлов и не имея снапшота - доооооооолго смотреть на декомпрессию 20Гб чушки...

> zip - ну ограничения, но обычно это не особо важно. Часто вы
> встречали те же офисные документы или jar, которые в эти ограничения
> не укладываются?

Насчет офисных документов не скажу, но как именно generic контейнер он таки полусовместимые недограбли. Пожалели несколько байтов в заголовках в свое время, а теперь зато половина софта большие архивы читать не может. И в каком-нибудь navit например - большой зипарь вполне обычное явление. Достаточно всего ничего: планетарные данные OSM захотеть прицепить. И вот уже знакомимся с экзотичным субформатом зипаря, который половина программ просто не поймет...

Ответить | Правка | ^ к родителю #77 | Наверх | Cообщить модератору

29. "Компания Google представила новый алгоритм сжатия данных Bro..."  +5 +/
Сообщение от хрю on 22-Сен-15, 16:25 
>Мда, основной вывод - gzip можно выкидывать окончательно

Есть мнение, что gzip вас переживёт.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

45. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 20:34 
Кхм, ну, пережить меня - это вряд ли, но да, древний мусор болтается долго, даже не имея вообще никаких преимуществ. Что весьма печально.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

72. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 00:44 
Crazy Alex ... Саша, ты дурак!
На "старьё" ресурсы не тратятся. Лежит оно где то в тёмных углах /*bin/* и жрать не просит. Раз в пятилетку его надо перекомплять текущим набором компиляторов, пересобитать с текущей версией [g]libc и прогонять тесты на текущих оЗЪ.вёдрах. Всё. И это изюавит тебя от эшелона гиммороя, если старьё реально выкинуть. АЗЪ!
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

74. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Аноним (??) on 24-Сен-15, 01:46 
и как, много нынче желающих таскать древний compress? Вот gzip куда-то туда же уже метит. Поганенько жмет при том что ресурсоемкость у него вполне себе на уровне иных "LZ+дожатие".

У gzip и вообще deflate - максимум словарь в 32 кило. Это не память, это склероз.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

58. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Ytch (ok) on 23-Сен-15, 03:59 
> Мда, основной вывод - gzip можно выкидывать окончательно - эта штука его перекрывает полностью...

Они разве что про ресурсы как-то тактично умолчали (или это я с ходу не нашел?).

Разве что:

> The test computer we used is an Intel® Xeon® CPU E5­1650 v2 running at 3.5 GHz with six cores and six additional hyper threading contexts.

хотя и:

> All tests were run single­threaded on an otherwise idle computer.

Это может и ни о чем не говорить, конечно, но исходники пока копать лень, а вопросы-то остаются: Будет ли это настолько же круче на сильно более слабом железе? на другой платформе? сможет ли вообще отработать при малом ОЗУ?

Если по всем трем - "да", то тогда gzip может и пора на покой совсем, а так пока есть у него ещё потенциальные ниши где ресурсов совсем мало и архитектура сильно отличается от x86-64.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

61. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 23-Сен-15, 09:59 
Ниш со слабыми ресурсами становится всё меньше и так, разумеется, будет и дальше. Что до разницы архитектур - как минимум, между ARM и x86 я неожиданых различий в плане скорости не видел на довольно широком диапазоне задач - приходится по работе обращать внимание на это.
Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

71. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Ytch (ok) on 23-Сен-15, 23:33 
В "не бытовухе" ресурсы систем растут далеко не так стремительно, хоть в целом и растут, да.
Про архитектурное - речь идет в основном про активное использование всяких mmx, sse, neon и т. п. Само по себе это неплохо и выигрыши очевидны, но за счет этого, на тех платформах где нет технологий, аналогичных используемым авторами алгоритма, уже не скажешь об однозначной победе и что старые алгоритмы пора выкидывать на свалку (бывают и ARM попроще и/или постарее, бывают и вовсе не ARM если мы говорим не о планшетах/телефонах). Тоже самое касается и требований к ОЗУ, с маленьким отличием - если нужных аппаратных возможностей нет в процессоре, то эмуляция просто убъет весь выигрыш, а нехватка ОЗУ не даст работать вообще.
Поэтому, глядя на новые блестящие алгоритмы (я не вот сейчас конкретно про этот - не копался ещё в нем), уделывающих всех и все на разных бенчмарках, я не спешу хоронить старые - слишком часто достигают прям решительного преимущества за счет конкретных оптимизаций на конкретных платформах и при помощи ОЗУ. Повторю, это вовсе не плохо и даже хорошо, просто подходит не везде, а значит и старое списывать пока рановато.

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

88. "Компания Google представила новый алгоритм сжатия данных..."  +/
Сообщение от arisu (ok) on 30-Сен-15, 23:10 
> Они разве что про ресурсы как-то тактично умолчали (или это я с
> ходу не нашел?).

ну, если загнуть все параметры по максимуму — задумается надолго, а прирост почти никакой. если середнячком — то будет относительно (средней температуры по больнице) шустрый, прирост (точнее, убыль размера) по сравнению с deflate не «O_O», но таки иногда приятный. таскать с собой словарь задалбывает — у deflate при желании все таблицы можно построить в рантайме, а тут железными гвоздями вбит словарь (хотя используется не во всех методах, но иметь его надо, чтобы разжимать всё, что пришлют).

ресурсов жрёт, понятно, больше deflate.

p.s. впрочем, я бы сказал, что «сжимать лучше deflate» — это вообще не достижение, а минимально необходимое условие для любого компрессора сложнее, чем «тупо LZ».

в общем, обычный «ещё один алгоритм», где‐то лучше, где‐то хуже, статический словарь дурных размеров дико бесит.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

87. "Компания Google представила новый алгоритм сжатия данных..."  +/
Сообщение от arisu (ok) on 30-Сен-15, 23:03 
> Мда, основной вывод - gzip можно выкидывать окончательно - эта штука его
> перекрывает полностью

особенно по размеру кода и размеру бинарей.

и да, жмёт она не настолько лучше, чтобы стоило скакать от радости. deflate, конечно, давно уже не вершина технологий, но всё не настолько плохо (или хорошо).

и словарь, словарь… фэйспалм.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "Компания Google представила новый алгоритм сжатия данных Bro..."  –2 +/
Сообщение от vitalif email(ok) on 22-Сен-15, 14:37 
только щас представила? эта хрень же в WOFF2 уже хз сколько времени используется
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

34. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 22-Сен-15, 17:59 
что это "WOFF2"?
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

35. "Компания Google представила новый алгоритм сжатия данных Bro..."  +3 +/
Сообщение от Andrey Mitrofanov on 22-Сен-15, 18:07 
> только щас представила?

"Google анонсировала" + "Спецификация Brotli передана [...] в комитет"

> эта хрень же в WOFF2 уже хз сколько времени используется

"В настоящее время Brotli уже применяется в качестве алгоритма сжатия шрифров Web Open Font Format 2.0."

Трудная языка? Понимаю.  Читаю новости вверху -- дорого, паяльник свой.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

16. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 22-Сен-15, 14:41 
Круто, конечно, но не очень понятно при чем тут Интернет. Чтобы им что-то начали жать, надо еще стандартизировать что и когда можно жать и как клиент с сервером об этом могут договориться.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 15:13 
Ну вот они и подали для стандартизации.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

89. "Компания Google представила новый алгоритм сжатия данных..."  +/
Сообщение от arisu (ok) on 30-Сен-15, 23:12 
> Круто, конечно, но не очень понятно при чем тут Интернет.

при том, что они собрали дурных размеров словарь из обрывков слов, чтобы «лучше жать страницы».

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 22-Сен-15, 14:46 
Проталкивают новый формат, а сами не удосужились даже bzip, lzma, ppmd реализовать. В итоге будет как с WebP.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 15:13 
А зачем реализовывать заведомо худшие алгоритмы?
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 22-Сен-15, 15:15 
> А зачем реализовывать заведомо худшие алгоритмы?

Сейчас Chrome поддерживает только gzip, deflate. Перечисленные выше алгоритмы явно лучше этих.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

24. "Компания Google представила новый алгоритм сжатия данных Bro..."  –2 +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 15:27 
Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё лет десять не подохнут.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

25. "Компания Google представила новый алгоритм сжатия данных Bro..."  +3 +/
Сообщение от Аноним (??) on 22-Сен-15, 15:31 
> Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе
> чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном
> случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё
> лет десять не подохнут.

Firefox и остальные как будет на такую монополию смотреть? Конечно же точно также как и на WebP. Тот тоже был лучше и убивал всякий смысл продолжать использовать JPEG, а воз и ныне там.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

36. "Компания Google представила новый алгоритм сжатия данных Bro..."  –2 +/
Сообщение от SysA on 22-Сен-15, 18:08 
>> Ну вот этот и реализуют. Чем убьют любой смысл использования в вебе
>> чего-то кроме. Это, конечно, злоупотребление монопольным положением - но в данном
>> случае я буду аплодировать стоя, потому что иначе старыфе алгоритмы ещё
>> лет десять не подохнут.
> Firefox и остальные как будет на такую монополию смотреть? Конечно же точно
> также как и на WebP. Тот тоже был лучше и убивал
> всякий смысл продолжать использовать JPEG, а воз и ныне там.

Firefox ка бы почти Chrome уже... :)

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

75. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 01:49 
> Firefox и остальные как будет на такую монополию смотреть? Конечно же точно
> также как и на WebP.

Да им тоже прилетело за такую некооперативность: на их apng тоже как-то подзабили.

И вообще, если мозилла будет щелкать клювом - ну ок, у юзерей хрома контент пожатый более сильным алгоритмом будет грузиться быстрее. А юзеры лисы опять в минусе? Ну ок, тогда пусть мозилла не обижается когда у нее останется 2% как у оперы.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

91. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 26-Янв-16, 20:52 
А файрфокс посмотрел... и поддержал в выпуске 44: https://www.opennet.ru/opennews/art.shtml?num=43764
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

26. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от фыва олдж on 22-Сен-15, 15:32 
> bzip, lzma, ppmd

Почитай про zip-бомбы, про скорость сжатия.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

27. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 22-Сен-15, 15:40 
> Почитай про zip-бомбы, про скорость сжатия.

И? gzip и Brotli точно также подвержены этому. Это концептуальная проблема любой архивации, единственным способом нейтрализации которой, являются выставление лимита размера распакованных данных.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

48. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от vitalif (ok) on 22-Сен-15, 22:11 
оно для веба слабо годится
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

70. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Яро Ш. Я. on 23-Сен-15, 21:52 
>В итоге будет как с WebP

С WebP всё прекрасно - я все скриншоты только им и кодирую. Визуально качество как jpeg, а весит в разы меньше

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

76. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 01:50 
> С WebP всё прекрасно - я все скриншоты только им и кодирую.
> Визуально качество как jpeg, а весит в разы меньше

Вообще-то для скриншотов PNG есть. Он вообще lossless. Размер правда как повезет, однородная графика жмется хорошо, а градиентная... ну это не жыпег.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

78. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 03:55 
>С WebP всё прекрасно

Конечно. Но открыть можно только Chrome и Opera которая фактически Chrome.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

81. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 23:17 
> С WebP всё прекрасно - я все скриншоты только им и кодирую.
> Визуально качество как jpeg, а весит в разы меньше

...но есть способ лучше! BARF! http://mattmahoney.net/dc/barf.html - сжимает вообще любые файлы. Быстро. До 0 байтов. И даже может распаковать обратно.

...но правда те кто немного знает математику, начнут что-то подозревать, хотя формально он делает именно то что заявлено :)

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

31. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Аноним (??) on 22-Сен-15, 16:45 
Почему они взяли "LZMA implementation in 7zip 9.20.1"?
7zip 9.20 был выпущен 2010-11-18 и не использовал LZMA2
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "Компания Google представила новый алгоритм сжатия данных Bro..."  +2 +/
Сообщение от Ан (??) on 22-Сен-15, 17:19 
По умолчанию не использовал, но поддержка LZMA2 там уже была.

Вообще эти черти удивляют. Зачем они столько времени бету гоняют и не делают релиз?

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

37. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от абвгдейка (ok) on 22-Сен-15, 18:11 
забавно, судя по графику, он вообще-то на 20% сильнее сжимает, чем deflate9, при этом на 18% медленнее. Так что не надо спешить и сломя голову бросаться менять ваши системы :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

39. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Аноним (??) on 22-Сен-15, 19:09 
Мы разные графики смотрим? Brotli1 и 9 во всех номинациях лучше/быстрее deflate1 и 9, соотв-но.
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

40. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от абвгдейка (ok) on 22-Сен-15, 19:30 
разные deflate9 быстрее Brotli1
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

44. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 22-Сен-15, 20:32 
deflate9 надо менять на Brotli9 - будет быстрее и сжатие, и распаковка, и лучше ратио
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

53. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от абвгдейка (ok) on 23-Сен-15, 00:17 
это если сравнивать "ратио", а если, как гугл, сравнивать "скорость", то получается наоборот :)
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

56. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 23-Сен-15, 00:27 
Так у него и скорость больше. Можете pdf открыть, там цифры есть. deflate проигрывает вообще по всем статьям.
Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

90. "Компания Google представила новый алгоритм сжатия данных..."  +1 +/
Сообщение от arisu (ok) on 30-Сен-15, 23:18 
> Так у него и скорость больше. Можете pdf открыть, там цифры есть.
> deflate проигрывает вообще по всем статьям.

а теперь ограничим доступную память 64-мя килобайтами.

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

50. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Ilya Indigo (ok) on 22-Сен-15, 22:30 
А как его самостоятельно с p7zip сравнить по скорости, степени сжатия и потреблению ресурсов?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

57. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Crazy Alex (ok) on 23-Сен-15, 00:29 
В новости есть сылка на гитхаб
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

59. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 23-Сен-15, 08:57 
гугл таки купил фирму "пегий дудочник" (крысолов) ? =D
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

60. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Аноним (??) on 23-Сен-15, 09:39 
И чем же он лучше arj?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

62. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Джо on 23-Сен-15, 10:30 
а что там насчет lzo
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

68. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 23-Сен-15, 19:54 
> а что там насчет lzo

То же что и LZ4: алгоритмы другой весовой категории. Они на скорость ориентированы, при приемлимом сжатии. А эти - на степень сжатия, при приемлимой скорости. Очень разные оптимизации.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

83. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Led (ok) on 26-Сен-15, 01:30 
> а что там насчет lzo

Не нужен при наличии lz4

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

64. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 23-Сен-15, 13:01 
какой у него коэффициент Вальцмана?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

73. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 24-Сен-15, 01:21 
> какой у него коэффициент Вальцмана?

7

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

79. "Компания Google представила новый алгоритм сжатия данных Bro..."  –1 +/
Сообщение от Аноним (??) on 24-Сен-15, 13:38 
с ходу что получилось
hobot@SERVER:~/WORK/brotli/tools# time cat bro |./bro > bro.bro

real    0m2.487s
user    0m2.444s
sys     0m0.040s
hobot@SERVER:~/WORK/brotli/tools# ls -lh /bin/^C
hobot@SERVER:~/WORK/brotli/tools# time cat bro |gzip > bro.gzip

real    0m0.053s
user    0m0.044s
sys     0m0.008s
hobot@SERVER:~/WORK/brotli/tools# ls -lh ./bro*
-rwxr-xr-x 1 root root 947K сент. 24 12:33 ./bro
-rw-r--r-- 1 root root 243K сент. 24 12:35 ./bro.bro
-rw-r--r-- 1 root root 426K сент. 24 12:35 ./bro.gzip

2.4 секунды с bro и 50ms с gzip

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

82. "Компания Google представила новый алгоритм сжатия данных Bro..."  +1 +/
Сообщение от Аноним (??) on 24-Сен-15, 23:22 
> 2.4 секунды с bro и 50ms с gzip

А ничего что bro у вас кажись фигарил с максимальным сжатием? И в результате уделал gzip-а по сжатию ... всего-ничего, В ДВА РАЗА. И да, там нелинейная зависимость: улучшить результат сжатия в 2 раза вообще удается далеко не всегда и тем более это сложнее не в 2 раза. Поиск например более удачных совпадений, повышающий степень сжатия - очень быстро становится крайне медленной операцией. Практические реализации LZ-based - забивают по некоторому таймауту на поиск "еще более удачного совпадения", иначе они будут вкалывать ооооочень долго.

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

84. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Аноним (??) on 26-Сен-15, 13:58 
Предполагаю, что результаты вашего теста некорректны, т.к. в первом случае файл поднимался с диска, а во втором уже из page cache.
Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

85. "Компания Google представила новый алгоритм сжатия данных Bro..."  +/
Сообщение от Evolve32 (ok) on 28-Сен-15, 07:31 
А почему они про zstd забыли в тесте?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

86. "Компания Google представила новый алгоритм сжатия данных..."  +/
Сообщение от arisu (ok) on 30-Сен-15, 22:58 
…а ещё дурацкого словаря, высосаного из… неизвестно октуда (обрывки русского в нём умилили), и дичайших тормозов при попытке чуть‐чуть подкрутить уровень сжатия. плавали, знаем, не впечатлило.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру