The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

Сжатие данных в протоколе HTTP (web http compress perl cgi zip)


<< Предыдущая ИНДЕКС Поиск в статьях src Установить закладку Перейти на закладку Следующая >>
Ключевые слова: web, http, compress, perl, cgi, zip,  (найти похожие документы)
From: Дмитрий Иванов <dimss@solutions.lv.> Date: Wed, 20 Apr 2005 14:24:41 +0600 (YEKST) Subject: Сжатие данных в протоколе HTTP Благодаря автоматической генерации, сложной разметке и внедрению Unicode, современные web-страницы могут иметь довольно большой размер в байтах. Это значит, что для их пересылки по сети требуется больше времени. Хорошо, когда канал связи "толстый", и скорость передачи высокая. В этом случае лишние 100-200 килобайт погоды не делают. Совсем другое дело, когда ваш клиент сидит на модеме или GPRS-телефоне на каком-нибудь хуторе близ Диканьки, или же сервер подключен к Сети через асимметричную ADSL-линию. Здесь каждый килобайт дорог, особенно если кого-то из вас попросят заплатить денег за передачу этого килобайта. В протоколе HTTP, используемом для World Wide Web, предусмотрена возможность сжатия передаваемых данных. Для этого могут применяться способы сжатия, сходные с программами вроде zip, gzip, bzip2, rar и т.д. Но сжатые сервером данные (например, передаваемая HTML-стрница) не записываются в файл на диске, а сразу передаются клиенту в сжатом виде (по аналогии с "трубами" Linux или Unix). При этом может быть достигнута существенная экономия трафика и времени передачи. Из практики известно, что не все типы файлов сжимаются одинаково хорошо. Длинный русский текст в кодировке КОИ-8, например, может быть сжат архиватором bzip2 в 3-4 раза. Ещё лучше сжимаются HTML-документы, благодаря повторяющимся элементам разметки. Совсем плохо сжимаются JPEG-картинки, потому что к ним уже применено арифметическое кодирвание (это заключительный этап процесса сжатия JPEG). Вывод: не для всех типов передаваемых данных целесообразно применять сжатие. Наибольший смысл оно имеет для HTML-страниц, так как они хорошо сжимаются и имеют большой размер. Клиент, способный принимать информацию в сжатом виде, сообщает об этом серверу при помощи заголовка Accept-Encoding: GET /~dimss/ HTTP/1.1 Host: localhost ........ (часть заголовков опущена для ясности) Accept-Encoding: gzip,deflate ........ Сервер, видя такой заголовок, имеет право сжать содержимое своего ответа одним из предложенных методов. О том, что данные передаются в сжатом виде, сервер извещает клиента заголовком Content-Encoding: HTTP/1.x 200 OK ........ (часть заголовков опущена для ясности) Content-Encoding: gzip ........ Content-Type: text/html; charset=utf-8 [сжатые данные, на вид -- полная абракадабра] Использование сжатия оговаривается в спецификации протокола HTTP/1.1 (документ RFC 2616). Спецификацией предусмотрено три способа сжатия: deflate (RFC 1951), compress (аналогичен Unix-программе compress) и gzip (RFC 1952, аналогичен Unix-программе gzip). Наиболее практичным является метод gzip. Его поддерживают большинство современных Web-клиентов, таких как MS Internet Explorer, семейство Mozilla, Konqueror и др. Встречаются клиенты, не поддерживающие gzip, например, текстовый броузер links. Естественно, сжатие на стороне сервера требует дополнительных ресурсов. Но сжатие 200-300 килобайт текста совершенно незаметно во времени, даже если на вашем сервере используется процессор Pentium 100 MHz (на таком "сервере" я проводил эти эксперименты). Если HTML-страница генерируется динамически, то время генерации почти наверняка будет превышать время сжатия результата. А выигрыш во времени передачи по медленной линии получается существенный, до 2-3 раз. Поэтому использование сжатия для динамических HTML-документов целесообразно, несмотря на дополнительную процедуру сжатия. Статические HTML-документы можно хранить в сжатом виде, и разжимать перед передачей, если клиент не понимает gzip. Эти функции можно возложить на Web-сервер, см. далее. Достаточно теории. Рассмотрим внедрение сжатия gzip на примере простого CGI-скрипта, написанного на языке Perl. Изначально скрипт имел вид: #!/usr/bin/perl my $c = '<html>Это как-бы документ</html>'; print "Content-Type: text/html; charset=koi8-r\n\n"; print $c; Для сжатия gzip воспользуемся библиотекой Zlib. Это быстрее, чем вызывать внешнюю программу gzip. #!/usr/bin/perl use Compress::Zlib; my $c = '<html>Это как-бы документ</html>'; # Добавились четыре строки if(($ENV{HTTP_ACCEPT_ENCODING} || '') =~ /gzip/){ $c = Compress::Zlib::memGzip($c); print "Content-Encoding: gzip\n"; } print "Content-Type: text/html; charset=koi8-r\n\n"; print $c; Приведённый пример должен быть ясен и тем, кто не программирует на языке Perl. Естественно, внедрение сжатия в прикладном коде -- это не лучший вариант. О сжатии должна заботиться среда программирования или сам Web-сервер. Так, язык PHP позволяет автоматически сжимать передаваемые страницы, для этого в php.ini есть опция zlib.output_compression. Удивительно, что немногие администраторы и PHP-программисты эту возможность используют. Модули поддержки сжатия существуют для большинства Web-серверов. Для сервера Apache 1.3 существуют дополнительные модули mod_deflate и mod_gzip. Другой вариант mod_deflate входит в комплект поставки Apache 2.0. Сжатие gzip поддерживается набирающим популярность сервером nginx. Сжатие deflate и gzip поддерживает также сервер Microsoft IIS. Надеюсь, описанный способ поможет вам улучшить доступность ваших web-страниц для людей, находящихся вдали от оптоволокна.

<< Предыдущая ИНДЕКС Поиск в статьях src Установить закладку Перейти на закладку Следующая >>

Обсуждение [ RSS ]
 
  • 1, biakus, 16:30, 22/04/2005 [ответить] [смотреть все]
  • +/
    Поддерживаю автора, так как приходится платить за мегабайты. Для выявления Web-серверов поддерживающих
    сжатие данных пришлось написать расширение для
    своего любимого браузера Firefox:
    http://headermonitor.mozdev.org/ , с помощью которого можно мониторить заголовок Content-Encoding
     
  • 2, Евгений, 10:54, 07/03/2006 [ответить] [смотреть все]
  • +/
    Я вот уже 2 дня бьюсь....
    Оказывается SQUID не пропускает запросы HTTP1.1 поэтому даже если клиенту просит компрессию дальше прокси она не уйдет .... как все запросы сквида сделать с поддержкой компрессии я незнаю, но хочется.......
     

    Ваш комментарий
    Имя:         
    E-Mail:      
    Заголовок:
    Текст:





      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor