The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Подсчет upload трафика в squid , !*! danmer, 06-Май-13, 13:59  [смотреть все]
Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так чтобы в access.log писался также размер запроса, в squid.conf добавил строчку

logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt

,где собственно %>st - Received request size including HTTP headers. Цифра писаться стала, но она не походит на правду. К примеру загружаю файл 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что я делаю не так? Может есть какие то другие способы решения этой задачи?

  • Подсчет upload трафика в squid , !*! pavlinux, 16:41 , 06-Май-13 (1)
    > Есть задача считать upload трафик от клиентов.

    Зачем? Премии лишать будете?
    > Может есть какие то другие способы решения этой задачи?

    Понять и простить!

    • Подсчет upload трафика в squid , !*! danmer, 09:51 , 07-Май-13 (4)
      > Зачем? Премии лишать будете?

      Премии лишать не будем, но если у кого-то вдруг появляется гигабайтный аплоад, это повод задуматься что и куда сливается.

      > Понять и простить!

      Прощать будем, если выяснить что сливался не svn, а невинные фоточки с корпоратива.

  • Подсчет upload трафика в squid , !*! mcshel, 07:53 , 07-Май-13 (2)
    > Приветствую знатоков. Есть freebsd 8.2, на ней сквид 3.1.20. Есть задача считать
    > upload трафик от клиентов. Сейчас download трафик считается lightsquid, хотелось бы
    > к нему прикрутить также подсчет upload. Попробовал изменить формат лога, так
    > чтобы в access.log писался также размер запроса, в squid.conf добавил строчку
    > logformat squid %ts.tu %>st %>a %Ss/>Hs %<st %rm %ru %un %Sh/%<A %mt
    > ,где собственно %>st - Received request size including HTTP headers. Цифра писаться
    > стала, но она не походит на правду. К примеру загружаю файл
    > 20Мб, а у меня размер запроса - пол-килобайта. Подскажите, плиз, что
    > я делаю не так? Может есть какие то другие способы решения
    > этой задачи?

    Лучше считать трафик сразу на порту. Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.

    • Подсчет upload трафика в squid , !*! danmer, 09:46 , 07-Май-13 (3)
      > Лучше считать трафик сразу на порту.

      Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного фаервола используется pf, но у него на внутреннем интерфейсе уже есть куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но два фаервола корректно не заработали, а разбираться не было времени.

      > Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.

      А есть версия, которая будет логировать?


      • Подсчет upload трафика в squid , !*! Miha, 14:32 , 07-Май-13 (5)
        >> Лучше считать трафик сразу на порту.
        > Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
        > фаервола используется pf, но у него на внутреннем интерфейсе уже есть
        > куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
        > два фаервола корректно не заработали, а разбираться не было времени.

        Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами keep-state \ check-state.
        Посмотрите в сторону ng_netflow и pmacct.

        >> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
        > А есть версия, которая будет логировать?

        • Подсчет upload трафика в squid , !*! danmer, 12:34 , 13-Май-13 (9)
          >  Считать ipfw в некоторых случаях затруднительно учитывая нюансы работы с правилами
          > keep-state \ check-state.
          >  Посмотрите в сторону ng_netflow и pmacct.

          ipfw планировалось использовать без keep-state, просто для подсчета трафика. Однако ipfw не смог почему то подружиться с pf. По поводу ng_netflow и pmacct - спасибо, погуглю.


      • Подсчет upload трафика в squid , !*! mcshel, 19:34 , 07-Май-13 (6) +1
        >> Лучше считать трафик сразу на порту.
        > Чем лучше считать? У меня была мысль считать фаерволом. В качестве штатного
        > фаервола используется pf, но у него на внутреннем интерфейсе уже есть
        > куча правил. Пробовал дополнительно, в качестве второго фаервола поставить ipfw, но
        > два фаервола корректно не заработали, а разбираться не было времени.
        >> Так как ваша версия squid не будет логировать трафик идущий через метод CONNECT.
        > А есть версия, которая будет логировать?

        Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и есть сама FreeBSD может  вам MRTG попробовать?

        • Подсчет upload трафика в squid , !*! danmer, 12:14 , 13-Май-13 (7)
          > Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
          > юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
          > есть сама FreeBSD может  вам MRTG попробовать?

          Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?

          • Подсчет upload трафика в squid , !*! mcshel, 12:27 , 13-Май-13 (8)
            >> Да вроде как 3.2 уже это умеет. Если используется оборудование CISCO,то тогда
            >> юзать SNMP или netflow, последнее уже дорогая штука. Если шлюз и
            >> есть сама FreeBSD может  вам MRTG попробовать?
            > Не нашел какой сквид и как это умеет. Имеется ввиду использование icap/ecap?

            https://www.opennet.ru/opennews/art.shtml?num=36083

            Поддержка режима SSL-Bump Server для перехвата содержимого шифрованных HTTPS-сеансов. При поступлении первого перехватываемого HTTPS-запроса, Squid осуществляет SSL-соединение с сервером и получает его сертификат. После этого Squid использует имя хоста из реального полученного от сервера сертификата и создаёт фиктивный сертификат, при помощи которого имитирует запрошенный сервер при взаимодействии с клиентом, продолжая при этом использовать SSL-соединение, установленное с сервером. Кроме HTTPS-соединений, указанная схема может использоваться для перехвата большинства HTTP-запросов с методом CONNECT.

            Прошлая реализация SSL-Bump отличалась созданием на первом этапе SSL-соединения между клиентом и Squid и только затем созданием соединения с сервером, что не позволяло использовать в фиктивном сертификате детали реального сертификата, получаемого от сервера. Кроме того, новый метод позволяет работать в ситуациях, когда браузер не передаёт имя хоста при отправке запроса CONNECT;
            Режим имитации SSL-сертификата сервера, при котором клиенту, при генерации фиктивного сертификата, транслируются все детали из реального сертификата сервера, что позволяет клиенту более осмысленно принять решение доверять данному сертификату или нет

            Может я конечно ошибаюсь.

  • Подсчет upload трафика в squid , !*! Mr. Mistoffelees, 13:43 , 13-Май-13 (10)
    Привет,

    > Цифра писаться
    > стала, но она не походит на правду. К примеру загружаю файл
    > 20Мб, а у меня размер запроса - пол-килобайта.

    А почему вы решили, что не отвечает на правду? Что, по-вашему, должно быть? Подумайте о том, что именно squid видит как трафик - что в вашем случае является payload поверх L3.

    Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна HTTP GET/POST заявка. SYN и все последующие ACK в счет не входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так что не вините squid за то, что вы неверно поставили перед собой задачу.

    WWell,

    • Подсчет upload трафика в squid , !*! danmer, 14:22 , 13-Май-13 (11)
      > А почему вы решили, что не отвечает на правду? Что, по-вашему, должно
      > быть? Подумайте о том, что именно squid видит как трафик -
      > что в вашем случае является payload поверх L3.
      > Hint: при загрузке (download) весь ваш payload L3 траффик и будет одна
      > HTTP GET/POST заявка. SYN и все последующие ACK в счет не
      > входят, у них payload нулевой (он потому и PAY-LOAD называется...). Так
      > что не вините squid за то, что вы неверно поставили перед
      > собой задачу.
      > WWell,

      Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый весьма успешно пишется в лог и подсчитывается, и если я скачаю файл в 20Мб, то он мне 20Мб в лог и запишет (плюс-минус пару процентов). При включении логирования upload, как я написал, при загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе я вижу только несколько килобайт. В этом и проблема. И уже если уже самим сквидом upload не посчитать, придется прибегать к методам подсчета трафика на порту.

      • Подсчет upload трафика в squid , !*! mcshel, 18:43 , 13-Май-13 (12)
        >[оверквотинг удален]
        >> собой задачу.
        >> WWell,
        > Речь идет о сравнении результатов логирования объемов трафиков download и upload. Первый
        > весьма успешно пишется в лог и подсчитывается, и если я скачаю
        > файл в 20Мб, то он мне 20Мб в лог и запишет
        > (плюс-минус пару процентов). При включении логирования upload, как я написал, при
        > загрузке на удаленный сервер файла в несколько десятков мегабайт, в логе
        > я вижу только несколько килобайт. В этом и проблема. И уже
        > если уже самим сквидом upload не посчитать, придется прибегать к методам
        > подсчета трафика на порту.

        Есть способы создать туннель, например используя 443 порт и метод CONNECT(не единственный способ) используя этот туннель не будут срабатывать ACL и логирование трафика так же идти не будет.

        Так что лучше смотреть трафик на самом порту.





Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру