forum.opennet.ru

"OpenNews: Free-SA -новый анализатор логов squid, для замены SARG"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Есть идеи по улучшению форума и сайта ? Пишите.

. *"сборка на разных NIX"**	+/–
Сообщение от Sergey Erokhin (?), 24-Мрт-07, 22:10
>Просто сейчас у одного из клиентов, которому требуется близкая к онлайновой статистика, >lightparser и является основным потребителем Athlon 850. Соответственно некоторый практический >интерес в улучшении есть (хотя там это будет решено переездом на >двухъядерник), но -- повторюсь -- цели выкинуть перл любой ценой вообще-то >нет. Сишные cgi тоже проходили когда-то... ух ты, надеюсь today - стоит тип лога - native и версия 1.7.1 ? в lightsquid - паресер и веб часть это две разнные части одна показывает то что нагенерила вторая можно в теории для слабых машин написать свой парсер, отдельный ну или под спец задачи ...
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

OpenNews: Free-SA -новый анализатор логов squid, для замены SARG, opennews, 22-Мрт-07, 02:18 [смотреть все]

lightsquid рулит и точка Free-SA - ещё оочень примитив по сравнению с доработан, Аноним, 22-Мрт-07, 02:18 (1) //
- Я надеюсь, что lightsquid был доработан не так же, как SARG Потому что я сам,, saper, 22-Мрт-07, 09:35 (6) //
  - полгода использую - один только баг непонятный - вместо одного юзера подставляет, c0re, 22-Мрт-07, 10:34 (11)
  - lightsquid - общего от сарга, только тема оформленияну и самый первый - делался , Sergey Erokhin, 22-Мрт-07, 16:07 (39)
в принципе не плох только почемуто вместо разделителя разрядов вылазит Б , Vatson, 22-Мрт-07, 05:02 (2) //
- Эта функция реализована через штатный printf Постараюсь разобраться Локаль у в, saper, 22-Мрт-07, 09:27 (5)
- Разобрался , это проблема локали, в которой определен этот странный символ в ка, saper, 22-Мрт-07, 18:17 (44) //
  - Думаю, Вы понимаете, что это не решение Перекраивать системную локаль, которая, Michael Shigorin, 22-Мрт-07, 22:39 (59) //
    - Да понимаю и согласен с вами, поэтому сейчас буду разбираться что он там пишет и, saper, 22-Мрт-07, 23:00 (61)
      - Разумно как удобно Только впервые слышу о проблеме с разделителями в ru_RU п, Michael Shigorin, 22-Мрт-07, 23:37 (63)
        
        Я не про все ru_RU, а только про ru_RU UTF8 например, в Slackware но видимо в A, saper, 23-Мрт-07, 00:19 (65)
    - Итак, все три локали штатно в системе, никто их не менял и не переопределял ls, saper, 22-Мрт-07, 23:52 (64)
      - Это если вывод в UTF-8 созерцать в терминале с кодировкой локали и шрифта KOI8-R, Michael Shigorin, 25-Мрт-07, 16:25 (87)
        
        Да, с вашими параметрами запуска терминала у меня тоже пробел вставляет В общем, saper, 25-Мрт-07, 17:08 (88)
Однозначно Lightsquid Всё остальное пока либо кривое, либо сырое , Аноним, 22-Мрт-07, 07:01 (3) //
- Жаль только, lightparser прожорлив Совсем не light А на выходе неплохо мана, Michael Shigorin, 22-Мрт-07, 12:55 (18) //
  - Легкий интерфейс CGI к Free-SA уже в разработке От perl-зависимостей хочется и, saper, 22-Мрт-07, 13:38 (24)
  - не понял это как, в каком месте он прожорлив по памяти какие параметры , Sergey Erokhin, 22-Мрт-07, 15:50 (34)
Хм А как оно в сравнении с SAMS , Аноним, 22-Мрт-07, 09:25 (4) //
- Да никак SAMS ставиться одной левой, быстро исправляется что надо в коде - и ву, KlounAda, 26-Мрт-07, 02:31 (89)
Хм, а зачем, скорость работы , у меня он ночью статистику генерирует , Аноним, 22-Мрт-07, 09:42 (7) //
- Это у кого какие цели Кому то нужно оперативно узнать, кто сейчас закачку запус, saper, 22-Мрт-07, 09:44 (8)
- в lightsquidс параметром todayпускаеться раз в 15 минутлог - один файл с начала , Sergey Erokhin, 22-Мрт-07, 15:57 (35)
Читаем INSTALL, затем make Makefile , line 56 Missing dependency operator Make, SHRDLU, 22-Мрт-07, 10:04 (9) //
- Млять Ну неужели есть люди, которые по характерным Missing Dependency Opera, Andrew Kolchoogin, 22-Мрт-07, 10:26 (10) //
  - Да, представьте, такие люди есть А еще есть люди, которые, например, умеют по х, SHRDLU, 22-Мрт-07, 10:43 (12) //
    - gcc-то обновите чтоль, а то со времени freebsd-4 9 мноого воды утекло И не за , smb, 22-Мрт-07, 12:52 (16)
      - да была б сильная необходимость а из-за поглядеть на новый генератора отчетов, SHRDLU, 22-Мрт-07, 13:04 (20)
      - gcc-то обновите чтольДа можно смело убрать из Makefile std c99 Это скорее для л, saper, 22-Мрт-07, 13:40 (25)
- Спасибо Это я обязательно исправлю Хочется Free-SA сделать кроссплатформенным , saper, 22-Мрт-07, 13:42 (26)
- Это доисторическая бздя нуждается в напильнике да и админу её не помешало бы , гость, 22-Мрт-07, 22:33 (57) //
  - Чушь В напильнике нуждается именно Free-SA Судя по двум причинам Во-первых, в, SHRDLU, 23-Мрт-07, 07:23 (69) //
    - Ну строго говоря, 4 x уже не поддерживается Остальные причины согласиться с до, Michael Shigorin, 23-Мрт-07, 09:57 (71)
      - Ну с этим можно согласиться Пардон, у меня там не полигон для экспериментов, а п, SHRDLU, 23-Мрт-07, 10:06 (72)
        
        Ну так предложение-то автору Судя по реакции ходивших внутрь sarg коллег вроде r, Michael Shigorin, 23-Мрт-07, 13:43 (75)
        
        ух ты, надеюсь today - стоит тип лога - nativeи версия 1 7 1 в lightsquid - пар , Sergey Erokhin, 24-Мрт-07, 22:10 (83)
        
        squidlogtype 0 1 6beta Что было на момент взгромождения -- то и вз, Michael Shigorin, 24-Мрт-07, 22:27 (84)
        
        да, очень сильно ускорен пропуск строк при фильтровании по датеособо важно если , Sergey Erokhin, 26-Мрт-07, 15:12 (90)
        
        А поподробнее, я не очень понял, чего хотят , saper, 26-Мрт-07, 21:57 (91)
        
        squidlogtype 0 1 6beta Что было на момент взгромождения -- то и в, Michael Shigorin, 24-Мрт-07, 22:32 (85)
Под 4-ю ветку FreeBSD не собирается , OLD, 22-Мрт-07, 11:52 (13) //
- А можно поподробее и лучше в Bugs на http free-sa sf net, saper, 22-Мрт-07, 14:17 (31)
Тестировал Прогнал его на моём стандартном логе за месяц, обьём гиг, 900 пользов, tt, 22-Мрт-07, 12:30 (14) //
- Максимальное количество одновременно открытых файлов определяется настройками ОС, Xeon, 22-Мрт-07, 12:49 (15) //
  - Я посмотрел, количество созданных файло 1020, очевидно ограничение 1024 файла На, tt, 22-Мрт-07, 12:52 (17) //
    - Не 30 - , saper, 22-Мрт-07, 15:03 (32)
  - Вы правы, ulimit -n1024Буду увеличивать, tt, 22-Мрт-07, 12:58 (19) //
    - Но под Solaris это не срабатывает fopen не может открыть больше 256 файлов , KostyaK, 23-Мрт-07, 04:34 (67)
      - А еще в Solaris е версий ниже 10 нет функции round Так что, либо floor 124, KostyaK, 23-Мрт-07, 04:54 (68)
        
        man round CONFORMING TO C99 - , saper, 23-Мрт-07, 15:01 (76)
- С количеством файлов разобрался Ещё одна проблема SAERROR SAfopenI tmp sa u_, tt, 22-Мрт-07, 13:26 (23) //
  - Постараюсь исправить сегодня в новой версии , saper, 22-Мрт-07, 13:56 (28)
  - Ого Проверьте где будет создан временный файл, если попробовать залогинится по, uldus, 22-Мрт-07, 20:38 (47) //
    - Разве squid пишет в журнал без замены на 2F Что касается touch 2Ftest , saper, 22-Мрт-07, 21:05 (48)
      - Например, один из сценариев Пользователь пупкин делает от своего имени в tmp с, uldus, 22-Мрт-07, 21:53 (50)
        
        Файл reports r_reports c Remove and create temporary directory SAsys, saper, 22-Мрт-07, 22:26 (54)
      - У вас же универсальная система, может squid и эскейпит, а вдруг какой-нибудь CGP, uldus, 22-Мрт-07, 21:58 (51)
        
        1 С чего вдруг 2 Про состояние поддержки CGP в man-е написано VERY EXPERIMENT, saper, 22-Мрт-07, 22:33 (58)
      - Вы и впрямь не в курсе symlink attacks в этом веке С tmp и другими публично дос, Michael Shigorin, 22-Мрт-07, 22:01 (52)
        
        Я в курсе большинства атак, по работе положено Файл reports r_reports c из этой , saper, 22-Мрт-07, 22:30 (56)
- попробуй мой lightsquid sf netнет зависимости от кол-ва файлов один пайп для л, Sergey Erokhin, 22-Мрт-07, 15:58 (36)
Скорость действительно намного выше, чем в SARG e, проверял на суточном логе раз, Xeon, 22-Мрт-07, 13:12 (21) //
- Ещё иногда в поле Users дублируются IP-адреса29 http virginss net 28920 350 94, Xeon, 22-Мрт-07, 13:15 (22) //
  - Так и не смог воспроизвести этот случай Нет ли кусочка access log, на котором м, saper, 22-Мрт-07, 23:07 (62)
- Чорт Исправление этого известного бага не вошло в релиз Исправлю в новой вер, saper, 22-Мрт-07, 13:53 (27)
с postfix совсем не дружит SAWARNING PFSLReadRecordI Unknown stat b, please , Аноним, 22-Мрт-07, 14:01 (29) //
- Postfix по идее самый проработанный формат из экспериментальных Не могли бы вы , saper, 22-Мрт-07, 14:15 (30) //
  - Журнал выслать сложновато будет около 400Мб а ругаеться он на примерно такие стр, Аноним, 22-Мрт-07, 16:20 (40) //
    - Поправлю в новой версии, постараюсь сегодня зарелизить со всеми исправлениями Д, saper, 22-Мрт-07, 17:01 (42)
FreeBSD-6 2, amd64, с напильником собрал, теперь free-sa -sLog file informatio, Саша, 22-Мрт-07, 15:22 (33) //
- lightsquid - плафтформенно независимыйтолько перл хоть x32 xonm 64 , Sergey Erokhin, 22-Мрт-07, 16:00 (37) //
  - Всем хорош lightsquid, но только вот нету как у сарга exclude_codesКак считать , OLD, 22-Мрт-07, 16:05 (38) //
    - У Free-SA есть опция fulltraffic, которая позволяет гарантированно не учитывать , saper, 22-Мрт-07, 16:38 (41)
      - Версия 1 4 плевать хотела на этот параметр строит все что none что hit при, balton, 01-Ноя-07, 16:50 (104)
        
        Уточните, проверил 1 4 0, fulltraffic работает корректно Можете привести пример, saper, 01-Ноя-07, 19:16 (105)
        Уточните, проверил с 1 4 0, fulltraffic работает корректно Можете привести прим, saper, 01-Ноя-07, 19:17 (106)
    - сейчас он считает все что не HITсделать такую табличку - 10 минут делов если с , Sergey Erokhin, 22-Мрт-07, 17:08 (43)
- Так что все-таки с датами и невозможностью запуска rm , Аноним, 22-Мрт-07, 19:47 (45) //
  - Free-SA пока не тестировался на 64-битных платформах, хотя и разрабатывался с пр, saper, 22-Мрт-07, 20:15 (46) //
    - Можно предоставить контейнер с 64-битным ALT Linux, Debian или CentOS Если к в, Michael Shigorin, 22-Мрт-07, 22:03 (53)
  - С датами и немного с 64-битными архитектурами разобрался, в 1 0 2 исправлено , saper, 22-Мрт-07, 21:07 (49)
  - Исправлено в 1 2 0b , saper, 01-Апр-07, 20:55 (92)
- Попробуйте Free-SA 1 0 2 там практически вслепую внес некоторые изменения Что к, saper, 23-Мрт-07, 00:27 (66) //
  - Попробовал С датами все в порядке free-sa -sLog file information File name , Саша, 23-Мрт-07, 11:26 (73) //
    - Проще и безопаснее звать bin rm, а вот где, кроме bin, может оказаться sort --, Michael Shigorin, 23-Мрт-07, 13:28 (74)
      - По большей части в 1 1 0 учтены пожелания по части безопасности, в том числе с п, saper, 24-Мрт-07, 02:59 (81)
    - Интересно, с rm ошибки у меня одного Повторюсь, FreeBSD-6 2-p2, amd64, Free-SA 1, Саша, 23-Мрт-07, 20:02 (79)
      - Кто то еще писал об этом Буду разбираться с вызовом system , saper, 23-Мрт-07, 22:24 (80)
      - Все ошибки с переносом с платформы на платформу исправлены в 1 2 0b , saper, 01-Апр-07, 20:57 (93)
То что товарищу перл не нравится это не зачёт , но то, что реагирует вежливо и , guest, 22-Мрт-07, 22:40 (60)
В порты его, IncubuS, 23-Мрт-07, 08:07 (70) //
- Toxa занимается FreeBSD , saper, 23-Мрт-07, 15:03 (77)
- Ага, порт уже готов и отправлен в PR-базу а также на рассмотрение порт-коммиттер, toxa, 23-Мрт-07, 15:13 (78) //
  - Вот лучше бы это из pkg-plist убрали etc free-sa sa conf Для этого есть ж sa , Ара, 24-Мрт-07, 05:47 (82) //
    - В 1 1 1 будет убрано , saper, 25-Мрт-07, 14:53 (86)
      - Скачал версию 1 2 1, программа понравилась, вот только у меня при использовании , Sir, 05-Апр-07, 20:37 (94)
        
        Вы считаете стоит укорачивать даже URL сайтов, если они длинные Это совсем не сл, saper, 07-Апр-07, 12:49 (95)
        
        Скорее стоит, если больше каких 64 символов Или пробелами разбивать внутри a, Michael Shigorin, 07-Апр-07, 14:42 (96)
        
        Скажите пожалуйста, при установке Free-Sa сообщение global mk , line 75 Unasso, Daemon, 07-Май-07, 15:35 (97)
        
        Версия FreeBSD 6 1, Free-Sa 1 3 2b, Daemon, 07-Май-07, 15:36 (98)
        
        В global mk нужно закомментировать символ в самом начале строки строки 74 и , saper, 12-Май-07, 09:25 (99)
Понравилась программка Только какие-то проблемы с чтением логов Postfix есть О, Junior, 22-Июн-07, 15:34 (100) //
- С usertab разобрался Теперь так забавно - несколько пользователей с одинаковы, Junior, 22-Июн-07, 16:13 (101) //
  - Не могли бы выслать образец журнала Postfix, который не определяется программой , saper, 20-Июл-07, 01:57 (102) //
    - А что за ошибка такая SAERROR ShowLogI Can t read log Как ее лечить , Mihasya, 12-Янв-09, 05:29 (110)
      - Так, вроде read log заработал, тольво вот теперь это вылазиет free-sa -d 12 09 2, Mihasya, 12-Янв-09, 07:31 (111)
        
        gt оверквотинг удален О А так заработало free-sa -f usr local etc free-sa , Mihasya, 12-Янв-09, 07:44 (112)
        
        Разумно, ведь вы его в предыдущем сообщении просили обработать записи за сентябр, Олег, 12-Янв-09, 09:21 (113)
        
        Точно , Mihasya, 12-Янв-09, 09:43 (114)
Здравствуйте Столкнулся с проблемой поставил free-sa на freebsd 7 0Во время за, Ararura, 12-Окт-09, 15:51 (115) //
- Т к проблему вижу впервые, не могли бы вы скачать Free-SA 1 6 2, исправить в fr, saper, 12-Окт-09, 21:04 (116)
Прошу прощения, с free-bsd -недавно Можно пояснить как собрать программу без mak, Ararura, 13-Окт-09, 12:09 (117) //
- Не набирая make install наберите просто make, после этого появится бинарник в ди, saper, 13-Окт-09, 12:19 (118) //
  - Сделал так Удалил каталог usr local src free-sa-1 6 2распаковал заново скачаны, Ararura, 13-Окт-09, 13:05 (119) //
    - Все, работает, без c3 почему незнаю, Ararura, 13-Окт-09, 13:24 (120)
      - На самом деле еще раз распаковал, ничего не менял в конфигах, сделал make и make, Ararura, 13-Окт-09, 13:39 (121)
        
        Я думаю, что Free-SA сделала отчет в другой директории, проверьте переменную WWW, saper, 14-Окт-09, 21:05 (122)
        
        Спасибо Вам ОГРОМНОЕ Все работает , Ararura, 15-Окт-09, 09:04 (123)
Здравствуйте, еще раз Есть возможность редактировать вид отправляемого сообщени, DiDae, 22-Окт-10, 11:10 (124) //
- gt оверквотинг удален Подредактировал r_email c, убрал лишниее , но вот почем, DiDae, 22-Окт-10, 14:58 (125) //
  - Какая у вас кодировка локали и используете ли вы фиксированный шрифт при просмот, saper, 22-Окт-10, 19:40 (126) //
    - До сегодня не было у меня в системе ru_RU UTF-8 UTF-8, добавил ее, расскоментил, DiDae, 25-Окт-10, 13:02 (127)
      - Ошибку увидел, буду работать над ее устранением в следующей бете 2 0 0 , saper, 25-Окт-10, 21:06 (128)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру