forum.opennet.ru

"Представлен проект Lumberjack, нацеленный на модернизацию си..."

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Отдельный RSS теперь доступен для каждого обсуждения в форуме и каждого минипортала.

. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
Сообщение от Аноним (186), 03-Мрт-12, 17:05
ну скажем так. если требуется для каких-то целей строить по логам статистику - предложенный подход вполне оправдан. если у тебя 50 гигов жатых гзипом логов, делать по ним grep несколько накладно. однако такие задачи возникают редко. то что они пишут о парсерах - тоже правда. вот давеча добавил поле в логформат, пришлось пепенастраивать awstats (тоже описывать там новый логфорат). однако хранение логов в структурированном бинарном формате во многих случаях действительно неудобно. хотя есть дебаг логи где в лог пишется объект в json или что-нибудь такое, грепать по ним нереально.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Представлен проект Lumberjack, нацеленный на модернизацию си..., opennews, 02-Мрт-12, 14:25 [смотреть все]

Судя по неоднократному упоминанию структурированных данных , основной формат хр, Аноним, 02-Мрт-12, 14:25 (1) //
- А чем бинарный формат принципиально лучше текстового Индексы и по текстовым стр, Аноним, 02-Мрт-12, 14:34 (6) //
  - Основных причины две 1 Недостаточная компактность Особенно неприятно отсутстви, Аноним, 02-Мрт-12, 14:53 (18) //
    - Это попытка переизобрести gzip Феерический бред , anonymous, 02-Мрт-12, 15:05 (30)
      - В какой-то степени Но только такой gzip, который позволяет работать сразу со сж, Аноним, 02-Мрт-12, 15:11 (37)
        
        Кто мешает пожать и проиндексировать текстовый файл Где ты увидел стабильный API, anonymous, 02-Мрт-12, 15:22 (46)
        
        Если поля не удаляются, а только добавляются новые, то, по идее, старые анализат, Аноним, 02-Мрт-12, 15:45 (50)
        
        Ага, щаз Ты представление-то имеешь, как парсеры работают , Аноним, 02-Мрт-12, 16:16 (58)
        
        Нет Речь шла о структурированном логе со специальным API для работы с ним Есл, Аноним, 02-Мрт-12, 16:37 (68)
        Структурированные данные, индексируемые данные, множества данных Если кто не п, Wolfis, 02-Мрт-12, 16:38 (69)
        Ну допустим я имею, ламерок Для тех кто в танке что сломается в SQL при добавл, Аноним, 02-Мрт-12, 19:24 (102)
        
        В этой теме про него лучше не вспоминать А то, знаете как помянешь черта и он, XoRe, 02-Мрт-12, 22:07 (107)
        
        OSMщики с XML уже наелись, как стали портянги в 250 гигз, которые в бинарном фор, Аноним, 03-Мрт-12, 04:02 (136)
        
        Это типа каждый раз альтер тейбл, который, конечно же, вовсе не накладная операц, Имя и код, 03-Мрт-12, 06:07 (148)
        а что сломается в парзере, например, 171 по строке на запись, поля поделены од, arisu, 06-Мрт-12, 04:43 (233)
        
        хорошо работают, если писались руками и изначально формат нормальный 171 перв, arisu, 06-Мрт-12, 04:40 (232)
        
        Современный текстовый лог представляет собой текстовую кашу, которую индексирова, Аноним, 02-Мрт-12, 17:20 (76)
        
        чем это отличается от 171 каши 187 , не подскажешь , arisu, 06-Мрт-12, 04:44 (234)
        
        А индекс образуется сам собой, причём совершенно задаром , anonimous, 03-Мрт-12, 00:14 (115)
        
        А в случае текстаря его еще и хранить надо где-то сильно сбоку , Аноним, 03-Мрт-12, 04:04 (137)
      - Gzip не позволяет доступ на ходу А 20 гиговую портянку сам, пожалуйста, декомпр, Аноним, 02-Мрт-12, 17:40 (86)
        
        Против 20гиговых логов есть ротация Кто не настроил, тот - На средненагружен, XoRe, 02-Мрт-12, 22:11 (109)
        
        Угу, что однако не отменяет факта что логи могут быть большими даже с ротацией , Аноним, 03-Мрт-12, 03:12 (124)
        
        Пожалуйста, давайте об устрицах -- емши Локальное хранение логов нередко весьма , Michael Shigorin, 03-Мрт-12, 03:38 (129)
        
        А чем проблемы с синхронной записью там - лучше чем с синхронной записью где-то , Аноним, 03-Мрт-12, 04:06 (138)
        
        Выделенный коллектор логов обслуживает исключительно логи, а не целевой сервис , anonimous, 03-Мрт-12, 07:57 (158)
        
        Целевой сервис не обязан интенсивно писать на диск, если что Более того, не у в, zzz, 03-Мрт-12, 12:34 (163)
        
        fsync очень даже бьёт и по чтению Если же сервис со всем нужным помещается в, Michael Shigorin, 03-Мрт-12, 19:24 (189)
        Может, но насколько именно - весьма зависит от А еще можно логи хранить на отдел, Аноним, 04-Мрт-12, 17:35 (218)
        Дядьку, я Вам это по куче систем с самым разным стораджем говорю Это и упомянул , Michael Shigorin, 04-Мрт-12, 20:47 (220)
        
        Тем, что подсистема I O может быть к ним лучше готова Даже локально отделить акт, Michael Shigorin, 03-Мрт-12, 19:01 (187)
        
        Сервер отгружающий бочками файло и не готовый к интенсивному I O довольно странн, Аноним, 04-Мрт-12, 17:45 (219)
        
        см тж 220 Так у отгружающего может быть заточка под отгрузку -- приличный re, Michael Shigorin, 04-Мрт-12, 20:48 (221)
        
        могут быть - это предположение факт - это бл , вот это логи отожрали А с фак, XoRe, 03-Мрт-12, 05:59 (147)
        
        Элементарно - минимальная атака на сервак где они в крейсерском режиме нормальны, zzz, 03-Мрт-12, 07:54 (157)
        
        Уважаемый, вы бы посмотрели, на какие тезисы я отвечаю Там как раз хотели за сут, XoRe, 03-Мрт-12, 14:18 (174)
        
        Во первых, заранее сложно сказать за какой интервал потребуются логи Во вторых,, Аноним, 04-Мрт-12, 00:59 (192)
        
        Уважаемый, вы хотя бы раз logcheck настраивали , vi, 04-Мрт-12, 02:08 (196)
        
        Ну ётыдь, ну шо за вьюные разжижения мозгофекалий Воопще-то построение скалейбл, Имя и код, 03-Мрт-12, 06:29 (151)
        
        Я тоже не понял Поэтому попробуйте изложить мысль внятно и без задействования ж, Аноним, 03-Мрт-12, 13:25 (168)
        
        Ну что за дети пошли Какие понты, исключительно профессиональная терминология, Имя и код, 04-Мрт-12, 03:33 (200)
        
        это не 171 профессиональная терминология 187 , это кулхацкерский мунспик был , arisu, 06-Мрт-12, 04:50 (235)
        
        Логи в продакшене отключают только идиоты Вменяемые админы, если дисковое и о и, nobody, 02-Мрт-12, 22:19 (111)
        Мне пытаются впарить мысль, что DB будет быстрее, чем plain-file на одном , anonimous, 03-Мрт-12, 00:18 (116)
        
        работа с БД в большинстве случаев быстрее plain-file начиная с того, что нормал, VoDA, 03-Мрт-12, 02:58 (122)
        
        Значит формат должен допускать лобовой и быстрый инсерт максимально компактных з, zzz, 03-Мрт-12, 12:28 (162)
        
        То есть атрибута навроде src_ip в блобгах Вы не предполагаете 8- Упаковка на , Michael Shigorin, 03-Мрт-12, 19:20 (188)
        
        Предполагаю, но полагаю что возможность сокращенно референсить повторную информа, Аноним, 04-Мрт-12, 01:25 (193)
        
        1 каков критерий повторности 2 референсить можно и в текстовом, вопрос в цене , Michael Shigorin, 04-Мрт-12, 01:57 (195)
        
        Угу С блэкджеком и шлюхами Да пофигу, ибо не уточнять, но идентифицировать , Имя и код, 04-Мрт-12, 03:38 (201)
        
        А кто вас сказал чтоб это будет реляционная СУБД шарашить с спец формате расс, VoDA, 03-Мрт-12, 15:06 (183)
        
        Вы Вы описываете тютелька в тютельку именно такую DBMS и потом удивлённо развод, Имя и код, 04-Мрт-12, 03:49 (203)
        
        Однако, как указывает К Дейт, нормализация в точности и является теми принципам, VoDA, 06-Мрт-12, 00:45 (227)
        
        йопт на поиск 171 повторяющихся элементов 187 в словарях время уходит, нет , arisu, 06-Мрт-12, 04:58 (236)
        
        Пытаются впарить мысль что запись эвента в минимальном бинарном виде без повторя, Аноним, 03-Мрт-12, 03:16 (126)
        
        Ну иоптыдь, Опенстриты, они читают на порядки чаще, нежели пишут , Имя и код, 03-Мрт-12, 04:57 (140)
        
        Пишут его тоже часто и много И работать с 250Г чушкой в XML попросту не приколь, Аноним, 03-Мрт-12, 06:31 (152)
        
        Повторюсь на порядки меньше , Имя и код, 04-Мрт-12, 03:39 (202)
        
        ну и какой идиот изначально додумался базу с необходимым по дизайну random acces, arisu, 06-Мрт-12, 05:00 (237)
    - Дедупликация подразумевает сложную структуру хранения, подобную реляционной или , gaga, 02-Мрт-12, 15:21 (45)
      - То же самое можно сказать про любую SQL-совместимую СУБД Но почему-то среди них, Аноним, 02-Мрт-12, 17:23 (77)
        
        все твои улыбки в основном от того, что ты считаешь one size fits all и волшеб, arisu, 06-Мрт-12, 05:02 (238)
      - Угу, аж возможность референса в сторону - а вот это уже было, брать вон там вот, Аноним, 02-Мрт-12, 17:29 (80)
  - Анализировать быстро и на автомате и ловить потенциально интересные эвенты довол, Аноним, 02-Мрт-12, 16:17 (59) //
    - Заметим, что идея грепа лога сама по себе порочна Добавление в строку нового по, Аноним, 02-Мрт-12, 17:25 (78)
      - Я бы сказал 50 50, потому что гибкость - хорошая, да И позволяет завернуть очен, Аноним, 02-Мрт-12, 17:34 (83)
        
        Хм Вы когда-нибудь с SQL работали Скажу по секрету там возможностей для хитро, Аноним, 02-Мрт-12, 17:41 (87)
        
        Practical Extraction and Report Language На SQL-е - умахаешься Впрочем поЦеринг, Anonymouse, 03-Мрт-12, 03:13 (125)
        1 Я не считаю что для анализа логов мне надо бросить все и стать DBA2 Я не счи, Аноним, 03-Мрт-12, 03:50 (130)
        Т е вы хотите сказать, что DSL, коим является SQL имеет больше возможностей, че, cosmonaut, 04-Мрт-12, 12:09 (213)
      - Да, вспоминается, как аккуратненько добавил разок дополнительное поле в конец ло, Аноним, 02-Мрт-12, 18:38 (99)
    - Узкое место --- не в чтении парсинге поиске, в записи поиск --- значительно бо, anonimous, 03-Мрт-12, 00:26 (117)
    - Не-а, бинарь в принципе не удобен Эт раз Для первичного анализа берутся не сам, Имя и код, 03-Мрт-12, 05:16 (142)
      - Бинарь в принципе ничем не отличается от текстаря Поскольку вы не читаете секто, zzz, 03-Мрт-12, 13:18 (166)
        
        Не текстовый формат весьма и весьма не удобен Малоюзабелен Никто вотпрямща и н, Имя и код, 04-Мрт-12, 03:56 (204)
- Итак, давайте обдумаем Допустим что syslog действительно устарела устаревание , Аноним, 02-Мрт-12, 15:18 (44) //
  - Слишком много букв Но что делать, если утилита посчитает бинарный лог испорченн, anonymous, 02-Мрт-12, 15:30 (48) //
    - Снова на второстепенные вещи отвлекаетесь 1 Много букв потому то в тексте подро, Аноним, 02-Мрт-12, 15:47 (51)
    - Это важный вопрос, но не первой важности, т к он не определяет архитектуру и во, Аноним, 02-Мрт-12, 15:52 (53)
      - Об этом и речь была Цитирую разница между бинарными и текстовымы форматами хр, Аноним, 02-Мрт-12, 16:01 (57)
        
        Разница между текстовым и бинарным форматом - логическое следствие разницы между, Аноним, 02-Мрт-12, 17:46 (90)
        
        Вы не врубаетесь в самую суть формат хранения логов это второстепенные вещи и н, Аноним, 02-Мрт-12, 19:17 (100)
        
        Поддреживаю Собершенно непонятно вокруг чего проблема, если нужны структурирован, Deffic, 03-Мрт-12, 01:59 (119)
        Проблема сделать логи структурированными Решение этой задачи попутно решит ряд , VoDA, 03-Мрт-12, 03:09 (123)
        Она УЖЕ структурирована, в эрэфсях это чётко прописано это свежий The syslog m, Имя и код, 03-Мрт-12, 06:44 (153)
        
        Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но о, Аноним, 03-Мрт-12, 10:23 (159)
        
        И самое забавное, что своими действиями усугубляет именно в этом направлении , Имя и код, 03-Мрт-12, 12:40 (164)
        
        Ну так перцы тоже решили реализовать стандарт А то что он бинарный - ну и болт , Аноним, 03-Мрт-12, 13:37 (170)
        
        Вы просто передёргиваете gzip, cat, EDITOR -- универсальные, в отличие от , Michael Shigorin, 03-Мрт-12, 19:30 (190)
        
        А что мешает сделать прозрачную развертку этого формата в текст как gzip это дел, Аноним, 04-Мрт-12, 01:34 (194)
        
        Вот Вы как понимаю в 193 описали сворачивание по IP Попробуйте набросать ст, Michael Shigorin, 04-Мрт-12, 02:08 (197)
        gt оверквотинг удален Вы правы - это тайный набор знаний Его специально выдел, VoDA, 06-Мрт-12, 00:54 (228)
        Я и подводил пишущего к мысли, что мы, скорее всего, попадаем на мини-DB и мини-, Michael Shigorin, 06-Мрт-12, 01:17 (230)
        
        Сам MSG не структурирован Как по вашему задаются обязательные и дополнительные , VoDA, 03-Мрт-12, 15:23 (185)
        
        От ёптыдь, попробую объяснить по аналогии Вы про тисипиайпи слыхивали Про т, Имя и код, 04-Мрт-12, 04:03 (205)
        
        Аналогия интересна, но не верна Изначальный постулат, который я развиваю это нео, VoDA, 06-Мрт-12, 01:02 (229)
    - Тогда с ним делать то же что и с испорченным текстовым логом Открыли вы текстар, Аноним, 03-Мрт-12, 03:52 (131)
  - А вы подумали о том, что старый API взаимодействия приложений с syslog не предна, Аноним, 02-Мрт-12, 17:34 (82) //
    - Не вижу никаких проблем чтобы расширить API Это дело одного коммита Длинное соо, Аноним, 03-Мрт-12, 10:31 (160)
      - угу один всемирный такой коммит, который автомагически поправит все клиенты , arisu, 06-Мрт-12, 05:09 (240)
  - В чем-то вы правы В своем посте я немножечко пожертвовал логичностью ради пров, Аноним, 02-Мрт-12, 18:25 (93) //
    - А мне вот не нравится идея бинарных логов И бинарных конфигов Просто - не нрав, Куяврик, 03-Мрт-12, 02:40 (121)
    - Вот, если бы вы знали, что такое cat,grep,sed и другие умные слова для работы с , cosmonaut, 04-Мрт-12, 12:37 (214)
  - На 100 выпускник какого-нибудь ВУЗа типа Мэждународного Университета Соломона, Имя и код, 03-Мрт-12, 05:30 (143) //
    - Будем знакомы И как оно вам, бакалаврам , Аноним, 03-Мрт-12, 13:38 (171)
      - Нам такие как Вы бакалавры забавны , Имя и код, 04-Мрт-12, 04:04 (206)
- Я так понимаю - очепятка В UNIX syslog, и он пишет текстовые логи Я так понима, R, 02-Мрт-12, 16:34 (67) //
  - А еще в UNIX auditd который гораздо важнее syslog , и он пишет бинарные логи , Аноним, 02-Мрт-12, 17:36 (84) //
    - А мексиканского кактуса бритого он важнее аудитди не расскажет мне кто, аутенти, Имя и код, 03-Мрт-12, 07:06 (154)
      - А вот в предлагаемой вон теми парнями схеме - чуть более другой сервис пойдет и , Аноним, 03-Мрт-12, 13:35 (169)
        
        Так вот в том-то и дело, шо нет Просто из-за дурацкого формата будут оверхед и , Имя и код, 04-Мрт-12, 04:06 (207)
  - Я так понимаю - вы просто не знакомы с юниксом Действительного, когда в мире ест, Аноним, 02-Мрт-12, 18:30 (95) //
    - имхо, он про солярку , anon9000, 04-Мрт-12, 13:48 (215)
  - rfc3164 достаточно свежая хреннь Ну Это неуспешно скрыто за зарослями бинарно, Имя и код, 03-Мрт-12, 05:37 (144) //
    - Выбросьте бинарный гзип уже Вы его деревья хаффмана в уме вообще не построите , Аноним, 03-Мрт-12, 13:40 (172)
      - Ну да, ну да, а изчё выинты повыбрасываем - там коды царя соломона используют То, Имя и код, 04-Мрт-12, 04:09 (208)
Наверное, стоило особо отметить, что к поддержке проекта уже присоединились комп, Аноним, 02-Мрт-12, 14:28 (2) //
- app-admin syslog-ng-3 3 4 3 2 5 USE hardened ipv6 pcre ssl tcpd -caps -json , исчо_адын_аноним, 03-Мрт-12, 15:12 (184) //
  - Я против подобного милосердия В назидание , Имя и код, 04-Мрт-12, 04:10 (209)
  - это не интересно где научная ценность где новизна диссертации вот так взял и , Куяврик, 13-Мрт-12, 00:46 (242)
Надеюсь, в линуксе наконец появится нормальный механизм удаленной репликации лог, Аноним, 02-Мрт-12, 14:32 (3)
Разнообразие форматов журналов следует из разнообразия решаемых задач и разнообр, Аноним, 02-Мрт-12, 14:32 (4)
Лучшее враг хорошего , Аноним, 02-Мрт-12, 14:32 (5)
а почему сислог они считают устаревшим чем аргументируют , Аноним, 02-Мрт-12, 14:46 (12) //
- http bb comp-house ru comp-house repo wiki what-i-dont-like-about-journald, anonymous, 02-Мрт-12, 14:47 (13) //
  - Как видим, Герхардса с его проповедями про превосходство rsyslog успешно заткнул, Аноним, 02-Мрт-12, 14:48 (16) //
    - http bb comp-house ru comp-house repo wiki journald-and-rsyslog, anonymous, 02-Мрт-12, 14:55 (23)
      - Устаревшая инфа Судя по сабжевой новости, теперь мнение этого товарища радикальн, Аноним, 02-Мрт-12, 15:04 (28)
- Не умеет работать со структурированными данными нет поддержки соответствующих ф, Аноним, 02-Мрт-12, 15:18 (43)
Так что теперь будет с journald , Аноним, 02-Мрт-12, 14:55 (22) //
- А ничего не будет Он часть systemd и останется Сделают пересылку в другой журн, anonymous, 02-Мрт-12, 14:58 (25)
- К нему кроме его текущего API добавят ELAPT А возможно ELAPI будет единственным, VoDA, 02-Мрт-12, 15:05 (29) //
  - Скорее второе - нынешний API journald пока не стабилизирован, поэтому сейчас его, Аноним, 02-Мрт-12, 15:06 (32)
- Судя по всем, Lamberjack - это и есть journald, с небольшими косметическими изме, Аноним, 02-Мрт-12, 15:05 (31)
Радует то, что постарались обсудить, а не переть своим умом удачи , Michael Shigorin, 02-Мрт-12, 15:15 (41) //
- А может, они с systemd upstart еще повторят Для полного счастья , Аноним, 02-Мрт-12, 16:19 (61) //
  - А может, они-таки наймут ОДНОГО вменяемого системного архитектора И сделают ЕДИ, Аноним, 02-Мрт-12, 16:25 (66) //
    - Даже у очень умных людей решения в стиле вот, оно, единое имеют тенденцию оказ, Michael Shigorin, 02-Мрт-12, 16:57 (71)
      - Мы это видим с каждым новым дистром линукса, которые уже числом, тащемта, за шту, Аноним, 03-Мрт-12, 14:45 (179)
        
        Хм, пока похоже, что путаете GNU s Not UNIX с чем-то неприпоминаемым из высказыв, Michael Shigorin, 03-Мрт-12, 19:39 (191)
    - А кто не согласен - будет расстрелян, так , Аноним, 02-Мрт-12, 17:04 (73)
      - А у несогласных никуда всегда была gentoo , Аноним, 03-Мрт-12, 00:35 (118)
        
        LFS, Имя и код, 03-Мрт-12, 07:10 (155)
        А что делать тем кому не нравится пидон в каждой дырке в системе , zzz, 03-Мрт-12, 13:21 (167)
  - А что там повторять Сейчас разработка upstart фактически превратилась в копипас, Аноним, 02-Мрт-12, 17:50 (91) //
    - Ну вот я как раз за то чтобы они собрались и обсудили как и чего К systemd боль, Аноним, 03-Мрт-12, 03:55 (133)
      - Это вам-то пруф, с предъявами о usr Кто еще не видел http freedesktop org wik, qux, 04-Мрт-12, 17:01 (217)
Чё они х ей занимаются Нужно структурированные, ну прилепи ты syslog2sql и ра, pavlinux, 02-Мрт-12, 22:17 (110) //
- бинарное хранение это следствие, а не причина причина же в API для структурирова, VoDA, 03-Мрт-12, 03:16 (127)
- всяким там возможным SQL-иньекциям И да, как sql база обеспечит защиту от, Аноним, 03-Мрт-12, 03:59 (134) //
  - REVOKE ALL ON logdbase TO logodmin localhost GRANT INSERT ON logdbase TO logod, pavlinux, 05-Мрт-12, 01:24 (222)
- А зачем SQL запросы, когда есть NoSQL решения С хранением данных чисто в операти, XoRe, 03-Мрт-12, 06:15 (150)
Сколько же воплей в этом треде Никаких lumberjack и journald не будет ближайш, Аноним, 02-Мрт-12, 22:46 (113) //
- См 128 , Аноним, 03-Мрт-12, 04:00 (135)
- я, например, раз уж ты себя не считаешь достойным , arisu, 06-Мрт-12, 05:16 (241)
Название - игра слов log - бревно Lumberjack - дровосек Т е логоруб Нам предлаг, XoRe, 03-Мрт-12, 06:13 (149) //
- Адназначна , Имя и код, 03-Мрт-12, 07:13 (156)
- Что мы получили 1 программы для дефрагментации реестра2 файлы реестра раскидан, Аноним, 03-Мрт-12, 11:58 (161)
ну скажем так если требуется для каких-то целей строить по логам статистику - п , Аноним, 03-Мрт-12, 17:05 (186) //
- Если нужна статистика, то и сейчас вообще не проблема, например через пайп или п, nobody, 04-Мрт-12, 02:37 (199)
Похоже кто то хочет подзаработать на неграмотности админов Что ж, флаг им в руки, vi, 04-Мрт-12, 02:12 (198)
Линуксоиды воистину неизлечимы Вместо того что бы механизировать ручной труд, Piter_Ring, 04-Мрт-12, 05:06 (212) //
- Некоторые из нас понимают в красителях способны без смывания и закрашивания р, Michael Shigorin, 04-Мрт-12, 15:26 (216) //
  - Если сильно постараются, то данный проект может вырасти и вместо http www yout, Piter_Ring, 05-Мрт-12, 01:42 (223) //
    - Это вообще какой-то виндузятник с перочинным топориком непонятно, кто лесорубом, Michael Shigorin, 05-Мрт-12, 02:21 (224)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру