Представлен проект Lumberjack, нацеленный на модернизацию си...,
opennews (??), 02-Мрт-12, (0) [смотреть все]
- Судя по неоднократному упоминанию структурированных данных , основной формат хр,
Аноним (-), 14:25 , 02-Мрт-12, (1) +8 //
- А чем бинарный формат принципиально лучше текстового Индексы и по текстовым стр,
Аноним (-), 14:34 , 02-Мрт-12, (6) +7 //
- Основных причины две 1 Недостаточная компактность Особенно неприятно отсутстви,
Аноним (-), 14:53 , 02-Мрт-12, (18) +8 //
- Это попытка переизобрести gzip Феерический бред ,
anonymous (??), 15:05 , 02-Мрт-12, (30) –4
- В какой-то степени Но только такой gzip, который позволяет работать сразу со сж,
Аноним (-), 15:11 , 02-Мрт-12, (37) +4
- Кто мешает пожать и проиндексировать текстовый файл Где ты увидел стабильный API,
anonymous (??), 15:22 , 02-Мрт-12, (46) –5
- Если поля не удаляются, а только добавляются новые, то, по идее, старые анализат,
Аноним (-), 15:45 , 02-Мрт-12, (50) +1
- Ага, щаз Ты представление-то имеешь, как парсеры работают ,
Аноним (-), 16:16 , 02-Мрт-12, (58) –3
- Нет Речь шла о структурированном логе со специальным API для работы с ним Есл,
Аноним (-), 16:37 , 02-Мрт-12, (68) +1
- Структурированные данные, индексируемые данные, множества данных Если кто не п,
Wolfis (?), 16:38 , 02-Мрт-12, (69)
- Ну допустим я имею, ламерок Для тех кто в танке что сломается в SQL при добавл,
Аноним (-), 19:24 , 02-Мрт-12, (102)
- В этой теме про него лучше не вспоминать А то, знаете как помянешь черта и он,
XoRe (ok), 22:07 , 02-Мрт-12, (107) +4
- Это типа каждый раз альтер тейбл, который, конечно же, вовсе не накладная операц,
Имя и код (?), 06:07 , 03-Мрт-12, (148) +1
- а что сломается в парзере, например, 171 по строке на запись, поля поделены од,
arisu (ok), 04:43 , 06-Мрт-12, (233)
- хорошо работают, если писались руками и изначально формат нормальный 171 перв,
arisu (ok), 04:40 , 06-Мрт-12, (232)
- Современный текстовый лог представляет собой текстовую кашу, которую индексирова,
Аноним (-), 17:20 , 02-Мрт-12, (76)
- А индекс образуется сам собой, причём совершенно задаром ,
anonimous (?), 00:14 , 03-Мрт-12, (115)
- Gzip не позволяет доступ на ходу А 20 гиговую портянку сам, пожалуйста, декомпр,
Аноним (-), 17:40 , 02-Мрт-12, (86) +1
- Против 20гиговых логов есть ротация Кто не настроил, тот - На средненагружен,
XoRe (ok), 22:11 , 02-Мрт-12, (109) +3
- Угу, что однако не отменяет факта что логи могут быть большими даже с ротацией ,
Аноним (-), 03:12 , 03-Мрт-12, (124) –1
- Пожалуйста, давайте об устрицах -- емши Локальное хранение логов нередко весьма ,
Michael Shigorin (ok), 03:38 , 03-Мрт-12, (129)
- А чем проблемы с синхронной записью там - лучше чем с синхронной записью где-то ,
Аноним (-), 04:06 , 03-Мрт-12, (138)
- Выделенный коллектор логов обслуживает исключительно логи, а не целевой сервис ,
anonimous (?), 07:57 , 03-Мрт-12, (158)
- Целевой сервис не обязан интенсивно писать на диск, если что Более того, не у в,
zzz (??), 12:34 , 03-Мрт-12, (163)
- fsync очень даже бьёт и по чтению Если же сервис со всем нужным помещается в,
Michael Shigorin (ok), 19:24 , 03-Мрт-12, (189)
- Может, но насколько именно - весьма зависит от А еще можно логи хранить на отдел,
Аноним (-), 17:35 , 04-Мрт-12, (218)
- Дядьку, я Вам это по куче систем с самым разным стораджем говорю Это и упомянул ,
Michael Shigorin (ok), 20:47 , 04-Мрт-12, (220)
- Тем, что подсистема I O может быть к ним лучше готова Даже локально отделить акт,
Michael Shigorin (ok), 19:01 , 03-Мрт-12, (187)
- могут быть - это предположение факт - это бл , вот это логи отожрали А с фак,
XoRe (ok), 05:59 , 03-Мрт-12, (147) +5
- Элементарно - минимальная атака на сервак где они в крейсерском режиме нормальны,
zzz (??), 07:54 , 03-Мрт-12, (157)
- Уважаемый, вы бы посмотрели, на какие тезисы я отвечаю Там как раз хотели за сут,
XoRe (ok), 14:18 , 03-Мрт-12, (174) +1
- Уважаемый, вы хотя бы раз logcheck настраивали ,
vi (?), 02:08 , 04-Мрт-12, (196)
- Ну ётыдь, ну шо за вьюные разжижения мозгофекалий Воопще-то построение скалейбл,
Имя и код (?), 06:29 , 03-Мрт-12, (151)
- Логи в продакшене отключают только идиоты Вменяемые админы, если дисковое и о и,
nobody (??), 22:19 , 02-Мрт-12, (111) +9
- Мне пытаются впарить мысль, что DB будет быстрее, чем plain-file на одном ,
anonimous (?), 00:18 , 03-Мрт-12, (116) +1
- работа с БД в большинстве случаев быстрее plain-file начиная с того, что нормал,
VoDA (ok), 02:58 , 03-Мрт-12, (122)
- Значит формат должен допускать лобовой и быстрый инсерт максимально компактных з,
zzz (??), 12:28 , 03-Мрт-12, (162) –1
- То есть атрибута навроде src_ip в блобгах Вы не предполагаете 8- Упаковка на ,
Michael Shigorin (ok), 19:20 , 03-Мрт-12, (188)
- Угу С блэкджеком и шлюхами Да пофигу, ибо не уточнять, но идентифицировать ,
Имя и код (?), 03:38 , 04-Мрт-12, (201)
- А кто вас сказал чтоб это будет реляционная СУБД шарашить с спец формате расс,
VoDA (ok), 15:06 , 03-Мрт-12, (183)
- Пытаются впарить мысль что запись эвента в минимальном бинарном виде без повторя,
Аноним (-), 03:16 , 03-Мрт-12, (126)
- Ну иоптыдь, Опенстриты, они читают на порядки чаще, нежели пишут ,
Имя и код (?), 04:57 , 03-Мрт-12, (140)
- ну и какой идиот изначально додумался базу с необходимым по дизайну random acces,
arisu (ok), 05:00 , 06-Мрт-12, (237)
- Дедупликация подразумевает сложную структуру хранения, подобную реляционной или ,
gaga (ok), 15:21 , 02-Мрт-12, (45) +1
- То же самое можно сказать про любую SQL-совместимую СУБД Но почему-то среди них,
Аноним (-), 17:23 , 02-Мрт-12, (77)
- Угу, аж возможность референса в сторону - а вот это уже было, брать вон там вот,
Аноним (-), 17:29 , 02-Мрт-12, (80) +2
- Анализировать быстро и на автомате и ловить потенциально интересные эвенты довол,
Аноним (-), 16:17 , 02-Мрт-12, (59) +1 //
- Заметим, что идея грепа лога сама по себе порочна Добавление в строку нового по,
Аноним (-), 17:25 , 02-Мрт-12, (78) +1
- Я бы сказал 50 50, потому что гибкость - хорошая, да И позволяет завернуть очен,
Аноним (-), 17:34 , 02-Мрт-12, (83)
- Хм Вы когда-нибудь с SQL работали Скажу по секрету там возможностей для хитро,
Аноним (-), 17:41 , 02-Мрт-12, (87) +1
- Practical Extraction and Report Language На SQL-е - умахаешься Впрочем поЦеринг,
Anonymouse (?), 03:13 , 03-Мрт-12, (125) +1
- 1 Я не считаю что для анализа логов мне надо бросить все и стать DBA2 Я не счи,
Аноним (-), 03:50 , 03-Мрт-12, (130) +2
- Т е вы хотите сказать, что DSL, коим является SQL имеет больше возможностей, че,
cosmonaut (ok), 12:09 , 04-Мрт-12, (213) +1
- Да, вспоминается, как аккуратненько добавил разок дополнительное поле в конец ло,
Аноним (-), 18:38 , 02-Мрт-12, (99) +1
- Узкое место --- не в чтении парсинге поиске, в записи поиск --- значительно бо,
anonimous (?), 00:26 , 03-Мрт-12, (117)
- Не-а, бинарь в принципе не удобен Эт раз Для первичного анализа берутся не сам,
Имя и код (?), 05:16 , 03-Мрт-12, (142) –1
- Итак, давайте обдумаем Допустим что syslog действительно устарела устаревание ,
Аноним (-), 15:18 , 02-Мрт-12, (44) –4 //
- Слишком много букв Но что делать, если утилита посчитает бинарный лог испорченн,
anonymous (??), 15:30 , 02-Мрт-12, (48) //
- Снова на второстепенные вещи отвлекаетесь 1 Много букв потому то в тексте подро,
Аноним (-), 15:47 , 02-Мрт-12, (51) –1
- Это важный вопрос, но не первой важности, т к он не определяет архитектуру и во,
Аноним (-), 15:52 , 02-Мрт-12, (53)
- Об этом и речь была Цитирую разница между бинарными и текстовымы форматами хр,
Аноним (-), 16:01 , 02-Мрт-12, (57)
- Разница между текстовым и бинарным форматом - логическое следствие разницы между,
Аноним (-), 17:46 , 02-Мрт-12, (90) –1
- Вы не врубаетесь в самую суть формат хранения логов это второстепенные вещи и н,
Аноним (-), 19:17 , 02-Мрт-12, (100)
- Поддреживаю Собершенно непонятно вокруг чего проблема, если нужны структурирован,
Deffic (?), 01:59 , 03-Мрт-12, (119) +2
- Проблема сделать логи структурированными Решение этой задачи попутно решит ряд ,
VoDA (ok), 03:09 , 03-Мрт-12, (123)
- Она УЖЕ структурирована, в эрэфсях это чётко прописано это свежий The syslog m,
Имя и код (?), 06:44 , 03-Мрт-12, (153) +1
- Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но о,
Аноним (-), 10:23 , 03-Мрт-12, (159)
- Ну так перцы тоже решили реализовать стандарт А то что он бинарный - ну и болт ,
Аноним (-), 13:37 , 03-Мрт-12, (170) –1
- Вы просто передёргиваете gzip, cat, EDITOR -- универсальные, в отличие от ,
Michael Shigorin (ok), 19:30 , 03-Мрт-12, (190)
- А что мешает сделать прозрачную развертку этого формата в текст как gzip это дел,
Аноним (-), 01:34 , 04-Мрт-12, (194)
- Вот Вы как понимаю в 193 описали сворачивание по IP Попробуйте набросать ст,
Michael Shigorin (ok), 02:08 , 04-Мрт-12, (197)
- gt оверквотинг удален Вы правы - это тайный набор знаний Его специально выдел,
VoDA (ok), 00:54 , 06-Мрт-12, (228)
- Я и подводил пишущего к мысли, что мы, скорее всего, попадаем на мини-DB и мини-,
Michael Shigorin (ok), 01:17 , 06-Мрт-12, (230)
- Сам MSG не структурирован Как по вашему задаются обязательные и дополнительные ,
VoDA (ok), 15:23 , 03-Мрт-12, (185)
- Тогда с ним делать то же что и с испорченным текстовым логом Открыли вы текстар,
Аноним (-), 03:52 , 03-Мрт-12, (131)
- А вы подумали о том, что старый API взаимодействия приложений с syslog не предна,
Аноним (-), 17:34 , 02-Мрт-12, (82) //
- В чем-то вы правы В своем посте я немножечко пожертвовал логичностью ради пров,
Аноним (-), 18:25 , 02-Мрт-12, (93) //
- А мне вот не нравится идея бинарных логов И бинарных конфигов Просто - не нрав,
Куяврик (?), 02:40 , 03-Мрт-12, (121)
- Вот, если бы вы знали, что такое cat,grep,sed и другие умные слова для работы с ,
cosmonaut (ok), 12:37 , 04-Мрт-12, (214)
- На 100 выпускник какого-нибудь ВУЗа типа Мэждународного Университета Соломона,
Имя и код (?), 05:30 , 03-Мрт-12, (143) +1 //
- Я так понимаю - очепятка В UNIX syslog, и он пишет текстовые логи Я так понима,
R (?), 16:34 , 02-Мрт-12, (67) –4 //
- А еще в UNIX auditd который гораздо важнее syslog , и он пишет бинарные логи ,
Аноним (-), 17:36 , 02-Мрт-12, (84) //
- Я так понимаю - вы просто не знакомы с юниксом Действительного, когда в мире ест,
Аноним (-), 18:30 , 02-Мрт-12, (95) +2 //
- rfc3164 достаточно свежая хреннь Ну Это неуспешно скрыто за зарослями бинарно,
Имя и код (?), 05:37 , 03-Мрт-12, (144) //
- Наверное, стоило особо отметить, что к поддержке проекта уже присоединились комп,
Аноним (-), 14:28 , 02-Мрт-12, (2) +2 //
- Надеюсь, в линуксе наконец появится нормальный механизм удаленной репликации лог,
Аноним (-), 14:32 , 02-Мрт-12, (3) +2
- Таки тролль man rsyslog-mysql,
anonymous (??), 15:57 , 02-Мрт-12, (55) –3
- А об ng-syslog никто из анонов, судя по всему, даже не слыхал никогда ,
Аноним (-), 16:21 , 02-Мрт-12, (63)
- А ты сам-то читал, что там написано Особенно в части репликации логов с поддержк,
Аноним (-), 17:37 , 02-Мрт-12, (85)
- Вы предлагаете конвертировать лог в бинарный формат, а потом реплицировать его с,
Аноним (-), 17:44 , 02-Мрт-12, (89)
- Репликация средствами мускула Лол С тем же успехом можно текстовые логи через s,
Аноним (-), 18:27 , 02-Мрт-12, (94) –2
- Разнообразие форматов журналов следует из разнообразия решаемых задач и разнообр,
Аноним (-), 14:32 , 02-Мрт-12, (4) +1
- Лучшее враг хорошего ,
Аноним (-), 14:32 , 02-Мрт-12, (5) +5
- а почему сислог они считают устаревшим чем аргументируют ,
Аноним (-), 14:46 , 02-Мрт-12, (12) +2 //
- Так что теперь будет с journald ,
Аноним (-), 14:55 , 02-Мрт-12, (22) //
- А ничего не будет Он часть systemd и останется Сделают пересылку в другой журн,
anonymous (??), 14:58 , 02-Мрт-12, (25)
- К нему кроме его текущего API добавят ELAPT А возможно ELAPI будет единственным,
VoDA (ok), 15:05 , 02-Мрт-12, (29) +1 //
- Судя по всем, Lamberjack - это и есть journald, с небольшими косметическими изме,
Аноним (-), 15:05 , 02-Мрт-12, (31)
- Радует то, что постарались обсудить, а не переть своим умом удачи ,
Michael Shigorin (ok), 15:15 , 02-Мрт-12, (41) +1 //
- А может, они с systemd upstart еще повторят Для полного счастья ,
Аноним (-), 16:19 , 02-Мрт-12, (61) +1 //
- А может, они-таки наймут ОДНОГО вменяемого системного архитектора И сделают ЕДИ,
Аноним (-), 16:25 , 02-Мрт-12, (66) //
- Даже у очень умных людей решения в стиле вот, оно, единое имеют тенденцию оказ,
Michael Shigorin (ok), 16:57 , 02-Мрт-12, (71) –1
- А кто не согласен - будет расстрелян, так ,
Аноним (-), 17:04 , 02-Мрт-12, (73)
- А что там повторять Сейчас разработка upstart фактически превратилась в копипас,
Аноним (-), 17:50 , 02-Мрт-12, (91) +1 //
- Чё они х ей занимаются Нужно структурированные, ну прилепи ты syslog2sql и ра,
pavlinux (ok), 22:17 , 02-Мрт-12, (110) +1 //
- бинарное хранение это следствие, а не причина причина же в API для структурирова,
VoDA (ok), 03:16 , 03-Мрт-12, (127)
- всяким там возможным SQL-иньекциям И да, как sql база обеспечит защиту от,
Аноним (-), 03:59 , 03-Мрт-12, (134) //
- А зачем SQL запросы, когда есть NoSQL решения С хранением данных чисто в операти,
XoRe (ok), 06:15 , 03-Мрт-12, (150) –1
- Сколько же воплей в этом треде Никаких lumberjack и journald не будет ближайш,
Аноним (-), 22:46 , 02-Мрт-12, (113) –2
//
- См 128 ,
Аноним (-), 04:00 , 03-Мрт-12, (135)
- я, например, раз уж ты себя не считаешь достойным ,
arisu (ok), 05:16 , 06-Мрт-12, (241)
- Название - игра слов log - бревно Lumberjack - дровосек Т е логоруб Нам предлаг,
XoRe (ok), 06:13 , 03-Мрт-12, (149) +5 //
- ну скажем так если требуется для каких-то целей строить по логам статистику - п,
Аноним (186), 17:05 , 03-Мрт-12, (186) //
- Похоже кто то хочет подзаработать на неграмотности админов Что ж, флаг им в руки,
vi (?), 02:12 , 04-Мрт-12, (198)
- Линуксоиды воистину неизлечимы Вместо того что бы механизировать ручной труд,
Piter_Ring (ok), 05:06 , 04-Мрт-12, (212) –2 //
1,2,3,4,5,12,22,41,110,113,149,186,198,212
|