Исходное сообщение
"Представлен проект Lumberjack, нацеленный на модернизацию си..." Отправлено VoDA, 03-Мрт-12 15:06
>> работа с БД в большинстве случаев быстрее plain-file. > Тока не в этом конкрэтном. Ибо инсерты будут валить как из ведра. > И вот када тазик даже не просядет - проляжет (или мы > их транзакциями по n штук пендюрить бум? А кто вас сказал чтоб это будет *реляционная* СУБД? шарашить с спец формате рассчитанном на эффективную запись. даже при снижении скорости чтения анализ будет идти быстрее чем grep. Далее plain-text можно ускорить в несколько раз если заменить hostname на hostId, время указывать в виде unix-time как набор байт, а не "03-Мрт-12 04:48". Какое приложение выдало сообщение - локальный идентификатор размером в int. Ща глянул на дефолтовые логи - половина записи это мета-информация, которая может быть легко нормализована. Т.е. если сейчас система логирования справляется с текущей нагрузкой, то при замене на бинарь она будет в два раза быстрее (уменьшение на 50% размера средней записи, значит за то же время можно записать на 200% больше, т.е. в два раза). Для дефолтового лога апача ускорение будет в 1,5 раза (мета-информация занимает примерно треть).