> Проблема логов в том, что их периодически нужно читать. Wrong. На самом деле их надо не "читать" а "анализировать". Это еще IBM сформулировал: "Машина должна работать, а человек - думать". Вы же предлагаете свалить машинную работу на человека. Ужас!
Если стоит сервак который держит приличную нагрузку, немеряные портянки логов на нем - просто данность. Ну, если запросов много - значит и логов от них много. Более того - это внешний фактор, админу он не подконтролен. Значит даже absolute worst case, когда кто-то целенаправленно пытается зафлудить логи не должен вызывать никаких проблем. Иначе сервак уронит первый же мальчиш-плохиш, которому что-то не нравится. Нафига такое счастье?
> И если в логи писать терабайты текстов, умело сжимая их до гигабайтов бинарных данных,
> читать придётся терабайты.
Именно читать втупую логи - удел дураков, уж простите. А нормальные люди логи анализируют по критериям. И гигабайты резко превращаются в килобайты, а миллионы запросов - в десятки наиболее интересных записей.
А зачем мне читать вообще ВСЕ запросы? Логи изучают по поводу тех или иных проблем или происшествий. Ну так вот и должна быть возможность оперативно выцепить куски представляющие интерес.
Вся эта текстовая дребедень в этом плане очень проблематична. Чтобы просто выцепить "все запросы за вчера, от 00:51:05 до 00:52:18" надо как минимум сделать полный проход по немеряной портянке текстового лога и проскипать все не относящееся к нужным критериям. Портянка будет немелким кусом за период ротации логов. И если с датой еще можно попытаться хоть как-то соптимизировать, допустив что лог линейный и монотонный, то например с хотелкой вида "а вот дать мне все обращения с этого айпишника за последний месяц" так уже не катит. Там будет кондовый полный проход по вообще всем логам за этот самый месяц. Который займет немеряно времени в случае нагруженного сервака. И админ будет как дебил ждать выполнение машинной работы машиной.
> Поэтому текстовый формат хорош тем, что из-за определённых ограничений заставляет
> думать, что писать в логи, а что - нет.
А велопривод в качестве тягловой силы для самолета заставляет инженеров на ушах стоять по поводу максимальной легкости конструкции и рекордной эффективности в ущерб вообще всему остальному. По каким-то таким причинам, самолеты приводимые в движение мускульной силой и являются редкими экзотичными экспонатами, на грани научных курьезов.
