The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск Debian 9.4"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Есть идеи по улучшению форума и сайта ? Пишите.
. "Выпуск Debian 9.4" –1 +/
Сообщение от Аноним (-), 13-Мрт-18, 01:41 
> На файловых системах типа ext3 несложно.

Кто ж сейчас EXT3 пользуется, ext4 шустрее все-таки из-за экстентов.

> После того как за inode зацепился уже дальше все просто.

Это "просто" если ты структуры файлухи знаешь. И сколько опеннетчиков покажет нам этот номер? Особенно из хорохорившихся тут?

> Даже если собрать целиком файлы лога не вышло по найденным inode, то пропуски
> легко найти по ожидаемым сигнатурам (хоть регексами),

О да, пару терабайтов регэксами :). Как максимум могу себе представить что если это поимка хакера по типу криминалистики, что-то такое еще может прокатить. Но это явно не полное вытаскивание всех логов блин и даже не поиск неизвестно чего.

А вот как разместить системдшные логи чтобы целиком в 1 фрагменте "вечно" были, с фиксированным размером и известной сигнатурой начала - я себе представляю. В таком виде можно и flawless recovery закатить. При том вместо регэкспов искать маркер начала файла. Ну да, там надо себе заранее подыграть, но так по крайней мере более-менее можно.

> если формат данных известен. С текстом особенно легко.

С текстом легко только если знать что искать. И именно регэкспом на именно 2 терабайтах будет не совсем прикольно. Если вопрос на миллион, можно и это конечно. Но на практике горячие головы скорее всего забьют: соотношение траха и результата фэйловое. А вот как накорябать автоматическую утилсу которая вынет мне системдшные логи зная минимум данных (размер кольцевого буфера который я настроил) - я по крайней мере так смогу. И быстро. И там кондовый маркер LPKSHHRH в начале файла. Левого добра где это по 0-му смещению сектора на диске будет немного. Остается прочесть по размеру кольцевого буфера - и лог у меня. Вообще весь.

А еще поскольку фрагментация и вообще 2 терабайта бинарного мусора, парсинг этого наверняка доставит мягкотелым любителям текста. Которым придется жевать таки явно бинарные данные.

> Я так в 2004-ом как раз с посыпавшегося рейда собирал инфу. Там
> был склад xml-файлов известного формата.

У XMLок часто бывает характерный маркер начала. А еще в 2004 диски были малось поменьше. Одно только чтение винча на несколько Тб может занять полдня. Сколько там займет регэксп - очень интересный вопрос.

> Достал почти всё. Аппаратный контроллер рейд запускать отказывался,
> поэтому пришлось диски вычитывать отдельно.

Надеюсь это объясняет почему я не особый фанат неведомых проприетарных форматов метаданных и аппаратных рейдов.

> Где-то несколько дней ушло, данных было 70 гигов примерно.
> С двумя терабайтами не вижу проблемы. Тогда диски были большие по сравнению
> со скоростью процов и памятью машин :)

Проблема простая: желательно все вынуть за 1 проход, потому что читать 2 терабайта можно заманаться. Как что-то такое для системдшных логов (а точнее кандидатов на таковые) изобразить, если себе подыграть немного - я еще догадываюсь.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Выпуск Debian 9.4, opennews, 10-Мрт-18, 18:37  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру