The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск Debian 9.4"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.
. "Выпуск Debian 9.4" +1 +/
Сообщение от Forth (ok), 13-Мрт-18, 10:09 
>> На файловых системах типа ext3 несложно.
> Кто ж сейчас EXT3 пользуется, ext4 шустрее все-таки из-за экстентов.

Да без разницы, я пример из жизни с ext3 привел, чтобы не быть голословным.

> О да, пару терабайтов регэксами :). Как максимум могу себе представить что
> если это поимка хакера по типу криминалистики, что-то такое еще может
> прокатить. Но это явно не полное вытаскивание всех логов блин и
> даже не поиск неизвестно чего.

Здравый смысл никто не отменял, в моем случае была предварительная проверка на текстовое содержание, а уже потом регексы.

> А еще поскольку фрагментация и вообще 2 терабайта бинарного мусора, парсинг этого
> наверняка доставит мягкотелым любителям текста. Которым придется жевать таки явно бинарные
> данные.

Вот ты почему-то делаешь выводы из ничего, я тебе конкретный пример привожу в котором текст проблемой не являлся. Формат текстовых логов типа syslog в целом понятен. Без разницы где оно по диску разбросано, лишь бы было.

> У XMLок часто бывает характерный маркер начала. А еще в 2004 диски
> были малось поменьше. Одно только чтение винча на несколько Тб может
> занять полдня. Сколько там займет регэксп - очень интересный вопрос.

Ну давай проверим, раз это такой для тебя очень интересный вопрос.
dd if=/dev/sdb bs=1M count=1000 iflag=direct | grep "^(0?[1-9]|[12][0-9]|3[01])[\/\-](0?[1-9]|1[012])[\/\-]\d{4}$"
1000+0 записей получено
1000+0 записей отправлено
скопировано 1048576000 байт (1,0 GB), 5,28532 c, 198 MB/c
sdb - обычный диск на 500 гигабайт.

>> Достал почти всё. Аппаратный контроллер рейд запускать отказывался,
>> поэтому пришлось диски вычитывать отдельно.
> Надеюсь это объясняет почему я не особый фанат неведомых проприетарных форматов метаданных
> и аппаратных рейдов.

Тут вроде отношение к неведомым форматам рейдов не выясняют.

> Проблема простая: желательно все вынуть за 1 проход, потому что читать 2
> терабайта можно заманаться. Как что-то такое для системдшных логов (а точнее
> кандидатов на таковые) изобразить, если себе подыграть немного - я еще
> догадываюсь.

Я проблемы не вижу, хоть 2 терабайта хоть 10. Это зависит только от того, что искать и зачем. А не от размеров дисков.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Выпуск Debian 9.4, opennews, 10-Мрт-18, 18:37  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру