>> На файловых системах типа ext3 несложно.
> Кто ж сейчас EXT3 пользуется, ext4 шустрее все-таки из-за экстентов.Да без разницы, я пример из жизни с ext3 привел, чтобы не быть голословным.
> О да, пару терабайтов регэксами :). Как максимум могу себе представить что
> если это поимка хакера по типу криминалистики, что-то такое еще может
> прокатить. Но это явно не полное вытаскивание всех логов блин и
> даже не поиск неизвестно чего.
Здравый смысл никто не отменял, в моем случае была предварительная проверка на текстовое содержание, а уже потом регексы.
> А еще поскольку фрагментация и вообще 2 терабайта бинарного мусора, парсинг этого
> наверняка доставит мягкотелым любителям текста. Которым придется жевать таки явно бинарные
> данные.
Вот ты почему-то делаешь выводы из ничего, я тебе конкретный пример привожу в котором текст проблемой не являлся. Формат текстовых логов типа syslog в целом понятен. Без разницы где оно по диску разбросано, лишь бы было.
> У XMLок часто бывает характерный маркер начала. А еще в 2004 диски
> были малось поменьше. Одно только чтение винча на несколько Тб может
> занять полдня. Сколько там займет регэксп - очень интересный вопрос.
Ну давай проверим, раз это такой для тебя очень интересный вопрос.
dd if=/dev/sdb bs=1M count=1000 iflag=direct | grep "^(0?[1-9]|[12][0-9]|3[01])[\/\-](0?[1-9]|1[012])[\/\-]\d{4}$"
1000+0 записей получено
1000+0 записей отправлено
скопировано 1048576000 байт (1,0 GB), 5,28532 c, 198 MB/c
sdb - обычный диск на 500 гигабайт.
>> Достал почти всё. Аппаратный контроллер рейд запускать отказывался,
>> поэтому пришлось диски вычитывать отдельно.
> Надеюсь это объясняет почему я не особый фанат неведомых проприетарных форматов метаданных
> и аппаратных рейдов.
Тут вроде отношение к неведомым форматам рейдов не выясняют.
> Проблема простая: желательно все вынуть за 1 проход, потому что читать 2
> терабайта можно заманаться. Как что-то такое для системдшных логов (а точнее
> кандидатов на таковые) изобразить, если себе подыграть немного - я еще
> догадываюсь.
Я проблемы не вижу, хоть 2 терабайта хоть 10. Это зависит только от того, что искать и зачем. А не от размеров дисков.
