The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Удаление дублирующихся записей из NetFlow"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Маршрутизаторы CISCO и др. оборудование. (Public)
Изначальное сообщение [ Отслеживать ]

"Удаление дублирующихся записей из NetFlow"  +/
Сообщение от Snowdtiger email on 18-Июл-09, 11:21 
Возникла следующая ситуация:
ошибка в конфигурации cisco роутера вызвала, что в файл netflow некоторые флоу данные записались два раза. Не все, но значительное кол-во. Теперь стоит вопрос как из этих файлов убрать дубликаты. Поиск результата не дал. Или искал не правильно.

Что пришло в голову.

Перегонять файл flow-export в текст
скриптом удалить дубликаты строк. Про сам скрипт не думал еще, но не очень сложная задача.
Сложность только сохранить порядок следования.
Полученный текст возвращаем назад flow-import.

Единственное не знаю какой уровень компрессии по умолчанию использует flow-capture, но это можно выяснить.

Недостаток - полностью теряется информация заголовка. Было

# mode:                 normal
# capture start:        Mon Jul 13 15:50:00 2009
# capture end:          Mon Jul 13 15:55:00 2009
# capture period:       300 seconds
# compress:             on
# byte order:           little
# stream version:       3
# export version:       5
# lost flows:           0
# corrupt packets:      0
# sequencer resets:     0
# capture flows:        70140

Стало
# mode:                 streaming
# compress:             on
# byte order:           little
# stream version:       3
# export version:       5
# comments:             flow-import

Никто не сталкивался с подобной задачей? Может есть другой вариант решения?
Не считая написание программы которая перепетрушит файл.

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Удаление дублирующихся записей из NetFlow"  +/
Сообщение от Аноним (??) on 18-Июл-09, 11:52 
>[оверквотинг удален]
>Что пришло в голову.
>
>Перегонять файл flow-export в текст
>скриптом удалить дубликаты строк. Про сам скрипт не думал еще, но не
>очень сложная задача.
>Сложность только сохранить порядок следования.
>Полученный текст возвращаем назад flow-import.
>
>Никто не сталкивался с подобной задачей? Может есть другой вариант решения?
>Не считая написание программы которая перепетрушит файл.

Как раз недавно сталкивались, ничего другого не нашли,
скрипт на основе команды sort, работает долго..


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Удаление дублирующихся записей из NetFlow"  +/
Сообщение от Snowdtiger email on 18-Июл-09, 16:19 
>
>Как раз недавно сталкивались, ничего другого не нашли,
>скрипт на основе команды sort, работает долго..

sort последовательнось поменяет. Время работы не критично. Скрипт который из текста одинаковые строки
уберет можно сделать многими вариантами. Например на перле. Заносить строку в хэш с проверкой существования. Если есть уже - то пропускать строку. Как значение использовать номер строки. А выводить
ключи отсортированные по этому номеру.

Вот что с заголовком делать?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Удаление дублирующихся записей из NetFlow"  +/
Сообщение от den (??) on 20-Июл-09, 14:21 
>Вот что с заголовком делать?

а чего заголовок должен терятся? есть же модулек CFlow или както так. Так там можно быстрее парсить и ничего не потеряется.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру