The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск системы индексации сетевого трафика Arkime 5.0

11.02.2024 12:06

Опубликован релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 5.0, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой замены коммерческим платформам обработки сетевых пакетов, поддерживающей развёртывание на своих серверах и способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch Linux, RHEL/CentOS и Ubuntu.

Arkime включает инструменты для захвата и индексации трафика в формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение типового формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch или OpenSearch. Компонент для захвата трафика работает в многопоточном режиме и решает задачи мониторинга, записи PCAP-дампов на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch/OpenSearch. Возможно хранение PCAP-файлов в зашифрованном виде.

Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра - от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.

В новой версии:

  • Добавлена возможность отправки комбинированных поисковых запросов информации через сервис Cont3xt для сбора доступной в различных открытых источниках (OSINT) информации одновременно о нескольких объектах.
  • Добавлена поддержка методов формирования отпечатков трафика JA4 и JA4+ для определения сетевых протоколов и приложений.
  • Изменено оформление блока с детальной информацией о сеансе, в котором минимизировано неиспользуемое пространство и реализована двухколоночная компоновка для больших экранов.
  • Во вкладки Files, History и Stats добавлены выпадающие блоки для поиска одновременно в нескольких экземплярах интерфейса для просмотра статистики (Viewer).
  • Система авторизации унифицирована и выделена в отдельный модуль, который теперь используется во всех приложениях Arkime. Вместо анонимного режима авторизации по умолчанию задействован метод digest. Добавлены новые режимы авторизации: basic, form, basic+form, basic+oidc, headerOnly, header+digest и header+basic.
  • Все приложения переведены на унифицированную подсистему конфигурации, поддерживающую обработку настроек в разных форматах (ini, json, yaml) и способную загружать настройки из разных источников, например, c диска, по сети через HTTPS или из OpenSearch/Elasticsearch.
  • Добавлена поддержка импорта сохранённых (offline) PCAP-дампов с их загрузкой по URL через HTTPS или из хранилища Amazon S3, без необходимости предварительного сохранения на локальной системе.


  1. Главная ссылка к новости (https://github.com/arkime/arki...)
  2. OpenNews: Выпуск дистрибутива SELKS 7.0, нацеленного на создание систем обнаружения вторжений
  3. OpenNews: Выпуск сетевого анализатора Wireshark 4.2
  4. OpenNews: Выпуск сканера сетевой безопасности Nmap 7.94
  5. OpenNews: Выпуск системы глубокого инспектирования пакетов nDPI 4.8
  6. OpenNews: Доступен FlowPrint, инструментарий для определения приложения по зашифрованному трафику
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60586-arkime
Ключевые слова: arkime, pcap, traffic
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (37) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.10, Богдан Нариев (-), 15:12, 11/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –8 +/
    Как он по сравнению с тем же Wireshark? Например, Wireshark мне очень хорошо помог в обходе провайдерского DPI, который в свою очередь долго портил мне нервы и не давал подключаться к VPN. Wireshark помог проанализировать характер вредоносных DPI-пакетов и добавить несколько полезных правил в файрволл, чтобы облапошить DPI. Целый год прошел, а до сих пор VPN работает как часы. Правда на то, чтобы разобраться с Wireshark, потратил недели две, но оно того стоило. Можно подменять и модифицировать исходящие пакеты так, чтобы DPI спал спокойно.
     
     
  • 2.12, Аноним (12), 15:33, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +15 +/
    > Как он по сравнению с тем же Wireshark?

    примерно как зелёное с солёным...

     
  • 2.15, Аноним (15), 15:58, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ваши домохозяйкины инсайты мало интересны. Когда нужно будет, начнут резать весь трафик, который имеет характер постоянно работающей "трубы" (VPN), а не сеансового доступа (SSH или TLS). По поведенческим факторам. Пофиг будет, какой там у вас сетевой порт или на что похож протокол. И никаких RST пакетов вам отсылать для этого не понадобится.
    Ваша свобода - наша недоработка. Помните об этом, товарищ.
     
     
  • 3.16, Moriarti (??), 16:06, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Фигня. Любой DPI можно нагнуть. Я умудрялся делать это даже в Китае, еще в прошлом декабре, в командировке был. А еще любой VPN-трафик можно завернуть так, что он будет выглядеть как НЕ-VPN. Сюрприз, да? ;)
     
     
  • 4.17, Аноним (15), 16:36, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да никаких сюрпризов, чел DPI нагибаются по двум причинам Первая - их разрабат... большой текст свёрнут, показать
     
     
  • 5.24, YetAnotherOnanym (ok), 20:50, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > В наших реалиях вполне достаточно срезать 95% трафика и обломать монетизацию. От консолидирующего общественное мнение иноагента остается кучка маргиналов, грызущихся между собой. А большего и не требуется

    В кои-то веки здравое рассуждение

     
     
  • 6.48, Аноним (48), 19:42, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Лучше бы ты обратил внимание на его рассуждение про ИИ. Как столкнёшся — поймёшь. Сам ещё будешь отговаривать от западных VPN.
     
     
  • 7.56, YetAnotherOnanym (ok), 20:52, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Аноним (48), 12-Фев-24, 19:42
    > ВАКЦИНА (?), 12-Фев-24, 20:07

    Мальчики, если у вас такое позднее зажигание, то хотя бы паузу между комментариями выдерживайте, а то палево получается.

     
     
  • 8.57, Аноним (57), 02:51, 13/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Мы не знакомы, хотя я предполагаю что ВАКЦИНА - товарыш майор из нэньки Вполне ... текст свёрнут, показать
     
  • 8.58, Аноним (57), 03:25, 13/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    И палево тебе кажется или не палево, но на родные ресурсы доступные без VPN лучш... большой текст свёрнут, показать
     
  • 6.51, ВАКЦИНА (?), 20:07, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нет ничего здравого в этих словах. Типичный полит.наброс.
    Во-первых, срезание 95% трафика явно не добавит режиму поддержки молодежи.
    Во-вторых, монетизация из РФ уже давно через крипту, а нативная - за счет уехавших в соседние страны.
    В-третьих, консолидация общественного мнения имеет мало веса при авторитарном режиме.
    Единственное, что полезного получит режим при подобном запрете - оттягивание во времени массового разочарования в нём.
     
     
  • 7.52, Аноним (52), 20:12, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Хах, великие отменятели приехали! Угу — не слушай их, ты слушай нас! Ты отдельный класс!

    А вы вообще из какой страны?

     
  • 7.55, YetAnotherOnanym (ok), 20:49, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вот в твоих перепевах чужих фантазий про поддержку молодёжи и крипту точно нет никакого смысла. А в его словах = есть, и практика это подтверждает.
     
  • 5.41, Повар200 (-), 12:47, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    С прямыми руками и наличием знаний нагибается любой dpi. А пyкать в лужу можно сколько угодно, на любой новомодный dpi всегда найдется новый способ обхода.
     
     
  • 6.46, Аноним (46), 18:53, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    В теории, ты можешь нелегально пересечь границу, особенно если ты хороший пловец или сильный альпинист, а на практике ты никогда этого не станешь делать, по многим причинам.
    Подвести под TCP/IP правовую базу и все заиграет новыми красками.
    Начать заводить административные дела по собранным DPI данным. Как с камер на скорость. Наследил в DPI, через неделю в бигдату завели, какие хосты неделю назад были проксями/впнками, разослали штрафы. Профит...
     
     
  • 7.53, Аноним (52), 20:16, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Да и без бигдаты видно что гормоны играют — молодёжи выделиться нечем. Нормальные люди не описывают такие мелочт, если это не осознанная пропаганда. Недостаток воспитания, внимания порождает желание непонятно чего, вот хренью и страдает.
     
     
  • 8.54, Аноним (52), 20:18, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    p s даю подсказку 8212 без обхода VPN можно научиться играть на музыкальном ... текст свёрнут, показать
     
  • 4.19, anonymous (??), 17:16, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    И как ты это делал в Китае?
     
     
  • 5.42, Повар200 (-), 12:50, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Чел, расслабься. Никто в здравом уме не будет делиться такой инфой. У меня, к примеру, есть несколько способов для обхода китайских блокировок, и все работающие. Даю знакомым китайцам, тем кому действительно надо, и в ком на 100% уверен. Но даже если опустить личные лайфхаки, есть несколько публичных vpn-сервисов, которые умудряются работать в Китае сегодня. Если ты про них не знаешь, может даже и к лучшему. Значит тебе просто это не нужно.
     
     
  • 6.45, anonymous (??), 14:47, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Слив засчитан. От "я DPI обходил даже в Китае" до "ну, публичные VPN как-то" за один комментарий.

     
     
  • 7.62, Аноним (-), 22:15, 13/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Лучше читай книжки, парень. Авось прокачаешь внимательность и научишься отличать один ник от другого. :)
     
  • 2.11, Богдан Нариев (-), 15:15, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На первый взгляд кажется, что основные отличия в интерфейсе - Wireshark на Qt, а здесь Web-интерфейс.
     
     
  • 3.13, Аноним (13), 15:45, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Читать научитесь. Это идексатор, а вайршарк анализатор. Попробуйте скормить вайршарку дамп за месяц. А теперь умножьте на тысячу машин в вашей сети. А теперь постройте связи в вайршарке между вашими микро сервисам на этой тысяче машин.
     
     
  • 4.25, YetAnotherOnanym (ok), 20:53, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вот именно. Чтобы вайршарком смотреть не абы кого, а кого надо.
     
  • 3.20, Аноним (20), 17:53, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    В wireshark обычно смотрят обмен отдельной программы/хоста, но детально. Для диагностики конкретных ошибок обмена, затыков, потерь пакетов, фрагментации, корректности реализации протокола, корректности передаваемых данных и т.д.
    Здесь упор на итоговой статистике за период по куче хостов. Какие именно там пакеты шли, в какой последовательности, какого размера - неважно.
     
  • 2.50, Аноним (50), 20:02, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Все с тобой понятно, голубокровная особь которая таким путем выбивается в отдельный класс. Тебе повезло, ты не такой как все...
     
  • 2.60, feudor (ok), 16:25, 13/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    у этих программ абсолютно разное назначение, вайршарк для анализа траффика в твоей сети, а аркми для захвата и сохранения трфаффика всей сети национального оператора, для дальнейшего сохранения трафика (АНБ для этого построили несколько дата-центров) и его постоянного длительного хранения, дальнейшему поиску по сохраненому зашифрованному траффику! то что он зашифрован, это неважно, ведь они свой липовый американский сертификат подсовывают каждому клиенту который позволяет свободно и "демократически" (как полагается тоталитарному режиму) делать поиск по зашифрованному траффику.
     

  • 1.14, Аноним (15), 15:51, 11/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    pcap 24/7 пишет и кладет в логопомойку. О глобальном потеплении по ходу там не думают, электричество не экономят. На нужды CIA, то бишь OSINT, понятно не жалко.

    Из счетчиков iptables и такой-то перловой матери вроде munin можно состряпать получше решение. Которое побольше пакетиков пропустит, к слову. Вот только зачем...
     
     
  • 2.21, Аноним (20), 18:01, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > pcap 24/7 пишет и кладет в логопомойку

    Соблюдают закон Яровой, ИМХО.

     
     
  • 3.61, feudor (ok), 16:35, 13/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> pcap 24/7 пишет и кладет в логопомойку
    > Соблюдают закон Яровой, ИМХО.

    Закон Яровой появился намного позже чем вся эта деятельность по тотальной слежке в США, так же закон Яровой требует только хранить траффик некоторое установленное время, а не вечно накапливая его. К тому по закону Яровой в случае совершения преступления по решению суда траффик опредленного подозреваемого поднимается, а не делается свободный демократический поиск по траффику всех клиентов оператора. Получается что AOL, Verizon(который рисует сертификаты), Yahoo - это одна и таже компания.


     
  • 2.23, Аноним (23), 19:39, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    > Из счетчиков iptables и такой-то перловой матери вроде munin можно состряпать получше решение.

    Диванная экспертиза на марше. Ты бы для начала разобрался что такое сабж и для чего он нужен, прежде чем писать тут чушь про счётчики и munin (как оно там в 2007, кстати?).

     

  • 1.18, anonymous (??), 17:16, 11/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Он тем же самым занимается, что и ntopng?
     
     
  • 2.26, Антонимус (?), 22:32, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да. Только бесплатно и без смс.
     
     
  • 3.27, anonymous (??), 23:07, 11/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ntopng тоже бесплатный.

    Nprobe платный, но есть netflow2ng.

     

  • 1.37, Аноним (37), 10:22, 12/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    1. Функционал dpi есть, Например домены из SNI вытаскивать и прочее что умеет ndpireader?
    2. Можно кастомные поля добавлять (например сопоставлять ip адреса с логанами)?
     
  • 1.39, Big Robert TheTables (?), 11:17, 12/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На пхдейс в парке хорошая преза по аркайм была у ребят из какого-то захолустного немецкого банка. Они собрали на базе этого не полностью переименованного молоха неплохой комбайн.
     
     
  • 2.40, Big Robert TheTables (?), 11:18, 12/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    фан факт - произносить надо "аркиме"
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру