The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Тематический каталог: Проверка web-трафика Squid на вирусы п..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Тематический каталог: Проверка web-трафика Squid на вирусы п..."  +/
Сообщение от auto_topic on 19-Июн-06, 00:26 
Обсуждение статьи тематического каталога: Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap (web s

Ссылка на текст статьи: http://www.opennet.ru/base/net/clamav_icap_squid.txt.html

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от Ещдыено on 19-Июн-06, 00:26 
<Что определяет srv_clamav.VirScanFileTypes я окончательно не понял, но
подозреваю, что принудительно проверяемые группы файлов (EXECUTABLE и
ARCHIVE по умолчанию).>

Насколько я понял, эти файлы принудительно отправляются в карантин. Покрайней мере пока я не закомментировл эту строку ни один архив нельзя было скачать с инета.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от Adil_18 email on 09-Авг-06, 14:18 
Illegal response from ICAP server.
Unsupported status '500' from ICAP server

при попытке скачать *.zip

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от alexcom email(ok) on 05-Сен-06, 18:16 
Поставил все. Работает. Ловит eicar по крайней мере.
Но постоянно в лог пишет следующее:
ICAP: general, SIGPIPE signal received.
Так и должно быть?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от SysR email on 06-Сен-06, 12:48 
У самого подобная проблема.
Только кроме того он еще забивает ЛОГ после чего СКВИД говорит об ошибке ICAP протокола.
При этом один из демонов забирает под себя весь проц.
Подскажите решение кто сталкивался с чем-то подобным.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от alexcom email(ok) on 07-Сен-06, 12:58 
<При этом один из демонов
syslogd.
Изза забивания лога этими ошибками и забирает весь ресурс проца
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от evgeniy1 (ok) on 25-Окт-06, 17:01 
  Связка Сквид +HAVP  работает отлично.
Стабильно, мало жрет ресурсов.
При этом - намного больше возможностей.
Правда, для полного счастья (+ftp +..) нужны 2 Сквида + HAVP.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

15. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от alexcom (ok) on 09-Ноя-06, 21:03 
>  Связка Сквид +HAVP  работает отлично.
>Стабильно, мало жрет ресурсов.
>При этом - намного больше возможностей.
>Правда, для полного счастья (+ftp +..) нужны 2 Сквида + HAVP.


А с этого места поподробнее :)
Сколько пользователей? Большой траффик? Какой сервер?
Вируса как отлавливает?

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

11. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от riban on 30-Окт-06, 16:02 
У меня на Intel(R) Pentium(R) D CPU 3.20GHz и 2ГБ оперативки C-ICAP отжирает 98% проца:( Юзеров всего до 10, нагрузка не пиковая.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от slava (??) on 31-Окт-06, 14:11 
У меня такая же беда с загрузкой проца. И что характерно, только ОДИН процесс c-icap отжирает 99.9% у проца.....
почти весь инет перерыл...нету ответа.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от riban on 01-Ноя-06, 16:53 
а у тебя какая версия сквида/icap?
У меня squid-2.5.STABLE10-drweb-patch, c_icap-030606rc1
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от slava (??) on 03-Ноя-06, 14:48 
>а у тебя какая версия сквида/icap?
>У меня squid-2.5.STABLE10-drweb-patch, c_icap-030606rc1

squid-2.6.STABLE4 + icap-2_6.patch, c_icap-030606rc1, антивирусник clamav-0.88.5.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Все дело в настройке логов"  +/
Сообщение от Фигаро on 10-Ноя-06, 21:05 
Они должны быть настроены в syslog, а не в файл - выяснено опытным путем
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

17. "Все дело в настройке логов"  +/
Сообщение от alexcom (ok) on 11-Ноя-06, 09:42 
>Они должны быть настроены в syslog, а не в файл - выяснено
>опытным путем
Если в syslog- тогда в messages куча матюков, а не в файле лога..
Я пробовал и так и так- результат один
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Все дело в настройке логов"  +/
Сообщение от FOKS on 09-Фев-07, 12:34 
Помогает: sys_logger.server_priority info
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

18. "Все дело в настройке логов"  +/
Сообщение от riban on 15-Ноя-06, 15:02 
У меня тоже не прокатило. Можно конфиг в студию?
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от hopeful email on 21-Июн-07, 14:39 
В дополнение хочу поделиться опытом запуска Squid+c-icap+ClamAV в рабочую эксплуатацию на маршрутизаторе офиса из 50 компьютеров.

Итак имеем:
Железо – Intel PIII-1000/512Ram.
ОС - FreeBSD 5.5 Release.

Установка и настройка ClamAV.
Можно установить из портов. Версия на момент написания комментариев – 0.90.3. Когда делаем make – может выдать ошибку и ругнуться:
«On FreeBSD before 6.2 ports system unfortunately can not set default X11BASE by itself so please help it a bit by setting X11BASE=${LOCALBASE} in make.conf.
On the other hand, if you do wish to use non-default X11BASE, please set variable USE_NONDEFAULT_X11BASE»
Чтобы это устранить добавляем в /etc/make.conf строку: X11BASE=${LOCALBASE} и повторяем сборку.
##
#> cd /usr/ports/security/clamav
#> make
#> make install clean
##
В /etc/rc.conf прописываем строчки:
clamav_clamd_enable=”NO”    # демон clamd для работы c-icap не нужен
clamav_freshclam_enable=”YES” # запуск демона обновления антивирусных баз

Хотя если вам не нужен висящий в системе процесс, в предыдущем пункте можно поставить “NO”, и запускать обновление баз из крона, добавив в /etc/crontab строчку:
##
0    0,6,12,18    *    *    *    /usr/local/bin/freshclam
##
И, разумеется, необходимо настроить конфиг, отвечающий за обновление баз ClamAV -     /usr/local/etc/feshclam.conf, например так:

##
DatabaseDirectory /var/db/clamav
UpdateLogFile /var/log/clamav/freshclam.log
LogVerbose no
LogSyslog yes
LogFacility LOG_MAIL
DatabaseOwner clamav
AllowSupplementaryGroups no
DatabaseMirror database.clamav.net
MaxAttempts 3
ScriptedUpdates yes
Checks 6
##


Установка и настройки c-icap с поддержкой ClamAV
Самое интересное.
На момент написания комментариев в системе портов 5 ветки FreeBSD есть порт c-icap который установит в систему i_cap-030606rc1. Скажу сразу, это не самый лучший вариант. Добиться устойчивой работы этого создания мне не удалось. В случайные моменты c-icap отказывался работать, начиная отчаянно «мусорить» в лог сообщениями: «general SIGPIPE signal received» (проблема в инете известная). В общем чуть не утроил мне локальный DoS. В итоге был безжалостно удален.
С сайта проекта с-icap http://c-icap.sourceforge.net/ , а точнее отсюда: http://sourceforge.net/project/showfiles.php?group_id=123427 , был скачан самый свежий на момент написания комментариев c_icap-180407.tar.gz а так же Squid, немного пересобранный авторами проекта, squid-icap-2.5.STABLE12-20051102. Именно их и будем устанавливать.

Начнем с c_icap.
##
#> cd /distfiles/сicap
#> tar –xzf c_icap-180407.tar.gz
#> cd c_icap-180407
#> ./configure --enable-static --with-clamav=/usr/local --prefix=/usr/local/c_icap
#> make
#> make check
#> make install
##
    На последнем этапе, когда делаем make install, будет вылет по ошибке. Чтобы не править make-файл – просто запустите make install еще раз, все должно закончиться хорошо. Настраиваем: /usr/local/c_icap/etc/c-icap.conf. Например так:
##
PidFile /var/run/c-icap.pid
CommandsSocket /var/run/c_icap/c-icap.ctl
Timeout 100
#
#KeepAlive выключаем. Никакого влияния на быстродействие я не заметил, а количество
#коммуникационных ошибок резко уменьшилось.
KeepAlive Off
#
#При выключенном KeepAlive следующие 2 опции не принципиальны
MaxKeepAliveRequests 200
KeepAliveTimeout 600
#
#Умолчальный вариант конфига для следующих 5 параметров писался наверное для
#пары клиентов, поэтому при работе на настройках по умолчанию вам гарантирована
#высокая загруженность системы, тормоза, неполная загрузка страниц.
#В общем, добавляем не скупясь
StartServers 3
MaxServers 30
MinSpareThreads     10
MaxSpareThreads     300
ThreadsPerChild     30
MaxRequestsPerChild  0
#
Port 1344
#
#От имени этого пользователя будет работать с-icap
User cicap
Group cicap
TmpDir /var/tmp/c_icap
MaxMemObject 131072
#
#Писать логи удобнее в файлы, не используя syslog
ServerLog /var/log/c_icap/server.log
AccessLog /var/log/c_icap/access.log
Logger file_logger
#
ModulesDir /usr/local/lib/c_icap/
Module logger sys_logger.so
Module perl_handler perl_handler.so
#
#При отказе от syslog следующие две опции не принципиальны
sys_logger.Prefix "c-icap:"
sys_logger.Facility local1
#
#Стандартный acl, подходит, если squid работает на том же компьютере, что и c-icap
acl localsquid_respmod src 127.0.0.1 type respmod
acl localsquid src 127.0.0.1
acl externalnet src 0.0.0.0/0.0.0.0
icap_access allow localsquid_respmod
icap_access allow localsquid
icap_access deny externalnet
#
ServicesDir /usr/local/c_icap/lib/c_icap
Service echo_module srv_echo.so
Service squard_module srv_sguard.so
Service antivirus_module srv_clamav.so
ServiceAlias avscan srv_clam?allow204=on&sizelimit=off&mode=simple
#
# Типы проверяемых файлов, описаны в /usr/local/c_icap/etc/c-icap.magic
srv_clamav.ScanFileTypes TEXT DATA EXECUTABLE ARCHIVE GIF JPEG MSOFFICE
srv_clamav.SendPercentData 5
srv_clamav.StartSendPercentDataAfter 2M
#
# Урезал максимальные значения, если железо позволяет – можно оставить умолчальные
srv_clamav.MaxObjectSize  5M
srv_clamav.ClamAvTmpDir /var/tmp/c_icap
srv_clamav.ClamAvMaxFilesInArchive 50
srv_clamav.ClamAvMaxFileSizeInArchive 5M
srv_clamav.ClamAvMaxRecLevel 5
#
#Скажу сразу: прелести режима «варилатора» я не понял. Подробного описания не
#нашел,режим экспериментальный, предназначен для взаимодействия с web-клиентом,
#если функционал нам не нужен – смело выключаем.
#srv_clamav.VirSaveDir …
#srv_clamav.VirHTTPServer …
#srv_clamav.VirUpdateTime …
#srv_clamav.VirScanFileTypes …
##
Подробное описание всех параметров ищите на сайте проекта.
Добавляем в систему пользователя cicap с группой cicap.
Создаем нужные каталоги и файлы и делаем владельцем каталогов и логов cicap:cicap.
##
#> cd /var/log
#> mkdir c_icap
#> touch c_icap/access.log c_icap/server.log
#> chown –R cicap:cicap ./c_icap
#> mkdir /var/tmp/c_icap /var/run/c_icap
#> chown cicap:cicap /var/tmp/c_icap /var/run/c_icap
##
Далее можно запускать и тестировать.
##
#> /usr/local/c_icap/bin/c-icap
#> sockstat -4 | grep 1344
##
Для ротации журнальных файлов в /etc/newsyslog.conf можно добавить строчки:
##
/var/log/c_icap/access.log    cicap:cicap 640     7  * @T00  J  /var/run/c-icap.pid
/var/log/c_icap/server.log    cicap:cicap 640 7  * @T00  JN
##
По умолчанию посылаем –HUP с-icap.pid, что заставит c-icap перечитать конфигурацию и писать в новые файлы логов.


Установка и настройка прокси-сервера Squid.
Устанавливаем версию Squid от c-icap: squid-icap-2.5.STABLE12-20051102.
##
#> cd /distfiles/squid
#> tar –xzf squid-icap-2.5.STABLE12-20051102.tar.gz
#> cd squid-icap-2.5.STABLE12-20051102
##
Конфигурить можно по-разному, главное включить поддержку c-icap. Например так:
##
#>./configure --prefix=/usr/local/squid \    # путь по умолчанию
    --enable-ipf-transparent \    # поддержка прозрачного прокси
    --enable-delay-pools \        # управление ограничением трафика
    --enable-useragent-log \    # журнализовать заголовок Useragent
    --enable-kill-parent-hack \    # помогает сделать shutdown чисто
    --enable-arp-acl \    # возможность использования mac – адреса в ACL
    --enable-icmp \            # измерять путь до каждого HTTP-сервера
    --enable-icap-support \    # поддержка c_icap
    --enable-err-language=”English” \ # язык сообщений об ошибках
    --enable-default-err-language=English # язык сообщений об ошибках по умолчанию

#> make all
#> make install
##
Проверяем строки в squid.conf, относящиеся к поддержке c_icap:
##
icap_enable          on
# выключаем предпросмотр
# ничего, кроме ошибок я от него не получил
icap_preview_enable  off
icap_preview_size    128
icap_send_client_ip  on
icap_service  service_avi_req reqmod_precache 0 icap://localhost:1344/srv_clamav
icap_service  service_avi respmod_precache 1 icap://localhost:1344/srv_clamav
icap_class    class_antivirus service_avi service_avi_req
icap_access   class_antivirus allow all
##
Если вы настраиваете Squid в первый раз, рекомендую сначала выключить поддержку c_icap (icap_enable off), отстроить работу прокси, и только потом подключать c_icap.

Вот и все.
Решение работает достаточно устойчиво, что является еще одним подтверждением разумности данного подхода.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от Egoroff on 31-Июл-07, 08:37 
squid-icap-2.5.STABLE12-20051102 - в целом работает стабильно, но в нём не работает delay-pools. Вообще никак, т.е. он с --enable-delay-pools собирается, но потом после прописывания их в конф никак не реагирует, скорость не режет.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от feniks2202 email on 05-Сен-07, 15:28 
Проблема такая;
squid непонимает конфиг icap'a!
Останавливается squid: 2007/09/05 15:10:34| parseConfigFile: line 35 unrecognized: 'icap_enable off'
2007/09/05 15:10:34| parseConfigFile: line 36 unrecognized: 'icap_preview_enable off'
2007/09/05 15:10:34| parseConfigFile: line 37 unrecognized: 'icap_preview_size -1'
2007/09/05 15:10:34| parseConfigFile: line 38 unrecognized: 'icap_send_client_ip off'
2007/09/05 15:10:34| parseConfigFile: line 39 unrecognized: 'icap_service service_1 reqmod_precache 0 icap://192.168.0.1:1344/reqmod'
2007/09/05 15:10:34| parseConfigFile: line 40 unrecognized: 'icap_service service_1 reqmod_precache 0 icap://192.168.0.1:1344/reqmod no-keep-alive'
2007/09/05 15:10:34| parseConfigFile: line 41 unrecognized: 'icap_service service_2 respmod_precache 0 icap://192.168.0.1:1344/respmod '
2007/09/05 15:10:34| parseConfigFile: line 42 unrecognized: 'icap_class class_1 service_1 service_2'
2007/09/05 15:10:34| parseConfigFile: line 43 unrecognized: 'icap class class_2 service_1 service_3'
2007/09/05 15:10:34| parseConfigFile: line 44 unrecognized: 'icap_access classname allow'
2007/09/05 15:10:34| parseConfigFile: line 45 unrecognized: 'icap_access class_1 allow all'


Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от KholAn (ok) on 08-Сен-07, 11:05 
   Мысль номер 1: а почему "icap_enable off"? Нужно "on".
   Мысль номер 2: есть подозрение, что squid собран без поддержки icap. Если так, то нужно squid пересобрать с поддержкой icap.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от tp123 email on 07-Янв-08, 03:00 
А все ли антивирусы можно так воткнуть!?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Проверка web-трафика Squid на вирусы при помощи ClamAV и c-i..."  +/
Сообщение от Михаил email(??) on 05-Мрт-10, 17:39 
Поставил. Только вот не понимаю почему http://eicar.org/anti_virus_test_file.htm ловит файлы zip, а txt и com не ловит. Все как в статье. В файл c-icap.magic смотрю а там явно TEXT DATA - не прописаны. Скачал разные дистрибы c-icap - в них так же не прописаны эти типы файлов. Может их надо принудительно прописывать? А если прописывать то как? Может кто знает... Поделитесь опытом, плиз.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

26. "Тематический каталог: Проверка web-трафика Squid на вирусы п..."  +/
Сообщение от AndySouth email on 18-Май-10, 15:13 
Попробовал, все работает за исключением того что https трафик не проверяется.
подскажите куда посмотреть.

заранее благодарен.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Тематический каталог: Проверка web-трафика Squid на вирусы п..."  +/
Сообщение от AndySouth email on 18-Май-10, 15:18 
>Попробовал, все работает за исключением того что https трафик не проверяется.
>подскажите куда посмотреть.
>
>заранее благодарен.

Гм, так что получается что https и не должен сканироваться ?...


Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Тематический каталог: Проверка web-трафика Squid на вирусы п..."  +/
Сообщение от Nick (??) on 26-Май-10, 13:49 
Пробовал c_icap и havp. В этих случаях https прозрачно проксируется только без проверки. Проверка SSL/https заявляется в MS TMG 2010 туда и можно смотреть. У меня, собственно тот же вопрос... Господа, поделитесь опытом, можно ли устроить опенсорсный https-antivirus proxy ?
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру