В статье подробно рассмотрен один из вариантов фильтрации трафика по реестру Роскомнадзора с помощью SQUID на базе FreeBSD, состыкованного с бекбоне CISCO по протоколу WCCP2.После долгих размышлений на тему фильтрации, производительности (если пустить в фильтр весь http-трафик, то фильтрация должна осуществляться на скоростях более гигабита в секунду), была выбрана следующая схема:
[[IMG /opennews/pics_base/0_1385359495.png]]
Трафик HTTP и HTTPS, выходящий из облака нашей сети (в примере VLAN90) через наш бордер CISCO, мы будем сравнивать с ACL, содержащим IP-адреса, извлеченные из списка Роскомнадзора. В случае совпадения, мы отправляем трафик по протоколу WCCP (Web Cache Communication Protocol) на сервер(а) SQUID. Данная схема позволит нам избежать анализа всего трафика и анализировать только тот, который идет на заявленные IP, что не может не сказаться положительно на общей производительности системы.
Из минусов данной связки следует, что допустим если внесенный в реестр ресурс с IP=3.3.3.3, доменом=bad.xxx и URL=http://www.bad.xxx/1.jpg переезжает на другой IP, то фильтр работать не будет. Но с другой стороны актуализация списков блокировки, это не наша проблема. Данный подход позволит нам с одной стороны не тратится на дорогостоящие системы анализа проходящего трафика, с другой стороны исключить «пионерский» подход блокировки всего ресурса по IP, а блокировать только указанный в реестре Роскомнадзора контент. Связку по WCCP лучше поднимать на приватных адресах, что бы не писать лишние ACL в SQUID .
И так, приступим к реализации. Для начала нам надо вытащить электронную подпись с рутокена, полученного в роскомнадзоре. Для этого воспользуемся утилитой
[[http://www.ps-ax.ru/wordpress/wp-content/uploads/2013/10/P12... P12FromGostCSP]], и экспортируем подпись в формате PKSC#12.
Если экспорт удался, то можем перейти далее к построению системы. Если экспорт не удался (у меня в одном случае из четырех было именно так), то автоматическая загрузка реестра Роскомнадзора будет не доступна, и Вам придется файл качать и выкладывать реестр руками.
Берем любой сервер на базе FreeBSD (я предпочитаю данную ОС, но ничего не мешает Вам сделать по образу и подобию на любой *NIX машине), на котором мы будем заниматься загрузкой базы Роскомнадзора, ее обработкой и у меня этот же сервер как правило обеспечивает анализ и фильтрацию контента. Так как системный OpenSSL в FreeBSD не поддерживает шифрование ГОСТ, ставим свежую версию из портов. Это не затрагивает работоспособность всей системы, и портовый OpenSSL прекрасно существует параллельно системному:
# which openssl
/usr/bin/openssl
# openssl version
OpenSSL 0.9.8y 5 Feb 2013
# /usr/local/bin/openssl version
OpenSSL 1.0.1e 11 Feb 2013
#
Находим файл /usr/local/openssl/openssl.cnf и пишем в конец файла:
[openssl_def]
engines = engine_section
[engine_section]
gost = gost_section
[gost_section]
default_algorithms = ALL
engine_id = gost
#dynamic_path = /usr/local/lib/engines/libgost.so
CRYPT_PARAMS = id-Gost28147-89-CryptoPro-A-ParamSet
В начало этого файла пишем :
openssl_conf = openssl_def
Копируем на сервер наш сертификат в формате PKSC#12 и конвертируем его в формат PEM:
/usr/local/bin/openssl pkcs12 -in p12.pfx -out cert.pem -nodes -clcerts
Подготавливаем структуру директорий для работы наших скриптов и копируем туда сконвертированный сертификат:
mkdir /var/db/zapret-info/
mkdir /var/db/zapret-info/cfg
mkdir /var/db/zapret-info/arch
cp cert.pem /var/db/zapret-info/cfg/
mkdir /tftpboot
Создаем файл запрос в соответствии с требованиями Роскомнадзора (где данные между тэгами изменены на данные вашей фирмы):
echo '<operatorName>ООО "РОГА И КОПЫТА"</<operatorName>' > /var/db/zapret-info/cfg/request.xml
echo '<inn>00XXXXXXXXXX</inn>' >> /var/db/zapret-info/cfg/request.xml
echo '<ogrn>XXXXXXXXXXXXX</ogrn>' >> /var/db/zapret-info/cfg/request.xml
echo '<email>info@rogaikopita.ru</email>' >> /var/db/zapret-info/cfg/request.xml
В зависимости от раскладок системной консоли полученный файл /var/db/zapret-info/cfg/request.xml необходимо сконвертировать в кодировку WINDOWS-1251.
Скачиваем нижеприложенные скрипты. Скрипт download.pl был найден мной на просторах Интернета и упрощен, в оригинале он был чуток более замороченный. Задача данного скрипта — создать, подписать и отправить запрос в Роскомнадзор и загрузить реестр после отправки.
#!/usr/bin/perl -w
use strict;
use SOAP::Lite;
use MIME::Base64;
use Sys::Syslog qw(:DEFAULT setlogsock);
use POSIX qw(strftime);
# XXX dirty!!!
binmode STDOUT, ':utf8';
binmode STDERR, ':utf8';
my $BASE = "/var/db/zapret-info";
my %n;
($n{sec},$n{min},$n{hour},$n{mday},$n{mon},$n{year},$n{wday},$n{yday}, $n{isdst}) = localtime(time());
$n{year}+=1900;
$n{mon}++;
$n{mon}=~s/^(\d)$/0$1/;
$n{mday}=~s/^(\d)$/0$1/;
$n{hour}=~s/^(\d)$/0$1/;
$n{min}=~s/^(\d)$/0$1/;
$n{sec}=~s/^(\d)$/0$1/;
my $dt="$n{year}-$n{mon}-$n{mday}T$n{hour}:$n{min}:$n{sec}.000+04:00";
my $dd="$n{year}$n{mon}$n{mday}$n{hour}";
my $service = SOAP::Lite->service("http://www.zapret-info.gov.ru/services/OperatorRequest?wsdl&...);
my $reqfn = "$BASE/request-$dd.xml";
my $binfn = "$BASE/request-$dd.bin";
my $xmlreqfn = "$BASE/cfg/request.xml";
my $certfn = "$BASE/cfg/cert.pem";
my $request="" ;
open (XML, "<$xmlreqfn");
while (<XML>) { $request .= $_; }
close (XML);
die "Resuest template not found in $xmlreqfn." if (length($request)==0);
open (XMLREQ, ">$reqfn") or die "Can't create new request";
print XMLREQ "<?xml version=\"1.0\" encoding=\"windows-1251\"?>\n";
print XMLREQ "<request>\n\t<requestTime>$dt</requestTime>\n";
print XMLREQ $request;
print XMLREQ "</request>";
close XMLREQ;
system ("/usr/local/bin/openssl smime -sign -in $reqfn -out $binfn".
" -signer $certfn -outform DER -nodetach");
open XMLREQ, "<$reqfn" or die "Can't open $reqfn";
my $xmlreq = do { local $/ = undef; <XMLREQ>; };
close XMLREQ;
open XMLREQSIG, "<$binfn" or die "Can't open $binfn";
my $xmlreqsig = do { local $/ = undef; <XMLREQSIG>; };
close XMLREQSIG;
my @sendresult = $service->sendRequest(
$xmlreq,
$xmlreqsig );
if ($sendresult[0] eq 'false') {
mylog("error request $sendresult[1]");
} elsif ($sendresult[0] eq 'true') {
open (CODESTRING, ">$BASE/codestring");
print CODESTRING $sendresult[2];
close CODESTRING;
mylog("sent request $binfn: $sendresult[1]");
};
if (-e "$BASE/codestring") {
open CODESTRING, "$BASE/codestring";
my $codestring = <CODESTRING>;
close CODESTRING;
my $cnt = 0;
while(1) {
my @getresult = $service->getResult($codestring);
if ($getresult[0] eq 'false') {
mylog ("$getresult[1]");
sleep 60;
} elsif ($getresult[0] eq 'true') {
my $outarch = decode_base64($getresult[1]);
open (OUT, ">$BASE/out.zip");
print OUT $outarch;
close OUT;
unlink "$BASE/codestring";
if (-e "$BASE/out.zip") {
system("/bin/mv $reqfn $BASE/arch/");
system("/bin/mv $binfn $BASE/arch/");
system("/bin/cp $BASE/out.zip $BASE/arch/out-$dt.zip");
system("/usr/bin/unzip -o $BASE/out.zip -d $BASE/dump");
unlink "$BASE/out.zip";
mylog ("Done. Everything seems to be ok.");
exit 0;
};
mylog("Shouldn't reach. DEBUG ME!!!");
exit 255;
} else {
mylog ("getresult is unknown");
exit 255;
};
$cnt++;
if ($cnt>30) {
mylog ("too much tries, bailing out");
exit 255;
}
};
# notreached
} else {
mylog ("codestring file not found");
};
sub mylog {
my $logstring = $_[0];
my($now_string);
$now_string = strftime "%d-%m-%Y %H:%M:%S", localtime;
print(STDERR $now_string." ".$logstring."\n");
};
В задачи скрипта xml-paser.pl входит обработка полученного реестра и подготовка двух файлов — block.acl и denied.conf. Файл block.acl содержит правила для нашей cisco и как правило загружается по tftp. Файл denied.conf содержит URL для редиректора SQUID. Скрипт анализирует, префикс http или https указан в URL и в соотвествии с данным префиксом генерирует ACL для CISCO. Для ресурсов с множественныйми IP и/или URL, скрипт генерирует два ACL — как по порту www, так и по порту 443 (так как реестр сам по себе сырой, и такие записи не предусматривают однозначной трактовки какой протокол на каком IP использовать).
#!/usr/bin/perl
use XML::Simple;
use Data::Dumper ;
use Encode ;
use URI::Escape;
use Text::Iconv;
$db_path='/var/db/zapret-info/' ;
$tftp_root='/tftpboot' ;
$query_ip='XXX.XXX.XXX.XXX' ;
$simple=XML::Simple->new( KeepRoot=>1,
RootName=>'reg:register'
);
$xml=$simple->XMLin($db_path.'dump/dump.xml');
my %list = %{$xml->{'reg:register'}->{'content'}};
open(FURL, ">${db_path}denied.conf");
open(FACL, ">${tftp_root}/block.acl");
open(FTMP, ">/tmp/block.ip");
print(FACL "no ip access-list extended WCCP_REDIRECT\n");
print(FACL "ip access-list extended WCCP_REDIRECT\n");
print(FACL "deny tcp host ${query_ip} any\n");
sub _url {
eval {
$url=shift;
$url=~s/ //g;
$url=uri_escape_utf8($url, "^A-Za-z0-9\-\._~:/\?\=\&\%");
print(FURL $url."\n");
}
}
while ( my($key, $value) = each %list) {
my $domain=$value->{'domain'} ;
my $ip=$value->{'ip'} ;
my $url=$value->{'url'} ;
if(ref($ip) eq 'ARRAY'){
my @ip_list=@{$ip};
foreach $ip (@ip_list) {
print(FTMP "$ip eq $port\n");
print(FTMP "$ip eq 443\n");
}
} else {
my $proto=substr($url, 0, 5) ;
if ("\L$proto" eq 'https') {
$port = '443';
} else {
$port = 'www';
}
print(FTMP "$ip eq $port\n");
}
if(ref($url) eq 'ARRAY'){
my @url_list=@{$url};
foreach $url (@url_list) { _url($url); }
} else { _url($url); }
}
close(FTMP);
open(FTMP ,"sort -u /tmp/block.ip|");
while (<FTMP>) {
$ip=$_;
$ip=~s/
//g;
print(FACL "permit tcp any host $ip \n");
}
close(FTMP);
print(FACL "deny ip any any\n");
print(FACL "!\n");
print(FACL "end\n");
close(FACL);
close(FURL);
open(SER ,"${db_path}/serial");
read(SER,$serial,6);
close(SER);
if (length($serial)==0) { $serial=0; }
$serial+=1;
open(SER ,">${db_path}/serial");
printf(SER "%06d",$serial);
close(SER);
exit 0;
В начале данного файла надо установить значение переменных, в соответсвии с Вашими настройками. Переменная $tftp_root должна быть установлена в соответствии с настройками Вашего tftp-сервера, переменная $query_ip должна содержать IP-адрес интерфейса сервера, через который посылается в Интернет фильтрованный трафик, для исключения образования кольцевой обработки запросов.
Для работы скриптов нам требуется установить следующие порты :
cd /usr/ports/net/p5-SOAP-Lite; make install
cd /usr/ports/converters/p5-MIME-Base64; make install
cd /usr/ports/sysutils/p5-Sys-Syslog; make install
cd /usr/ports/textproc/p5-XML-Simple; make install
cd /usr/ports/devel/p5-Data-Dumper; make install
cd /usr/ports/converters/p5-Encode; make install
cd /usr/ports/net/p5-URI; make install
cd /usr/ports/converters/p5-Text-Iconv; make install
На данном этапе мы реализовали получение и разбор реестра Роскомнадзора в требуемый для нас вид. Переходим к настройке нашего железа.
Конфигурируем CISCO для работы с сервером SQUID по WCCP. Группа 0 используется для отсылки http-трафика, группа 70 — для отсылки https-трафика.
ip wccp 0 redirect-list WCCP_REDIRECT group-list 10 accelerated
ip wccp 70 redirect-list WCCP_REDIRECT group-list 10 accelerated
access-list 10 remark +++ WCCP_SQUID_PROXY +++
access-list 10 permit 1.1.2.2
Создаем пользователя, который будет грузить access-листы и настраиваем rsh.
username blocker privilege 15 password password
no ip rcmd domain-lookup
ip rcmd rsh-enable
ip rcmd remote-host blocker 1.1.2.2 root enable
Ставим из портов SQUID. При выборе опций обязательно контролируем, что WCCP и WCCP2 протоколы включены. Создаем конфиг (в примере для версии 3.2) /usr/local/etc/squid/squid.conf
http_port 1.1.2.2:9090
http_port 1.1.2.2:3128 transparent
https_port 1.1.2.2:3129 transparent ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=4MB cert=/usr/local/etc/squid/squid.pem
always_direct allow all
ssl_bump allow all
sslproxy_cert_error allow all
sslproxy_flags DONT_VERIFY_PEER
sslcrtd_program /usr/local/libexec/squid/ssl_crtd -s /var/squid/ssl_db -M 4MB
icp_port 0
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
acl apache rep_header Server ^Apache
cache_mem 1 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size 1 KB
maximum_object_size_in_memory 50 KB
cache_replacement_policy heap LFUDA
cache_dir ufs /var/squid/cache 1 1 1 no-store
logfile_rotate 7
dns_nameservers 8.8.8.8 8.8.4.4
hosts_file /etc/hosts
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
quick_abort_min 0 KB
quick_abort_max 0 KB
half_closed_clients off
acl purge method PURGE
acl CONNECT method CONNECT
acl SSL_ports port 443
acl Safe_ports port 80
acl Safe_ports port 443 # https
acl Safe_ports port 1025-65535 # unregistered ports
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow all
http_reply_access allow all
icp_access allow all
cache_mgr info@my.domain
cache_effective_group proxy
memory_pools off
log_icp_queries off
cachemgr_passwd q1w2e3r4 all
client_db off
buffered_logs on
wccp2_router 1.1.2.1
wccp2_forwarding_method 2
wccp2_return_method 2
wccp2_assignment_method 2
wccp2_service dynamic 0
wccp2_service_info 0 protocol=tcp flags=dst_ip_hash,dst_port_hash priority=240 ports=80
wccp2_service dynamic 70
wccp2_service_info 70 protocol=tcp flags=dst_ip_hash,dst_port_hash priority=240 ports=443
wccp2_address 1.1.2.2
redirect_program /usr/local/etc/squid/redirector.pl
url_rewrite_children 20 startup=10 idle=1 concurrency=0
Обратите внимание на строки wccp2_router и wccp2_address. Соответственно тут должны быть адреса на интерфейсе со стороны CISCO и SQUID. Трафик на сервер SQUID посылается путем замены MAC-адреса, без организации дополнительного GRE-тунеля.
Скрипт редиректора копируется в /usr/local/etc/squid/:
#!/usr/bin/perl
use IO::Handle;
use POSIX qw(strftime);
use POSIX qw(setsid);
my $db_path = "/var/db/zapret-info/";
my $block_url = "http://my.domain/block/";
my $log_file = "/var/log/squid/redirector.log";
$0 = 'redirect' ;
$| = 1 ;
my @banners ;
my @X ;
my $serial =0;
sub _log {
my $log_str = shift;
my $now_str = strftime "%d-%m-%Y %H:%M:%S", localtime;
printf(FLOG "[%s] %s\n", $now_str, $log_str);
}
sub _rule_refresh {
open(SER ,"${db_path}/serial");
read(SER,$num,6);
close(SER);
if (length($num)==0) { $num=0; }
if ($num > $serial) {
_log("Reading file ${db_path}/denied.conf serial ${num}");
open (IN_FILE, "${db_path}/denied.conf") || die $!;
my @tmp_data = <IN_FILE>;
chomp @tmp_data;
@banners=();
push @banners, map { qr /\Q$_\E/ } grep { ! /^\s*$/ } @tmp_data;
close(IN_FILE);
$serial=$num;
}
}
$SIG{INT} = \&_rule_refresh;
open(FLOG, ">>${log_file}");
$| = 1 ;
FLOG->autoflush(1);
_log("Redirector started.");
while (<>) {
chomp ;
@X = split ;
($url, $who, $ident, $method) = @X ;
_rule_refresh ;
$url = $block_url if grep ($url=~/$_/i, @banners) ;
print "$url $who $ident $method\n" ;
}
_log("Redirector exited.");
close(FLOG);
exit 0;
В начале данного файла мы должны установить значение переменных $db_path, $block_url, $log_file в соответствии с Вашими настройками. $db_path содержит путь до директории с файлом denied.conf и serial, $block_url должен содержать адрес страницы на которую мы перекидываем клиента при блокировании ресурса.
Что бы анализировать HTTPS-трафик, нам нужно сгенерировать самоподписанный сертификат:
cd /usr/local/etc/squid/
openssl req -new -newkey rsa:1024 -days 365 -nodes -x509 -keyout squid.pem -out squid.pem
Запускаем SQUID. Если все настроено верно, то на CISCO по команде sh ip wccp, мы увидим что-то похожее на такое:
#sh ip wccp
Global WCCP information:
Router information:
Router Identifier: 1.1.1.1
Protocol Version: 2.0
Service Identifier: 0
Number of Service Group Clients: 1
Number of Service Group Routers: 1
...
Redirect access-list: WCCP_REDIRECT
...
Service Identifier: 70
Number of Service Group Clients: 1
Number of Service Group Routers: 1
...
Redirect access-list: WCCP_REDIRECT
...
Если соединение WCCP2 установилось, мы может попробовать запустить трафик на SQUID. Для этого в ipfw мы должны поставить правила переадресации трафика :
ipfw add 100 fwd 1.1.2.2,3128 tcp from not me to any dst-port 80 via ${wccp_intf} in
ipfw add 100 fwd 1.1.2.2,3129 tcp from not me to any dst-port 443 via ${wccp_intf} in
(где ${wccp_intf} — интерфейс для обмена wccp-трафиком)
На CISCO запускаем трафик на SQUID :
conf t
int vlan90
ip wccp 0 redirect in
ip wccp 70 redirect in
Для загрузки acl в CISCO поднимаем tftp-сервер, раскомментировав соответствующую строку в /etc/inetd.conf и перезапустив inetd . Проверяем загрузку правил по rsh, выполнив из консоли сервера :
( sleep 2 ; echo '' ; sleep 15 ) | rsh -l blocker 1.1.2.1 copy tftp://1.1.2.2/block.acl running-config ;
Проверяем в CISCO что правила загрузились. Если все отлично, создаем скрипт, который мы включаем в на выполнение в крон :
#!/bin/sh
. /var/db/zapret-info/cfg/loader.conf
/scripts/download.pl
if [ $? -eq 0 ];
then
/scripts/xml-parser.pl
else
exit 254 ;
fi
if [ $? -eq 0 ];
then
( sleep 2 ; echo '' ; sleep 15 ) | rsh -l blocker ${cisco_address} copy tftp://${tftp_address}/block.acl running-config ;
else
exit 253 ;
fi
exit 0;
Создадим файл конфигурации скрипта в /var/db/zapret-info/cfg/loader.conf
echo 'cisco_address="1.1.2.1"' > /var/db/zapret-info/cfg/loader.conf
echo 'tftp_address="1.1.2.2"' >> /var/db/zapret-into/cfg/loader.conf
Если Вы все сделали без ошибок и поняли идею, Вы получили работающий полностью в автоматическом режиме сервер фильтрации трафика, синхронизированный с реестром Роскомнадзора, фильтрующий ВСЕ (!) ресурсы внесенные в реестр, в том числе URI написанные на русском языке и URI на защищенных SSL-ресурсах (для пользователя соединение отдаётся с использованием самоподписанного сертификата).
URL: http://www.ps-ax.ru/?p=35
Обсуждается: http://www.opennet.ru/tips/info/2810.shtml
Вариант для распечатки
(??) on 02-Дек-13, 20:08 
