The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Помогите настроить сеть FreeBSD"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Открытые системы на сервере (Public)
Изначальное сообщение [ Отслеживать ]

"Помогите настроить сеть FreeBSD"  +/
Сообщение от babichev email(ok) on 11-Янв-10, 21:34 
Есть высоконагуженный сервер на FreeBSD 7.2 на котором крутится веб сервер + nginx. В часы пик начали замечаться тормоза. Даже при попытке пинговать любой хост, вываливаются подобные сообщения:
sendto: No buffer space available
Хоть эти показатели в норме:
5854/2306/8160 mbufs in use (current/cache/total)
640/2252/2892/204800 mbuf clusters in use (current/cache/total/max)
640/1024 mbuf+clusters out of packet secondary zone in use (current/cache)
54/333/387/192000 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
2959K/6412K/9372K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
77059 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Тюнинг я уже давно делал, вот содержимое sysctl.conf:
kern.ipc.maxsockets=204800
kern.ipc.somaxconn=4096
kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.nmbclusters=204800
net.inet.tcp.recvspace=8192
net.inet.tcp.recvbuf_auto=0
kern.ipc.nmbjumbop=192000
net.inet.tcp.sendspace=16384
net.inet.tcp.sendbuf_auto=1
net.inet.tcp.sendbuf_inc=8192
net.inet.tcp.sendbuf_max=131072
net.inet.tcp.maxtcptw=102400
kern.maxvnodes=100000
net.inet.ip.intr_queue_maxlen=2048
net.isr.direct=0

Помогите найти проблемму, ума не приложу, в чем еще может быть дело.

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Помогите настроить сеть FreeBSD"  +/
Сообщение от Michael (??) on 12-Янв-10, 00:00 

>Помогите найти проблемму, ума не приложу, в чем еще может быть дело.
>

sysctl kern.ipc.maxsockbuf

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Помогите настроить сеть FreeBSD"  +/
Сообщение от hizel (ok) on 12-Янв-10, 13:20 
systat и systat -v смотрите где затык

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Помогите настроить сеть FreeBSD"  +/
Сообщение от QuAzI (??) on 13-Янв-10, 10:18 
Та же фигня на PPPoE интерфейсах

uname -a
FreeBSD QUAZIS.SNNLAN.local 8.0-STABLE FreeBSD 8.0-STABLE #10: Sat Dec 26 19:12:
28 EET 2009     root@QUAZIS.SNNLAN.local:/usr/obj/usr/src/sys/main8  i386

kern.ipc.maxsockbuf: 262144

systat
                    /0   /1   /2   /3   /4   /5   /6   /7   /8   /9   /10
     Load Average   |||||||||

                    /0%  /10  /20  /30  /40  /50  /60  /70  /80  /90  /100
QuAzI    firefox-bi XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
QuAzI    firefox-bi XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
root           idle XXXXXXXXXXXX

Ошибок на интерфейсах не видно, по крайней мере сейчас
QUAZIS# sudo netstat -i tun1
Name    Mtu Network       Address              Ipkts Ierrs Idrop    Opkts Oerrs
Coll
nfe0   1500 <Link#1>      00:1a:4d:7f:de:a4  7922226     0     0 15088377     0
    0
nfe0   1500 192.168.0.0   quazis             5839997     -     - 13008534     -
    -
plip0  1500 <Link#2>                               0     0     0        0     0
    0
lo0   16384 <Link#3>                          151914     0     0   151914     0
    0
lo0   16384 fe80:3::1     fe80:3::1                0     -     -        0     -
    -
lo0   16384 localhost     ::1                      0     -     -        0     -
    -
lo0   16384 your-net      localhost            10705     -     -   151893     -
    -
tun0   1492 <Link#4>                           40998     0     0    81376     0
    0
tun0   1492 1.3.97.186/32 1.3.97.186               0     -     -        3     -
    -
tun1   1492 <Link#5>                         1328894     0     0  1524562     0
    0
tun1   1492 93.85.196.179 93.85.196.179.ppp      902     -     -     1276     -
    -
tap0*  1500 <Link#6>      00:bd:1a:29:00:00        0     0     0        0     0
    0
vboxn  1500 <Link#7>      0a:00:27:00:00:00     1801     0     0     2257     0
    0
vboxn  1500 192.168.56.0  192.168.56.1          1803     -     -     1808     -
    -
ng0*   1500 <Link#8>                               0     0     0        0     0
    0

Содержимое /etc/sysctl.conf
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.tcp.delayed_ack=0
net.link.bridge.pfil_onlyip=0
net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1

# for QEMU network
net.link.tap.user_open=1
net.link.tap.up_on_open=1

compat.linux.osrelease=2.6.16

net.graph.maxdgram=128000
net.graph.recvspace=128000

Что покрутить?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Помогите настроить сеть FreeBSD"  +/
Сообщение от Michael (??) on 13-Янв-10, 16:01 

>kern.ipc.maxsockbuf: 262144

очень мало. поднимите в 10 раз

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Помогите настроить сеть FreeBSD"  +/
Сообщение от QuAzI (ok) on 14-Янв-10, 15:03 
Спасибо, вроде помогло
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Помогите настроить сеть FreeBSD"  +/
Сообщение от QuAzI (ok) on 15-Янв-10, 00:53 
Неа. Полтора суток и опять та же песня, увеличивал в 10 раз. Теперь ещё вдвое увеличил (т.е. в 20 раз относительно дефолта), но это по ходу только вопрос времени, сколько уйдёт на заполнение буферов. Как решить проблему?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Помогите настроить сеть FreeBSD"  +/
Сообщение от Michael (??) on 15-Янв-10, 09:30 

>Как решить проблему?

не хотите увеличивать bufferspace, уменьшайте кол-во открытых сокетов и поток данных

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Помогите настроить сеть FreeBSD"  +/
Сообщение от sshutdownow email(ok) on 15-Янв-10, 12:31 
>
>>Как решить проблему?
>
>не хотите увеличивать bufferspace, уменьшайте кол-во открытых сокетов и поток данных

в /boot/loader.conf

# 25000 mbuf clusters = 55M
# 32768 mbuf clusters = 74M
# 65536 mbuf clusters = 144M
kern.ipc.nmbclusters="32768"

net.inet.tcp.syncache.hashsize="1024"
net.inet.tcp.syncache.bucketlimit="100"
net.inet.tcp.tcbhashsize="32768"

# Size of kernel memory
#  on i386 kernel MUST be rebuild with:
#  options KVA_PAGES=512
#  options VM_KMEM_SIZE=1073741824
#  options VM_KMEM_SIZE_MAX=1073741824
vm.kmem_size="512M"
vm.kmem_size_max="1G"

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Помогите настроить сеть FreeBSD"  +/
Сообщение от QuAzI (??) on 27-Янв-10, 11:08 
Задал
kern.ipc.nmbclusters="65536"
Остальные тоже приподнял, кроме VM.KMEM
Всё равно отваливается. Неделю нормально поработало и сейчас снова бажит
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Помогите настроить сеть FreeBSD"  +/
Сообщение от nadirx2 email(ok) on 15-Янв-10, 13:58 
>Неа. Полтора суток и опять та же песня, увеличивал в 10 раз.
>Теперь ещё вдвое увеличил (т.е. в 20 раз относительно дефолта), но
>это по ходу только вопрос времени, сколько уйдёт на заполнение буферов.
>Как решить проблему?

не как. эсли нагрузка много то постав кластер.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Помогите настроить сеть FreeBSD"  +/
Сообщение от QuAzI (??) on 27-Янв-10, 11:09 
Если бы там была нагрузка, а то ж домашняя файлопомойка выпущенная в инет.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру