The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"NFS и много потоков"
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"NFS и много потоков"
Сообщение от IceHard emailИскать по авторуВ закладки(ok) on 04-Янв-05, 19:39  (MSK)
Есть сервер на FREEBSD 4.10, есть клиент на той же OC.
Между машинами внутрення сеть в кторой только они и находятся.
на клиенте делаю mount_nfs -R 4 -U 10.10.0.2:/disk2 /var/ftp/FILMS/disk2
В один поток с FTP наружу все работает отлично - скорсть около 10 мегабайт в сек.
В 2 потока - тоже все здорово порядка 8 мегабайт в сек в сумме.
Но когда с FTP начинают качать в 20 потоков - суммарная скрость падает до 2.5 - 3 мегабайт.

Вопрос в том - лечится это или нет?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "NFS и много потоков"
Сообщение от DeadMustdie emailИскать по авторуВ закладки(??) on 04-Янв-05, 20:38  (MSK)
>Вопрос в том - лечится это или нет?

Вряд ли. Можно попробовать поиграть размером пакета -
чуток лучше, может быть, и станет. Падение скорости, скорее
всего, вызвано обилием "паразитного" управляющего трафика.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "NFS и много потоков"
Сообщение от IceHard emailИскать по авторуВ закладки(ok) on 04-Янв-05, 21:05  (MSK)
>>Вопрос в том - лечится это или нет?
>
>Вряд ли. Можно попробовать поиграть размером пакета -
>чуток лучше, может быть, и станет. Падение скорости, скорее
>всего, вызвано обилием "паразитного" управляющего трафика.

В том то и дело что нет. Если бы дело было только в этом - то перейти на гигабит - не вопрос.

Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с паразитным трафиком отпадает - потому что по статистике сеть даже на 50 мегабит не загружена в этот момент, то есть в канал мы не упираемся.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "NFS и много потоков"
Сообщение от DeadMustdie emailИскать по авторуВ закладки(??) on 04-Янв-05, 23:31  (MSK)
>В том то и дело что нет. Если бы дело было только
>в этом - то перейти на гигабит - не вопрос.
>
>Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с
>паразитным трафиком отпадает - потому что по статистике сеть даже на
>50 мегабит не загружена в этот момент, то есть в канал
>мы не упираемся.

Дело не в толщине канала, а в его латентности, и гигабитка здесь
действительно слабая помощь. Под паразитным трафиком я подразумевал
большое количество *синхронных* управляющих пакетов (в том числе и
связанных с внутренними особенностями работы TCP, в частности, по
крайней мере некоторые реализации NFS-клиентов порождают много
соединений).

  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "NFS и много потоков"
Сообщение от IceHard emailИскать по авторуВ закладки(ok) on 05-Янв-05, 00:16  (MSK)
>>В том то и дело что нет. Если бы дело было только
>>в этом - то перейти на гигабит - не вопрос.
>>
>>Насколько понимаю дело в TCP/IP стеке, хотя не уверен, но вариант с
>>паразитным трафиком отпадает - потому что по статистике сеть даже на
>>50 мегабит не загружена в этот момент, то есть в канал
>>мы не упираемся.
>
>Дело не в толщине канала, а в его латентности, и гигабитка здесь
>
>действительно слабая помощь. Под паразитным трафиком я подразумевал
>большое количество *синхронных* управляющих пакетов (в том числе и
>связанных с внутренними особенностями работы TCP, в частности, по
>крайней мере некоторые реализации NFS-клиентов порождают много
>соединений).


Тогда поставим вопрос по другому.
Есть ли возможность замапировать диски внутри по внутренней сети так чтоб потеря производительности была практически незаметной?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "NFS и много потоков"
Сообщение от Асен Тотин emailИскать по авторуВ закладки on 05-Янв-05, 01:51  (MSK)
Привет,

Поищите в Гугле fine tuning NFS. Опции mount тоже могут вам много помочь (например, один noatime чего стоит). Мой опыт показывает, что при помощи разных хитростей можно выжать до ок. 300-400 Mbps на NFS сети (при нескольких сотнях паралельных потоков)... на большее сам NFS не способен. Если вам этот лимит недостаточен, то NFS - не ваше решение.

WWell,


  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "NFS и много потоков"
Сообщение от IceHard emailИскать по авторуВ закладки(ok) on 05-Янв-05, 02:44  (MSK)
>Привет,
>
>Поищите в Гугле fine tuning NFS. Опции mount тоже могут вам много
>помочь (например, один noatime чего стоит). Мой опыт показывает, что при
>помощи разных хитростей можно выжать до ок. 300-400 Mbps на NFS
>сети (при нескольких сотнях паралельных потоков)... на большее сам NFS не
>способен. Если вам этот лимит недостаточен, то NFS - не ваше
>решение.
>
>WWell,


Огромное спасибо. Отправляюсь искать.
Лимит более чем достаточен. Необходимо обрабатывать около 150-160 соединений суммарной скоростью порядка 70-80Mbps.

PS. Буду очень признателен за более детальное руководство или консультацию по настройке.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "NFS и много потоков"
Сообщение от Асен Тотин emailИскать по авторуВ закладки on 05-Янв-05, 13:34  (MSK)
Привет,

>PS. Буду очень признателен за более детальное руководство или консультацию по настройке.

Как минимум: в exports укажите "async" (вот что написано в "man exports"):

       async  This  option  allows  the NFS server to violate the NFS
              protocol and reply to requests before any changes made
              by  that  request have been committed to stable storage
              (e.g. disc drive). Using  this option usually improves
              performance, but at the cost that an unclean server
              restart (i.e. a crash) can cause data  to be lost or
              corrupted.

Еще, в mount укажите "noatime" (вот что написано в "man mount"):

      noatime Do not update inode access  times  on  this  file  
              system (e.g,  for  faster  access  on the news
              spool to speed up  news servers).

Насчет оптимизации размера блока, здесь можно прочитать:
http://nfs.sourceforge.net/nfs-howto/performance.html
Как минимум, вам нужна версия 3 NFS и только UDP.

WWell,

  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру