The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"кеширование папок под ZFS ("
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"кеширование папок под ZFS ("  +/
Сообщение от mef (ok) on 08-Фев-10, 20:23 
Есть сервер на Freebsd8(amd64) + ZFS.
На нем находится папка в которой лежит несколько десятков маленьких файлов, общий размер меньше мегабайта. Эти файлы постоянно перечитывают разные скрипты, частота перечитывания раз в две секунды, записывают в них сравнительно редко. Можно ли как-нибудь ее закэшировать средствами zfs, чтобы постоянно в памяти лежала.
Еще нюанс, на сервере мало памяти, всего 1 гиг.
Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "кеширование папок под ZFS ("  +/
Сообщение от PavelR (??) on 08-Фев-10, 20:31 
>На нем находится папка в которой лежит несколько десятков маленьких файлов, общий
>размер меньше мегабайта.
>Еще нюанс, на сервере мало памяти, всего 1 гиг.

????

Да не, похоже маловато всё-таки оперативы будет, поставьте гигов так шестнадцать - будет самое то. Ну, платформу, возможно, и поменять придется - на десктопных мамках 16 Гб сложновато воткнуть - если у вас десктоп бейзд.

----

А что, обычный кэш файловой системы тут не работает ?


Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "кеширование папок под ZFS ("  +/
Сообщение от mef (ok) on 08-Фев-10, 21:10 
>А что, обычный кэш файловой системы тут не работает ?

Работает, но плохо, винты переодически похрустывают. Особой нагрузки это не создает, но хочется чтобы такой маленький объем, папка менее 1 мегабайта, закешировался в памяти до следующей записи в него. Возможно принудительно указать?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "кеширование папок под ZFS ("  +/
Сообщение от butcher (ok) on 09-Фев-10, 07:44 
>>А что, обычный кэш файловой системы тут не работает ?
>
>Работает, но плохо, винты переодически похрустывают. Особой нагрузки это не создает, но
>хочется чтобы такой маленький объем, папка менее 1 мегабайта, закешировался в
>памяти до следующей записи в него. Возможно принудительно указать?

Попробуйте отключить обновление времени доступа к файлам:
# zfs set atime=off <имя пула>/<имя датасета>

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "кеширование папок под ZFS ("  +/
Сообщение от Warhead Wardick on 08-Фев-10, 21:40 
>>Еще нюанс, на сервере мало памяти, всего 1 гиг.
>Да не, похоже маловато всё-таки оперативы будет,

Вот до сюда правильно.

>поставьте гигов так шестнадцать - будет самое то

А вот тут ты поковырялся в [полёт фантазии] и вынул оттуда цЫферку ...

>А что, обычный кэш файловой системы тут не работает ?

Работает. Но ёпла! - сколько можно просить _ПЕРЕД_ тем как начинать игры с ZFS'ом - сходить на вики да почитать?! На моём личном опыте менее 2Г рамы - в ZFS не играем однозначно. С другой стороны выше 4-ёх производительность так линейно уже не растёт, надо смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "кеширование папок под ZFS ("  +/
Сообщение от mef (ok) on 08-Фев-10, 23:19 
> На моём личном
>опыте менее 2Г рамы - в ZFS не играем однозначно. С
>другой стороны выше 4-ёх производительность так линейно уже не растёт, надо
>смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.
>

С производительностью проблем нет. Мне не нравится, что есть несколько маленьких файлов и они не кешируются. Хочу это исправить. Можно было бы смонтировать файловую систему на пару метров в памяти вместо этой папки, но мне хочется средствами zfs все сделать.
Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании файлов, но в моей проблеме ситуация та же.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "кеширование папок под ZFS ("  +/
Сообщение от hate email(ok) on 09-Фев-10, 09:32 
>Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании
>файлов, но в моей проблеме ситуация та же.

  Что ты лично прочитал (документация, маны, вики и т.д.) по работе с ZFS и её тюнингу?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "кеширование папок под ZFS "  +/
Сообщение от mef (ok) on 09-Фев-10, 11:04 
>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>работе с ZFS и её тюнингу?

Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений к диску можно реально снизить.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "кеширование папок под ZFS "  +/
Сообщение от mef (ok) on 09-Фев-10, 11:37 
>>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>>работе с ZFS и её тюнингу?
>
>Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений
>к диску можно реально снизить.

Попробую еще вариант с пулом в оперативке, но и ZIL тоже отлично работает.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "кеширование папок под ZFS "  +/
Сообщение от hate email(ok) on 09-Фев-10, 11:41 
>>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>>работе с ZFS и её тюнингу?
>
>Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений
>к диску можно реально снизить.

Ну так делай. Или ты ждешь пока мы проверим и доложим? :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "кеширование папок под ZFS ("  +/
Сообщение от mike (??) on 09-Фев-10, 09:48 
>[оверквотинг удален]
>>другой стороны выше 4-ёх производительность так линейно уже не растёт, надо
>>смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.
>>
>
>С производительностью проблем нет. Мне не нравится, что есть несколько маленьких файлов
>и они не кешируются. Хочу это исправить. Можно было бы смонтировать
>файловую систему на пару метров в памяти вместо этой папки, но
>мне хочется средствами zfs все сделать.
>Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании
>файлов, но в моей проблеме ситуация та же.

Если нужен максимально быстрый отклик от небольшого количества файлов при минимуме обращений к винтам, возможно имеет смысл вынести папку на RAM диск. Отформатить его в zfs (предварительно создав zpool), и настроить бекап с помощью снапшотов. Эта схема в более сложном виде хорошо показала себя на solaris 10 (там страницы RAM диска никогда не свопаются), про фрю не скажу - лично не пробовал.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру