The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Обзор файловой системы NILFS2, которая будет включена в сост..."
Вариант для распечатки  
Пред. тема | След. тема 
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение [ Отслеживать ]

"Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от opennews (ok) on 03-Июн-09, 23:31 
"NILFS: A File System to Make SSDs Scream (http://www.linux-mag.com/id/7345/)" - обзор особо устойчивая к сбоям файловой системы NILFS2 (http://www.nilfs.org/en/), которая будет включена в состав Linux ядра 2.6.30. Для хранения всех данных в NILFS2 используются подобные логам структуры, в которых только добавляются новые записи и никогда не переписываются активные. Таким образом оборванная крахом операция записи, никак не отразится на целостности хранимых данных. В NILFS используются B-tree деревья и 64-битные структуры данных, поддерживается возможность фиксации снапшотов (контрольных точек в логе) для просмотра состояния данных на определенный момент времени. Более того с данными в снапшотах можно продолжать работать как с альтернативной веткой ФС, существующей параллельно.

URL: http://www.linux-mag.com/id/7345/
Новость: https://www.opennet.ru/opennews/art.shtml?num=22015

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +7 +/
Сообщение от User294 (ok) on 03-Июн-09, 23:31 
Кому-то явно завидно что в юбилейном 30-м ядре будет еще одна не самая плохая ФС :).Поставили понимаешь новости -1 втихарика, подлые трусы :Е.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от Аноним (??) on 03-Июн-09, 23:34 
так снапшоты можно ведь через LVM реализовать. нужна ли тогда для этих функций новая ФС? не считая независимых деревьев, конечно.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от User294 (ok) on 03-Июн-09, 23:47 
>так снапшоты можно ведь через LVM реализовать. нужна ли тогда для этих
>функций новая ФС? не считая независимых деревьев, конечно.

Просто версионники - более другой тип ФС нежели классические.С другими свойствами.Например, запись по идее достаточно быстрая а восстановление после краша - эстетичное.В принципе версионник может "почти нахаляву" поддерживать валидное состояние не только метаданных но и данных, в меру моего понимания."Почти нахаляву" означает что нет той сильной просадки скорости от журналирования данных которая присутствует в обычном дизайне ФС с журналом.И всегда можно вернуть файл в какой-то вменяемый вид после того как запись в него отвалилась на середине.

ЗЫ в этой статье ext2 почему-то обозвана ФС с деревьями.Если я не дятел - они гонят.Чистый ext2 без нифига деревьями вроде не пользуется?!

ЗЗЫ видится интересный вариант рекавери системы с такой ФС - просто загрузиться в состояние (снапшот) на энное время раньше.Нечто типа отката состояния у виртуалки :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от Аноним (??) on 04-Июн-09, 00:50 
но как я понимаю, версионные ФС создают большую избыточность данных, чтобы хранить одни и те же файлы, но разных версий. скорее всего используется какая-либо инкрементальная разница между снапшотами для уменьшения использования дискового пространства.

правильно понимаю?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +3 +/
Сообщение от User294 (ok) on 04-Июн-09, 02:01 
>но как я понимаю, версионные ФС создают большую избыточность данных, чтобы хранить
>одни и те же файлы, но разных версий.

Версионники не переносят логи изменений из журнала в основную ФС(в отличие от обычных).Вместо этого вся ФС просто является кучкой логов.В результате достигается вполне логичная экономия: запись изменений делается 1 раз - в лог.А переносить из лога в основную ФС - не требуется.Экономия по операциям записи и рост скорости записи - очевидны.

При этом можно считать что ФС постоянно себя снапшотит(за счет ее структуры "куча логов" можно восстановить не только текущее но и некий набор прошлых состояний).Всегда есть набор "кандидатов в снапшоты" - в терминах NILFS это "чекпойнты".Что-то типа снапшотов, только временных - их живет некая пачка, самые старые постепенно подчищаются garbage collector'ом для как раз очистки места на диске.Т.е. выводок временных снапшотов живет на ФС чисто за счет принципа ее работы - ФС логгит все что делает, всегда можно выхватить состояние на некий предшествующий момент просто забив на более новые логи.Что и позволяет просто и корректно восстанавливаться после краха, откатываться на прошлые версии некоторое время и т.п.. Сказать что это занимает место можно достаточно условно - старые чекпойнты постепенно прибиваются и как максимум про них можно сказать "временно занимают место".

Создание "постоянного" снапшота из временного чекпойнта = запрету стирать некий набор логов, т.е. просто, быстро и нахаляву, ведь все что было надо для снапшота - уже есть, просто garbage collector-у запрещается прибивать нужные логи когда-то там в будущем.Это, разумеется приводит к съеданию места таким снапшотом - чудес не бывает.А вот временные чекпойнты место занимают достаточно условно.Тем не менее, хоть они и временные, они позволяют некоторое время (пока их не убьет GC) откатываться к старому состоянию.

>скорее всего используется какая-либо инкрементальная разница между снапшотами
>для уменьшения использования дискового пространства.

Эта разница называется "логами".Вся ФС состоит из "разниц" в виде логов.Новое состояние = старое + логи.Инкрементальность зашита в принципах работы такой ФС :)

>правильно понимаю?

Да - такая ФС "разницами" и оперирует, потому и log structured.Из логов состоит.

Основной плюс как я понимаю возможность честно журналировать запись и данных файлов и метаданных не теряя от этого в скорости+простая рекавери и ряд интересных возможностей(если загадили некий файл, можно просто на прошлое состояние вернуться, где он был нормальным).

Минусов у такого подхода как я понимаю есть - срач логами по всему диску и нужда их постепенно подтирать.Потенциально может быть фрагментация + требуется достаточно непростой garbage collector и достаточно навороченная логика вокруг всего этого.

ЗЫ если я где-то наврал, пусть гуру типа Фрески меня поправят.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от Аноним (??) on 04-Июн-09, 05:42 
>Новое состояние = старое + логи.

Непонятен этот момент. Т.е. текущее состояние - это лог1 + лог2 + лог3 + ... логХХХХ ? Если так, то считывать тысячи разниц, и, плюс к тому, сравнивать их - довольно затратно.

Или всё же после нескольких десятков изменений создаётся снимок состояний, который достаточно один раз прочитать и сразу использовать, без необходимости сравнивать разницы? Заранее спасибо :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

21. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от fresco (??) on 04-Июн-09, 13:01 
тут тот же принцип, что в ZFS и btrfs, только реализация немного проще. читайте про эти ФС -- станет понятнее.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

29. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от User294 (ok) on 06-Июн-09, 04:59 
>тут тот же принцип, что в ZFS и btrfs, только реализация немного
>проще. читайте про эти ФС -- станет понятнее.

Кстати, из того что мне интересно:
1) Перестройка+дефрагментеж GCом... а насколько это безопасно?В плане сохранности данных?По наблюдениям - сбои в процессе таких объединений-дефрагментаций - наиболее хреновое что может произойти с подобной структурой.Как с этим борятся?Что-то не нашел у NILFS на сайте внятного освещения этого вопроса(плохо искал?).
2) Если нагрузка постоянная и интенсивная - как это с GC будет уживаться?
3) Такие структуры в принципе склонны к фрагментации? (GC как я понимаю с этим должен бороться).
4) Конеретно у NILFS кажется работа с мелочью и большим числом файлов в каталогах сделана как я понимаю не ахти? Явно не выглядит как ФС для хранения миллионов мелких файлов в 1 дире в данный момент.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от xxx (??) on 04-Июн-09, 11:56 
>Основной плюс как я понимаю возможность честно журналировать запись и данных файлов и >метаданных не теряя от этого в скорости

Что-то я сомневаюсь, что она не теряет в скорости. Почему ты думаешь, что она должна быть быстрее обычной ФС c журналированием?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

30. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от User294 (ok) on 06-Июн-09, 05:54 
>Что-то я сомневаюсь, что она не теряет в скорости. Почему ты думаешь,
>что она должна быть быстрее обычной ФС c журналированием?

В обычной ФС если честно журналить и метаданные ФС и данные файлов, придется писать записываемые данные 2 раза. Сперва в журнал, потом в ФС. Двойная запись данных разумеется сажает скорость записи. Зато честно реализуется "все или ничего".Запись аннулируется если обломалась при записи в журнал или доводится до конца по данным из журнала если обломалась уже при записи в основную ФС.

Обычно такая просадка считается неприемлимой (просадка вдвое, плюс-минус лапоть) и для большинства некритичных задач пользуют компромиссные варианты, когда в журнал идут только метаданные.Цена компромисса - честного "все или ничего" уже не получается.Валидное состояние ФС - да, есть.А вот в каком состоянии файлы?Правильно, никто ничего не гарантирует.Грамотный подход (типа ordered в ext3) может помочь данным оставаться более-менее корректными в типовых сценариях.Но честные транзакции через журнал надежнее.И этак вдвое тормознее...

"Версионники" пишут новые данные ОДИН раз.Как этакий "лог".Похожий по смыслу на лог журнала классической ФС.Из-за такого принципа работы "все или ничего" получается само (недописанные логи - в топку, дописанные - юзать, сконструировав из них текущий вид файла).При этом получается честное журналирование не только метаданных но и данных.И даже "машина времени" с разными версиями файла - просто свойство такой ФС(достаточно забить на логи позднее чем X - и вот вам ФС в состоянии на момент X).А запись вообще недеструктивна - исходный вариант файла вообще как правило не трогается (как минимум сразу, на момент записи).Отсюда вытекает и достаточно корректный откат (можно просто вернуться к прошлому состоянию файла на котором сорвалась запись) и богатые возможности по части снапшотов(все что надо для снапшота - уже существует).Минусы ... разгребать старье подтирая старые версии версионнику все-таки когда-то придется а сам этот процесс не то чтобы очень уж тривиальный.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "Обзор файловой системы NILFS2, которая будет включена в сост..."  –1 +/
Сообщение от Аноним (??) on 04-Июн-09, 00:47 
>так снапшоты можно ведь через LVM реализовать. нужна ли тогда для этих
>функций новая ФС? не считая независимых деревьев, конечно.

на LVM не работают барьеры если используется больше одного физического диска, отсюда как следствие у программ и у ФС пишущих через LVM нет гарантии что после выхода из *sync() данные действительно записались на диск, а это может привести к повреждению данных или журнала ФС при неожиданном отключении питания.

поэтому эта ФС нужна, а LVM не всегда можно использовать.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "Обзор файловой системы NILFS2, которая будет включена в сост..."  –1 +/
Сообщение от Аноним (??) on 04-Июн-09, 00:52 
>на LVM не работают барьеры если используется больше одного физического диска

что такое барьеры? с LMV я совсем недавно начал знакомиться.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "Обзор файловой системы NILFS2, которая будет включена в сост..."  –1 +/
Сообщение от Аноним (??) on 04-Июн-09, 01:49 
>>на LVM не работают барьеры если используется больше одного физического диска
>
>что такое барьеры? с LMV я совсем недавно начал знакомиться.

/usr/src/linux/Documentation/block/barrier.txt

ОС для обработки запросов ввода/вывода ставит их в очередь и может менять порядок запросов в этой очереди так как считает нужным. если не вдаваться в подробности, барьер - это специальный запрос в этой очереди который гарантирует что все запросы находящиеся в очереди до него, будут выполнены до него и не поменяются местами с последующими.

если этот механизм не работает, информация о том что транзакция успешно выполнена может попасть на диск в файл журнала до того как целиком запишутся сами данные описывающие транзакцию. после неожиданного отключении питания попытка восстановления (файловой системой или например базой данных) такой "пустой" или частично записанной транзакции приведёт к непредсказуемым последствиям.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "Обзор файловой системы NILFS2, которая будет включена в сост..."  –1 +/
Сообщение от Аноним (??) on 03-Июн-09, 23:50 
Нужна. LVM-snapshot - настолько общая вещь, что она неэффективна. Кроме того, NILFS2 должна будет внущать больше доверия к надёжности в плохих условиях, чем LVM.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "Обзор файловой системы NILFS2, которая будет включена в сост"  –2 +/
Сообщение от Аноним (??) on 04-Июн-09, 07:01 
Ура в Linux снова изобрели ZFS, когда же наконец просто возьмут и будут использовать ZFS?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от Sonic (??) on 04-Июн-09, 08:54 
>Ура в Linux снова изобрели ZFS, когда же наконец просто возьмут и
>будут использовать ZFS?

Никогда. Лицензия же.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

27. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от аноним on 04-Июн-09, 22:17 
Угу, причем лицензия линукса.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "Обзор файловой системы NILFS2, которая будет включена в сост"  +1 +/
Сообщение от MaMoHT email on 04-Июн-09, 09:11 
>Ура в Linux снова изобрели ZFS, когда же наконец просто возьмут и
>будут использовать ZFS?

Когда BRTFS допишут ZFS уже будет не нужна :-)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "Обзор файловой системы NILFS2, которая будет включена в сост"  –1 +/
Сообщение от osintsev on 04-Июн-09, 10:15 
Btrfs уже не нужна - ZFS уже давно в лапах Оракля
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

24. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от СуперАноним on 04-Июн-09, 18:52 
А Оракль, что, уже в меинтейнеры линуксового ядра записался и будет решать, что нужно?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

25. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от аноним on 04-Июн-09, 19:01 
>будет решать, что нужно?

будет. у них бабки

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

31. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от User294 (ok) on 06-Июн-09, 05:56 
>будет. у них бабки

Ну да, анонимам конечно виднее :).А чего тогда Chris Mason из оракла ничего такого не говорит про пиндец и во всех интервью утверждает что btrfs-у - быть?Может и правда у оракла бабки есть и потому на зарплату одному своему програмеру при потенциально интересном для их бизнеса результате они явно могут денег наскрести? :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

34. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от User294 (ok) on 06-Июн-09, 06:16 
>Btrfs уже не нужна - ZFS уже давно в лапах Оракля

Во первых, btrfs по своей задумке будет уметь ряд плюшек которые ZFS не умеет(и неизвестно будет ли уметь).

Во вторых, очень интересно смотрится заява "ZFS уже давно в лапах Оракля" - а что, сделка уже окончательно и бесповоротно завершена?А чего тогда сан до сих пор выступает не под брендом Оракл а под своим?

В третьих - советую подумать о том что линукс столько лет жил вообще без оракла.А вот то что оракл вообще захочет долговременно тягать развитие соляры (и ZFS) в 1 рыло - как-бы не факт.Это куда дороже и геморнее чем совместная разработка с размазыванием затрат на всю ораву.А сил кроме оракла способных работать над такой системой как-то не видно.Тут сан сам себя в пятку своим жлобством по части монопольного контроля развития системы подстрелил, имхо.Они это поняли, но выправить ситуацию не успели.И как известно, Sun хоть и обладал большими доходами, обладал и большими расходами.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

33. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от User294 (ok) on 06-Июн-09, 06:06 
>Ура в Linux снова изобрели ZFS

Это не ZFS, NILFS явно менее наворочен.На функциональный аналог ZFS больше BTRFS смахивает, местами по задумке даже переплевывая оный.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от Аноним (??) on 04-Июн-09, 09:42 
> Никогда. Лицензия же.

Дык нынче Oracle у руля, он может и сменить на GPL2 лицензию, в добавок к CDDL.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

17. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от szh (ok) on 04-Июн-09, 10:17 
>> Никогда. Лицензия же.
>
>Дык нынче Oracle у руля, он может и сменить на GPL2 лицензию,
>в добавок к CDDL.

может, но не сменил.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от fresco (??) on 04-Июн-09, 12:59 
и не сменит. там патенты, не совместимые с GPL. забудьте.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

26. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от Аноним (??) on 04-Июн-09, 20:00 
>>> Никогда. Лицензия же.
>>
>>Дык нынче Oracle у руля, он может и сменить на GPL2 лицензию,
>>в добавок к CDDL.
>
>может, но не сменил.

Дык не является он пока официальным её владельцем, как купит SUN, так и сможет сменить, а пока он только может подруливать, но не рулить, ждём августа.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от Аноним (??) on 04-Июн-09, 09:44 
> Когда BRTFS допишут ZFS уже будет не нужна :-)

К тому времени мы все поседеем и умрём, а вообще Oracle в случае покупки SUN, может просто отправить сию FS в аналы истории...комунити, как уже не раз делалось в опенсорсе, на вроде ReiserFS.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

32. "Обзор файловой системы NILFS2, которая будет включена в сост"  +/
Сообщение от User294 (ok) on 06-Июн-09, 05:59 
>К тому времени мы все поседеем и умрём,

Что-то мне не хотелось бы так быстро подохнуть. Чтобы помереть за считанные годы наверное надо жить на свалке ядерных отходов и ядохимикатов?...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от Frank email(??) on 04-Июн-09, 12:37 
"Для хранения всех данных в NILFS2 используются подобные логам структуры, в которых только добавляются новые записи и никогда не переписываются активные."
- эт как понять? Если я запишу на винт из сети надцать гигабайт фильмов, закатаю их на ДВД и удалю с винта, что - эти надцать гигабайт будут вечно заняты? :)
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

22. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от mma on 04-Июн-09, 13:11 
они будут помечены как свободные и со временем будут перезаписываться новыми данными по мере устаревания. А пока не перезаписались сохраняется версионость ФС в рамках данных файлов.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

23. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от Myc (??) on 04-Июн-09, 17:31 
Это что 64-х битная реинкорнация BSD LFS?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

28. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от eve on 06-Июн-09, 00:18 
Да.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

35. "Обзор файловой системы NILFS2, которая будет включена в сост..."  +/
Сообщение от User294 (ok) on 06-Июн-09, 06:17 
>Да.

Точно, давайте все "версионники" будем валить в кучу :).Ведь идея в основе их работы одинаковая :)

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру