The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux , opennews (??), 23-Май-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


54. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от OpenEcho (?), 24-Май-19, 10:47 
Дружеский совет, забудте про raid-z/z1/z2/z3 и используйте зеркала. В случае помирания одного из дисков resilver занимает очень много времени и нагинает производительность по черному. Если учесть, что диски в массив покупаются в одно и тоже время, того же производителя, то велика вероятность, что в случае падения одного диска за ним последуют другие, а так как процесс востановления (resilver) занимает массу времени, то весь массив может накрыться медным тазом, пока идет resilver (неделю а то и больше). Понятно желание сэкономить на дисках c raid-z/z1/z2/z3, но если это системы по 200-400-600 терабайт, то такая экономия может стоить потерией всех данных в ZFS. В случае же с зеркалами, resilver делается только между двумя хардами (быстро) и не нагибает производительность в отличии от Z где для того чтобы востановить массив, надо перелопатить весь array.

Почитайте, вот первое что нашлось в подверждение:

https://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs.../

https://www.ixsystems.com/community/threads/some-differences.../

Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

58. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  –1 +/
Сообщение от RNZ (ok), 24-Май-19, 11:10 
>[оверквотинг удален]
> процесс востановления (resilver) занимает массу времени, то весь массив может накрыться
> медным тазом, пока идет resilver (неделю а то и больше). Понятно
> желание сэкономить на дисках c raid-z/z1/z2/z3, но если это системы по
> 200-400-600 терабайт, то такая экономия может стоить потерией всех данных в
> ZFS. В случае же с зеркалами, resilver делается только между двумя
> хардами (быстро) и не нагибает производительность в отличии от Z где
> для того чтобы востановить массив, надо перелопатить весь array.
> Почитайте, вот первое что нашлось в подверждение:
> https://jrs-s.net/2015/02/06/zfs-you-should-use-mirror-vdevs.../
> https://www.ixsystems.com/community/threads/some-differences.../

Вопрос был в контексте домашнего использования, если что.

Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от пох (?), 24-Май-19, 11:55 
> Вопрос был в контексте домашнего использования, если что.

тебе чьих данных больше жалко - домашних или дядиных?

И у кого, кстати, больше денег на бэкапы и лишние диски?

Ответить | Правка | Наверх | Cообщить модератору

100. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от RNZ (ok), 24-Май-19, 17:07 
>> Вопрос был в контексте домашнего использования, если что.
> тебе чьих данных больше жалко - домашних или дядиных?
> И у кого, кстати, больше денег на бэкапы и лишние диски?

В обоих случаях, бекапы нужны. Но речь шла не про бекапы.

Ответить | Правка | Наверх | Cообщить модератору

106. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от пох (?), 24-Май-19, 17:44 
дома на бэкапы нетбабланах (иначе зачем бы мне zfs ? это и есть бэкап примерно всего)

там где есть 400T - бэкап в теории есть, на практике если накроется ВСЕ - при банкротстве контора потеряет меньше, чем при попытке восстановить.
Потому что пока такой объем восстанавливается - там судебных и прочих исков и пень успеет набежать в разы больше.

Если накроется кусок (и не просто так промышленная хранилка ограничивает отдельный dataset в ~14T) - то, конечно, как нибудь переживут.

Ответить | Правка | Наверх | Cообщить модератору

149. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от RNZ (ok), 25-Май-19, 14:34 
> дома на бэкапы нетбабланах (иначе зачем бы мне zfs ? это и
> есть бэкап примерно всего)

Нищебродство какое-то. snapshot это не бекап. Три накопителя разных производителей с одинаковыми параметрами и размерность в N TiB. Два в zfs pool mirror, один в отдельный пул backup. И send.


> там где есть 400T - бэкап в теории есть, на практике если
> накроется ВСЕ - при банкротстве контора потеряет меньше, чем при попытке
> восстановить.
> Потому что пока такой объем восстанавливается - там судебных и прочих исков
> и пень успеет набежать в разы больше.
> Если накроется кусок (и не просто так промышленная хранилка ограничивает отдельный dataset
> в ~14T) - то, конечно, как нибудь переживут.

С интырпрайзом отдельная боль с бекапами. Но тоже лечится при разумном подходе. И 400T не предел.


Ответить | Правка | Наверх | Cообщить модератору

151. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от пох (?), 25-Май-19, 17:24 
> Нищебродство какое-то. snapshot это не бекап. Три накопителя разных производителей с одинаковыми
> параметрами и размерность в N TiB.

поздравляю, вы купили 1/3 дискового пространства за 3x денег. Или 4x, поскольку разные производители могут неожиданно стоить разно.
А зачем теперь, кстати, zfs ? Форматируете в ext4/ntfs/вообще exfat и живете счастливо. Пользы от нее вам в озвученной схеме вообще никакой. Или у вас домашний компьютер на freebsd (соболезную, там выбора почти нет)?

красиво жить, конечно, не запретишь, но лично у меня смысл zfs в независимости от подвернувшихся под руку дисков и того из какого трэша собрана хранилка - она должна просто работать, не требуя времени на переконфигурации и переливания данных туда-сюда. За это я готов заплатить потерей производительности (она имеет место быть) и некоторой потерей надежности. Но не тем п-цом который навязывают дорогие друзья с Украины и iX. Насчет ZoL - пока присматриваюсь, посмотрим, сколько проживет экспериментальный сервер на работе, но мнение скорее отрицательное - оно если и работает, то больше по недоразумению. И этот сервер стабильно медленнее аналогичного с btrfs.

> С интырпрайзом отдельная боль с бекапами. Но тоже лечится при разумном подходе. И 400T не предел.

да нет никакой боли, просто есть понимание, что бэкап не для решения ситуации "хранилка внезапно сгорела вся кху-ям, восстановлению не подлежит". Он для ситуации "косорукий коллега окошком ошибся и снес том, двести раз нажав Ok, один раз набрав "YES I C0NfIR/\/\ THIS!". В наихудшем случае это 14T еще актуальных данных. Плохо, но не катастрофа, за пол-дня с лент восстановится самое остро необходимое, клиентам принесут искренние извинения.

И вот обратите внимание - 14T - это предел для коммерческого решения за миллион денег. (то есть в переносе на zfs - это размер zpool был бы) Вот как-то не хотели они манипулировать кусками стораджа большего объема как одним целым.

Ответить | Правка | Наверх | Cообщить модератору

153. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от RNZ (ok), 25-Май-19, 20:11 
zfs для компрессии и удобства управления всей ёмкостью. И можно при необходимости преобразовать в raidzN

Что до ZoL на серверах:
https://paste.ubuntu.com/p/kDVqnfPr6y/
https://paste.ubuntu.com/p/Dq3jy3c23j/

Бекапы - они для всех случаев. Бекапить большЫе объёмы вполне себе боль само по себе.
И есть хуже ситуации, например когда программист ошибся изменил миграцию, протестил и накатил, её после месяца тестов, а в результате дропнулась колонка в колоночном хранилище.
И ленты в таких случаях вообще не применимы (да и вообще их давно можно списать). Лучше собрать пару-тройку хранилищ типа Ceph/Lustre и обозначить основное и резервные. Но всё это зависит от потребностей и возможностей.

Ответить | Правка | Наверх | Cообщить модератору

155. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от пох (?), 25-Май-19, 20:30 
> zfs для компрессии и удобства управления всей ёмкостью

какое ж у вас удобство и управление, если аж три диска и из тех один в рейде, другой бэкап?

ну и что вы там такое копрессируете-компрессируете - тоже не знаю. Вот что в коде arc compress есть дидлок - знаю на собственном опыте. Наступить сложно, но некоторым удается.

# uptime
18:49:58 up 399 days, 17:58,  1 user,  load average: 8,16, 9,20, 9,58
прекрасный ненужносервер, больше года без апдейтов (это ведь не только ядро, но и библиотеки). пингом валится, поди?

кстати, где тут удобство, если он нарезан на какие-то автогенеренные куски, не имеющие ни малейшего смысла и даже незапоминаемые?

> И ленты в таких случаях вообще не применимы (да и вообще их давно можно списать).

голубчик, вы это рассказываете тому кто применяет и применять будет. Но по назначению, а не в виде универсальной пилюли. Ее нет. А ваша люстра вне гугля (который как раз может позволить себе потерять хоть вообще все данные - хомячки новых понапостят, его цель была хранить совершенно нечеловеческие объемы, а не надежность такого хранения в целом), стесняюсь спросить, где еще жива?

Ответить | Правка | Наверх | Cообщить модератору

158. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от Michael Shigorinemail (ok), 25-Май-19, 20:52 
> А ваша люстра вне гугля [...], стесняюсь спросить, где еще жива?

Ну мы по hpc-кластерам применяли (как и ленты, хе-хе).  А гуглю-то она зачем?  Первый раз в таком контексте упоминание вижу.

Ответить | Правка | Наверх | Cообщить модератору

161. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от RNZ (ok), 25-Май-19, 21:12 
>> А ваша люстра вне гугля [...], стесняюсь спросить, где еще жива?
> Ну мы по hpc-кластерам применяли (как и ленты, хе-хе).  А гуглю-то
> она зачем?  Первый раз в таком контексте упоминание вижу.

Ну вообще оно у них на облаках для hpc применимо, рассказывают:
https://cloud.google.com/blog/products/storage-data-transfer...

Ответить | Правка | Наверх | Cообщить модератору

160. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  –1 +/
Сообщение от RNZ (ok), 25-Май-19, 21:04 
>> zfs для компрессии и удобства управления всей ёмкостью
> какое ж у вас удобство и управление, если аж три диска и
> из тех один в рейде, другой бэкап?

Удобство в управлении всей ёмкостью и компрессия, назначение mountpoint'ов, возможность пинать снапшоты при экспериментах. После возни с lvm - ну очень удобно.

> ну и что вы там такое копрессируете-компрессируете - тоже не знаю. Вот
> что в коде arc compress есть дидлок - знаю на собственном
> опыте. Наступить сложно, но некоторым удается.

Да где их нет. Софта без ошибок, даже у NASA не густо.

> # uptime
>  18:49:58 up 399 days, 17:58,  1 user,  load average:
> 8,16, 9,20, 9,58
> прекрасный ненужносервер, больше года без апдейтов (это ведь не только ядро, но
> и библиотеки). пингом валится, поди?

Не, не валится, и апгрейдится кстати, и не пингуется. Но прод он такой - живёт в соответствии с требованиями бизнеса.

> кстати, где тут удобство, если он нарезан на какие-то автогенеренные куски, не
> имеющие ни малейшего смысла и даже незапоминаемые?

Нарезан как надо и со смыслом, а запоминать их не надо, их надо легко идентифицировать при необходимости, удобство в том как это управляется.

>> И ленты в таких случаях вообще не применимы (да и вообще их давно можно списать).
> голубчик, вы это рассказываете тому кто применяет и применять будет. Но по
> назначению, а не в виде универсальной пилюли. Ее нет. А ваша
> люстра вне гугля (который как раз может позволить себе потерять хоть
> вообще все данные - хомячки новых понапостят, его цель была хранить
> совершенно нечеловеческие объемы, а не надежность такого хранения в целом), стесняюсь
> спросить, где еще жива?

Я вам не голубчик. А ленты не нужны, устарело окончательно.

Ответить | Правка | К родителю #155 | Наверх | Cообщить модератору

65. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от Аноним (65), 24-Май-19, 11:49 
У этого подхода тоже есть недостатки - под резервирование отдается аж половина общего объема дисков, и с надежностью тоже не все так радужно.
Zpool превращается в тыкву если хотя бы один vdev в нем умирает. Zpool, состоящий из нескольких mirror vdev умрет если хотя бы в одном из зеркал сдохнут сразу два диска (подразумевая, что зеркала составляются из пар дисков). Zpool, состоящий из raidz2 vdev'ов же переживет потерю двух любых дисков в любом из vdev. А raidz3 - потерю трёх.
Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

112. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от OpenEcho (?), 24-Май-19, 18:19 
> Zpool, состоящий из raidz2 vdev'ов же переживет потерю
> двух любых дисков в любом из vdev. А raidz3 - потерю
> трёх.

Вы читали линки в моем первом посте?

Ответить | Правка | Наверх | Cообщить модератору

66. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от пох (?), 24-Май-19, 11:54 
> В случае помирания одного из дисков resilver занимает очень много времени и нагинает
> производительность по черному.

в случае отказа диска в vdev - времени уйдет ровно столько, сколько надо чтобы прочитать весь vdev. Поскольку его таки надо весь прочитать - что с зеркалом, что с raidz

Если вы сравниваете raidz на четырех дисках с двумя 2-way mirror - да, при отказе одного диска первому придется прочитать втрое больше данных, а при отказе двух разом - в тыкву превращаются и тот, и другой (для меня до сих пор остается загадкой отсутствие средств восстановления сохранившейся информации с таких пулов). Только во втором случае у вас этого "втрое" просто НЕТ.
А если вместо 4x raidz вы соберете 3x 2x mirror для получения того же объема - тут уже и дятлу становится немножко ссыкотно.

> Понятно желание сэкономить на дисках c raid-z/z1/z2/z3, но если это системы по 200-400-600
> терабайт

то, вероятнее всего, их собрали неправильно, и нужно было прочитать рекомендации, сколько именно дисков допустимо собирать в raidzN (и еще следует понимать, что потери производительности никто не отменял и N>2 имеют исключительно архивную ценность) и подумать, как с этим жить дальше. Выводы будут довольно скучные и очевидные - единый пул такого размера - обречен.

А теперь прикиньте, вот есть у вас система аж на 400T, собранная, допустим, из 3T дисков в raidz2 (как и положено, по 6 в vdev) - ~35 штук, 210 дисков не считая spare (ничего такого особенного). Сколька-сколька займет переделка их в 3way mirror, и хватит ли у вас на это места в стойках и электричества, даже если деньги - нивапрос?

Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

88. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от Это я (?), 24-Май-19, 15:23 
Меня raid-z2 неоднократно выручал. Так из массива постепенно ушли все сигейты.
Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

130. "Выпуск ZFS on Linux 0.8.0, реализации ZFS для ядра Linux "  +/
Сообщение от Michael Shigorinemail (ok), 24-Май-19, 22:14 
> то велика вероятность, что в случае падения одного диска
> за ним последуют другие

keywords: double fault

Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру