Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Исключение файловой системы Lustre из ядра Linux, opennews (ok), 10-Июн-18, (0) [смотреть все] А может, и не стоит тащить в главную ветку ядра всё подряд Под что-то специфиче, Fracta1L (ok), 10:23 , 10-Июн-18, (1) +5 // такая политика Емнип давеча были мысли на тему отделения дров от, собсна, ядра,, Аноним (-), 10:46 , 10-Июн-18, (8) –2 // давно пора помню линус говорил что мега-ядро позволяет сделать его быстрее, а п, Anonim (??), 10:14 , 11-Июн-18, (61) –2 FUSE, fjftj (?), 10:54 , 10-Июн-18, (10) –6 // Для больших HPC , nobody (??), 11:43 , 10-Июн-18, (15) +7 // Больших - это которые под диваном не помещаются , Аноним (-), 12:52 , 10-Июн-18, (20) +2 Ну как-то так, да , Ю.Т. (?), 07:50 , 11-Июн-18, (59) +1 Здорово усложняется поддержка - при изменениях в ядре, естественно, не получится, Crazy Alex (ok), 12:02 , 10-Июн-18, (16) +3 // не нужно костылей если коллектив не способен адаптировать модуль под stable ke, Anonim (??), 10:17 , 11-Июн-18, (62) // Костыли понадобятся потом - чтобы сохранять этот stable kernel API на который, Crazy Alex (ok), 11:25 , 11-Июн-18, (65) +1 пример из compat-rdma, compat-wireless, даже в люстре libcfs и куча configure c, Аноним (-), 07:55 , 13-Июн-18, (81) Все правильно сделал, Аноним (-), 10:42 , 10-Июн-18, (5) +11 Когда что-то исключают из линуксового ядра - это почти всегда хорошо А то слиш, iPony (?), 11:03 , 10-Июн-18, (11) –1 // Раньше говорили прямо противоположное смотрите, в нашем крутом линуксе поддерж, Полее (?), 11:18 , 10-Июн-18, (12) // И сейчас говорят Но это ж iPony , Crazy Alex (ok), 12:02 , 10-Июн-18, (17) +6 Покажи мне винду где хотя бы на словах поддреживался Lustre или что то подобное, demimurych (ok), 14:57 , 10-Июн-18, (29) +1 // Ну теперь и линукс не поддерживает, наконец-то догнал вендус по фичам , Аноним (-), 18:21 , 10-Июн-18, (40) проект WINC - windows native client Существовал в Sun до покупки его Oracle Тор, Аноним (-), 12:28 , 13-Июн-18, (86) Чего жирно ФС, работающая с обычными файлами, всегда модулем оформлена Не нужн, Аноним (-), 11:26 , 10-Июн-18, (14) +3 На пятый год Орлиный Глаз Все таки Грег гораздо мягче Линуса , Аноним (-), 12:02 , 10-Июн-18, (18) +9 // Это еще неизвестно Линус обычно ругает или, в крайнем случае, показывает фак с , Аноним (-), 15:51 , 10-Июн-18, (33) +1 // вообще-то он кучу раз тыкал их носом, и даже патчи за них делал а они решили, ч, arisu (ok), 17:01 , 10-Июн-18, (35) +6 // и кучу раз делали патчи в ядре - не задумываясь что есть что-то в stageing Отдел, Аноним (-), 21:09 , 12-Июн-18, (80) +1 я все правильно понял И эту файловую систему, которая применяется на 70 крупне, Адекват (ok), 18:31 , 10-Июн-18, (41) –2 // неправильно вы поняли, не применяется ЭТА версия, которую выкинут, JL2001 (ok), 18:36 , 10-Июн-18, (43) +4 // ЕМНИП, в составе ядра был только клиент, он работает во всех дистрибутивах, и по, kvaps (ok), 10:23 , 11-Июн-18, (63)   // собираются модули под ubuntu, suse, redhat А исходники есть в дебиан и arch , Аноним (-), 19:52 , 12-Июн-18, (78)   btw не путайте божий дар с яшницей - плиз правильнее сказать иначе ldiskfs эт, Аноним (-), 08:02 , 13-Июн-18, (82)   Имел ввиду что в проекте zfs on linux уже есть все необходимые патчи для запуска, kvaps (ok), 11:09 , 13-Июн-18, (84)   Блин Ну ZVOL это контейнер с транзакциями, большего люстре и не надо при некот, Аноним (-), 12:23 , 13-Июн-18, (85) +1   Ну в анонсах zfs on linux на опеннете об этом часто упоминается как и changelog , kvaps (ok), 13:07 , 13-Июн-18, (87)   Нужно найти того кто писал и попросить адрес драг-диллера Трава у него видать к, Аноним (-), 16:00 , 13-Июн-18, (88)   Да, была идея поднять две lustre и синхронизировать изменения между ними Так как, kvaps (ok), 17:18 , 13-Июн-18, (89)   Зависит - хватит ли вам одного сервера для хранения данных Люстра это в первую , Аноним (-), 17:35 , 13-Июн-18, (90)   Кажется мы друг друга немного недопоняли Серверов по прежнему планируется мног, kvaps (ok), 18:54 , 13-Июн-18, (91)   Возможно, я привык оперировать слегка другими задачами Дело не в количестве нод,, Аноним (-), 06:03 , 14-Июн-18, (92) +1   Ещё раз огромное спасибо за ваши комментарии и за ваш опыт , kvaps (ok), 06:36 , 14-Июн-18, (93)   не за что, рад если это чем-то помогло , Аноним (-), 19:17 , 14-Июн-18, (96) +1   нет ты даже не смог прочитать новость 8212 какое там 171 понимание 187 , arisu (ok), 18:59 , 10-Июн-18, (45) +5 offtopподскажите что сейчас стоит использовать linux в качестве распределённо, JL2001 (ok), 18:35 , 10-Июн-18, (42) // а куда ты собрался распределять 5 и 6 по двум узлам зеркало - два таргета iscsi, Аноним (-), 18:50 , 10-Июн-18, (44) // ещё есть ноут даже два цель - домашняя защита от вылета диска ну и ноут могут , JL2001 (ok), 19:08 , 10-Июн-18, (46) –1 // В вашем кейсе смысла в сетевом raid нет Нужна репликация на уровне файлов Я бы , kvaps (ok), 19:44 , 10-Июн-18, (48) +3 мне бы прозрачно для юзерских программ и, желательно, с блокировкой до получения, JL2001 (ok), 21:17 , 10-Июн-18, (51) –1 Не совсем, скорее как торрент только для синхронизации файлов Блокировку не пред, kvaps (ok), 22:44 , 10-Июн-18, (52) +1 glusterfs, только надо призадуматься планированием размещения её кусков и кворум, Аноним (-), 19:46 , 10-Июн-18, (49) +1 Я в похожем случае собирался поиграться с Тахо Tahoe, как озеро , но решил что , Аноним (-), 22:55 , 10-Июн-18, (54) +1 Gluster Он глючный и тормозной, но под файлшару нормально , Аноним (-), 09:16 , 11-Июн-18, (60) +1 // Это вы о чем Может просто научиться читать документацию - Он работает в с, Ed (??), 13:26 , 11-Июн-18, (69) // Дополню его мысль он глючный, тормозной, но пользоваться вполне можно Особенно, Аноним (-), 13:43 , 11-Июн-18, (70) Достойный ответ , Ed (??), 13:51 , 11-Июн-18, (71) А чем нынче можно пошарить файлы между несколькими серверами в разных ДЦ, в т ч , Аноним (-), 19:13 , 10-Июн-18, (47) –1 // Ceph glusterДля виндузей отдельный iscsi samba шлюз , DeerFriend (?), 21:03 , 10-Июн-18, (50) +2 Ну WebDAV например, хотя зависит от конкретных задач А в чем сложность наворачи, kvaps (ok), 23:02 , 10-Июн-18, (55) –1 https www beegfs io последнее время хвалят, Вася (??), 14:21 , 20-Июн-18, (105) dkms модули, не , Старый одмин (?), 01:15 , 11-Июн-18, (56) –1 // И как дкмс поможет с кривизной кода, фидорасенька юная , Аноним (-), 11:36 , 11-Июн-18, (66) +1 // Так, что это перестанет быть болью инженеров из Linux Foundation , Старый одмин (?), 14:42 , 11-Июн-18, (72) –1 Лучше бы btrfs выкинули , anonymous (??), 10:52 , 11-Июн-18, (64) –3 // Зря ты так У меня на VPS серверах она используется Как бы я выполнял горячее р, Старый одмин (?), 14:44 , 11-Июн-18, (73) // lvm thin volumes, Crazy Alex (ok), 18:13 , 11-Июн-18, (74) –1 При существующих стабильных проектах Gluster и Ceph, думаю никто не будет печ, Ed (??), 13:09 , 11-Июн-18, (67) –1 // хм а можно развернуть из под палки Особенно если посмотреть что основные лю, Аноним (-), 21:07 , 12-Июн-18, (79) // Ну новость о том, что они не хотят ничего коммитить, будто их не кормят и насилу, Аноним (-), 15:30 , 14-Июн-18, (94) // Ох вот уж эти красно новость совсем не о том Новость о том что 1 Когда 4 и, Аноним (-), 07:42 , 16-Июн-18, (98) короче, как обычно никто не хочет забесплатно поддерживать ненужную им коммерче, arisu (ok), 17:51 , 16-Июн-18, (99) Хнык-Хнык это вы уж придумали По себе судите думаю если не нужную коммерческу, Аноним (-), 15:55 , 17-Июн-18, (100) btw вы видели Ceph, Cluster на 2000 нодах с данными общий объем 20P и выше и , Аноним (-), 08:07 , 13-Июн-18, (83) // gt оверквотинг удален пользуюсь glusterfs напрямую, без fuse, чего и всем жела, Аноним (-), 15:32 , 14-Июн-18, (95) // gt оверквотинг удален на 10-20 тыс клиентов вот обещают что в OKR их будет 10, Аноним (-), 19:19 , 14-Июн-18, (97) Люстрировали , бедный буратино (ok), 13:11 , 11-Июн-18, (68) +2 1,5,11,18,41,42,47,56,64,67,68

Сообщения

[Сортировка по времени | RSS]

	63. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 11-Июн-18, 10:23
	ЕМНИП, в составе ядра был только клиент, он работает во всех дистрибутивах, и позволяет без труда смонтировать lustre где угодно. Есть ещё серверная часть и два бэкенда для нее: ldiskfs - для нее требуется специальное патченное ядро И zfs - код lustre принят в состав проекта zfs on linux и патченное ядро уже не требуется, но требется наличие модулей zfs. Плюс есть пачка отдельных модулей которые необходимы для работы серверной части, они предоставлены и работают почему-то только в Centos.
	Ответить | Правка | Наверх | Cообщить модератору

	78. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от Аноним (-), 12-Июн-18, 19:52
	собираются модули под ubuntu, suse, redhat. А исходники есть в дебиан и arch.
	Ответить | Правка | Наверх | Cообщить модератору

	82. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от Аноним (-), 13-Июн-18, 08:02
	btw. не путайте божий дар с яшницей - плиз.. > ldiskfs - для нее требуется специальное патченное ядро правильнее сказать иначе. ldiskfs это очень не много патчей на upstream ext4. патченое ядро не требуется, требуются исходники ext4, патчи накладываются в собственном каталоге. > И zfs - код lustre принят в состав проекта zfs on linux ээ.. что курили то? lustre over zfs использует обычный z-vol API. Видимо спутали с теми улучшениями которые в последнее время засылают в zfs on linux - что бы избавиться от кучи проблем у оригинального порта? > и патченное ядро уже не требуется, но требется наличие модулей zfs. > Плюс есть пачка отдельных модулей которые необходимы для работы серверной части, они > предоставлены и работают почему-то только в Centos. Что курили то? Минимальный набор патчей на ядро - для сборки сервера, это 5 патчей в основном с tunables и поддержка rdonly-disk (нужен для тестирования - заменен на dm flakey). Набор патчей для ldiskfs - ограничивается ldiskfs-2.6-rhel6.4.series        ldiskfs-3.0-sles11.series        ldiskfs-3.12-sles12sp1.series ldiskfs-2.6-rhel6.5.series        ldiskfs-3.0-sles11sp3.series        ldiskfs-4.4-sles12sp2.series ldiskfs-2.6-rhel6.6.series        ldiskfs-3.0-sles11sp4.series        ldiskfs-4.4-sles12sp3.series ldiskfs-2.6-rhel6.7.series        ldiskfs-3.10-rhel7.2.series        ldiskfs-4.4.0-45-ubuntu14+16.series ldiskfs-2.6-rhel6.8.series        ldiskfs-3.10-rhel7.3.series        ldiskfs-4.4.0-49-ubuntu14+16.series ldiskfs-2.6-rhel6.9.series        ldiskfs-3.10-rhel7.4.series        ldiskfs-4.4.0-62-ubuntu14+16.series ldiskfs-2.6-rhel6.series        ldiskfs-3.10-rhel7.series        ldiskfs-4.4.0-73-ubuntu14+16.series ldiskfs-2.6-sles11.series        ldiskfs-3.12-sles12.series но при желании все могут сделать их себе сами. опять же "только CentOS" не катит.
	Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

	84. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 13-Июн-18, 11:09
	>> И zfs - код lustre принят в состав проекта zfs on linux > ээ.. что курили то? lustre over zfs использует обычный z-vol API. Видимо > спутали с теми улучшениями которые в последнее время засылают в zfs > on linux - что бы избавиться от кучи проблем у оригинального > порта? Имел ввиду что в проекте zfs on linux уже есть все необходимые патчи для запуска lustre on zfs >> и патченное ядро уже не требуется, но требется наличие модулей zfs. >> Плюс есть пачка отдельных модулей которые необходимы для работы серверной части, они >> предоставлены и работают почему-то только в Centos. > Что курили то? Минимальный набор патчей на ядро - для сборки сервера, > это 5 патчей в основном с tunables и поддержка rdonly-disk (нужен > для тестирования - заменен на dm flakey). Когда я тестил lustre на CentOS 7.4 у меня все без проблем завелось и на стоковом ядре, без наложения каких либо патчей. Интересовала failover-схема с drbd, т.к. FLR на тот момент еще не зарелизили. Но производительность не особо впечатлила в отличии от той же BeeGFS. Возможно дело в тонком тюнинге или отсутствии указанных вами патчей - не знаю. > опять же "только CentOS" не катит. По крайней мере так написанно в официальной wiki: http://wiki.lustre.org/Lustre_2.10.4_Changelog Но да, выше уже ответили.
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Исключение файловой системы Lustre из ядра Linux"	+1 +/–
	Сообщение от Аноним (-), 13-Июн-18, 12:23
	> Имел ввиду что в проекте zfs on linux уже есть все необходимые патчи для запуска lustre on zfs Блин. Ну ZVOL это контейнер с транзакциями, большего люстре и не надо. при некотором желании можно вообще в BDB запустить в userland. Вы же не станете говорить что в BDB есть поддержка люстры? > Интересовала failover-схема с drbd, т.к. FLR на тот момент еще не зарелизили. Но производительность не особо впечатлила в отличии от той же BeeGFS. Возможно дело в тонком тюнинге или отсутствии указанных вами патчей - не знаю. Для простого failover вам даже FLR не нужен. DRBD или iscsi, нормальная дисковая полка с EBOD - что бы к дискам был их 2х нод. Скорее всего дело в DRBD, который стоило заменить на iscsi (как минимум). ну или нормальную дисковую полку с EBOD, тогда можно получить 8-10Gb/s с 2х OST (данные реальных тестов). > По крайней мере так написанно в официальной wiki: http://wiki.lustre.org/Lustre_2.10.4_Changelog Тому кто писал changelog надо дать по ушам. Можно просто глянуть на на test matrix.
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 13-Июн-18, 13:07
	> Вы же не станете говорить что в BDB есть поддержка люстры? Ну в анонсах zfs on linux на опеннете об этом часто упоминается как и changelog самого zfs on linux. > Для простого failover вам даже FLR не нужен. DRBD или iscsi, нормальная > дисковая полка с EBOD - что бы к дискам был их > 2х нод. Скорее всего дело в DRBD, который стоило заменить на > iscsi (как минимум). > ну или нормальную дисковую полку с EBOD, тогда можно получить 8-10Gb/s с > 2х OST (данные реальных тестов). Да, согласен, но на тот момент хотелось чего-то бОльшего: репликацию между физически разными серверами и уйти от использования дисковых полок вообще. Сейчас с релизом FLR такая возможность предумотрена в самой люстре. Очень интересно посмотреть на то как изменятся результаты бенчмарков Lustre с FLR по сравнению с Lustre on DRBD, можно ли будет вырубать OSS "на живую" и какова будет задержка для клиентов. Обязательно займусь этим как только снова найдется время на это и если не найдется решение получше. Спасибо.
	Ответить | Правка | Наверх | Cообщить модератору

	88. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от Аноним (-), 13-Июн-18, 16:00
	> Ну в анонсах zfs on linux на опеннете об этом часто упоминается как и changelog самого zfs on linux. Нужно найти того кто писал и попросить адрес драг-диллера. Трава у него видать качественная. Единственная фича zfs к которой приложила руку люстра - это xattr in dnode, иначе xattr операции очень дорогие. Остальное что вы увидели в changelog у zfs, это оптимизации - которые делают люди люстра тима в Intel. Благодаря им - хоть как-то можно жить. > Да, согласен, но на тот момент хотелось чего-то бОльшего: репликацию между физически разными серверами и уйти от использования дисковых полок вообще. 1. lustre_rsync (который rsync для изменений по changelog) не подходил? 2. что вы понимаете под репликаций между физически разными серверами? 3. предложите другой метод (кроме FC, ISCSI) что бы раздать кучу дисков в 2 физических сервера одновременно.
	Ответить | Правка | Наверх | Cообщить модератору

	89. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 13-Июн-18, 17:18
	> 1. lustre_rsync (который rsync для изменений по changelog) не подходил? Да, была идея поднять две lustre и синхронизировать изменения между ними. Так как в нашем случае новые данные записываются активно и постоянно, существует вероятная проблема с консистентностью данных. Например как гарантировать то что данные записались в обе фс в каждый конкретный момент времени и будут доступны, даже в случае отключения какого-нибудь из OSS? Второй вопрос с реализацией клиента - он не должен заметить переключения между двумя фс, по сути можно попробовать использовать обычный iscsi multipathing, думаю это может сработать. Спасибо классную идею! > 2. что вы понимаете под репликаций между физически разными серверами? Была идея иметь большое количество OSS-серверов поделеные на отказоустойчивые пары, а на каждой паре держать только один OST (блочное устройство реплицируемое по сети). В случае отказа одного OSS, то OST перезапускался бы на другом. Идея в том, чтобы отдельно взятые OSS всегда можно было перезагружать без видимых задержек для клиента, и в то же иметь зеркалирование данных. Как я понял FLR сейчас решает эту задачу и без общего OST. > 3. предложите другой метод (кроме FC, ISCSI) что бы раздать кучу дисков > в 2 физических сервера одновременно. Есть еще nbd, AoE, но не совсем понял зачем, iscsi работает отлично.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от Аноним (-), 13-Июн-18, 17:35
	> Второй вопрос с реализацией клиента - он не должен заметить переключения между двумя фс, по сути можно попробовать использовать обычный iscsi multipathing, думаю это может сработать. Спасибо классную идею! Зависит - хватит ли вам одного сервера для хранения данных. Люстра это в первую очередь сетевой страйпинг, когда вам одного OST не хватит для данных файла. > Была идея иметь большое количество OSS-серверов поделеные на отказоустойчивые пары, > а на каждой паре держать только один OST (блочное устройство реплицируемое по сети). Это все о контролерах (серверах) а дисковые хранилища то как? так же полная дупликация? >В случае отказа одного OSS, то OST перезапускался бы на другом. это типичный кейс люстры. Правда требует что бы данные были доступны на втором OSS. Это решает iSCSI multipath (как вы заметили) или EBOD с дисковой полки в 2 контролера. FLR - да позволяет иметь 2 копии, но только одна из них writetable. > Есть еще nbd, AoE, но не совсем понял зачем, iscsi работает отлично. у вас есть диски сами по себе, их надо как-то отдать на 2 хоста или зеркалить данные. Если у вас данные изменяются часто, у вас весь сетевой трафик может быть забит одной синхронизацией. Тогда уже sync over SAS или похоже технологии.
	Ответить | Правка | Наверх | Cообщить модератору

	91. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 13-Июн-18, 18:54
	Кажется мы друг друга немного недопоняли :) > Зависит - хватит ли вам одного сервера для хранения данных. Люстра это > в первую очередь сетевой страйпинг, когда вам одного OST не хватит > для данных файла. Серверов по прежнему планируется много, и на каждом из них будет по отдельному OST. Проблем с количеством нод быть не должно. Под это добро планировалось использовать внутренние диски блейд-серверов. Дупликацию должен был обеспечить drbd, синхронизируя блочные устройства по сети. > это типичный кейс люстры. Правда требует что бы данные были доступны на > втором OSS. Это решает iSCSI multipath (как вы заметили) или EBOD > с дисковой полки в 2 контролера. Или drbd как я сказал выше, но идея себя не оправдала. > FLR - да позволяет иметь 2 копии, но только одна из них > writetable. О, а об этом можно поподробнее? - если нода с writetable копией отключится, lustre переключит операции записи на другую копию?
	Ответить | Правка | Наверх | Cообщить модератору

	92. "Исключение файловой системы Lustre из ядра Linux"	+1 +/–
	Сообщение от Аноним (-), 14-Июн-18, 06:03
	> Кажется мы друг друга немного недопоняли :) Возможно, я привык оперировать слегка другими задачами. >Серверов по прежнему планируется много, и на каждом из них будет по отдельному OST. Проблем с количеством нод быть не должно. > Под это добро планировалось использовать внутренние диски блейд-серверов. Дупликацию должен был обеспечить drbd, синхронизируя блочные устройства по сети. Дело не в количестве нод, а в простом факте - если у вас умрет нода в процессе репликации - вам только в морг. все журналируемые FS - строятся на одном простом факте, если сработал journal commit - то данные попали на persistent storage. и точка. Если по какой-то причине FUA и тп - не отработали - и flush данных не обеспечен - вместо FS получите венегрет. Простейший пример - это raid контролер со своей памятью, но без батарейки. Вот вы пытались сделать именно такое. Будет или медленно или нестабильно или другие инструменты нужны. > FLR - да позволяет иметь 2 копии, но только одна из них > writetable. > О, а об этом можно поподробнее? - если нода с writetable копией отключится, lustre переключит операции записи на другую копию? Обещали что в итоге будет возможность автоматического переключения - в результате вторая реплика станет активной. Но ценой вопроса может оказаться синхронная запись в phase1, а async recovery - помоему в phase 3?
	Ответить | Правка | Наверх | Cообщить модератору

	93. "Исключение файловой системы Lustre из ядра Linux"	+/–
	Сообщение от kvaps (ok), 14-Июн-18, 06:36
	Ещё раз огромное спасибо за ваши комментарии и за ваш опыт!
	Ответить | Правка | Наверх | Cообщить модератору

	96. "Исключение файловой системы Lustre из ядра Linux"	+1 +/–
	Сообщение от Аноним (-), 14-Июн-18, 19:17
	не за что, рад если это чем-то помогло.
	Ответить | Правка | К родителю #93 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема