The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

10.06.2018 09:58  Исключение файловой системы Lustre из ядра Linux

Грег Кроа-Хартман (Greg Kroah-Hartman), отвечающий за раздел "staging" в ядре Linux, сообщил об удалении из ветки linux-next, на основе которой формируется выпуск 4.18, кода кластерной файловой системы Lustre, которая применяется на 70% из 100 крупнейших кластеров. Код Lustre был добавлен в ядро пять лет назад, но с тех пор не продвинулся для перевода из экспериментальной ветки "staging" в число штатных файловых систем. Среди основных причин упоминается отсутствие должной активности по приведению имеющегося кода к соответствию с остальным ядром, плохая адаптация кода к изменениям в VFS, а также игнорирование проблем и периодическая публикация патчей, ломающих имеющуюся функциональность.

По мнению Грега всю необходимую работу по чистке стиля оформления и адаптации кода можно было провести за 6 месяцев, но по активности разработчиков Lustre видно, что они не заинтересованы в этом и поэтому код буксует в "staging" уже пять лет. Раз в несколько месяцев возникают несостыковки с другими подсистемами и Грегу приходится добиваться внесения правок и указывать на ошибки в коде, в то время как за этим должны следить непосредственно разработчики Lustre.

По сути имеется два варианта Lustre: отдельная от основного ядра ветка, в которой ведётся разработка и которая применяется в рабочих кластерах, и вариант в составе основного ядра, в который по возможности переносятся случайные исправления и изменения. Первичной рассматривается собственная ветка, а вариант в штатном ядре поддерживается по остаточному принципу. Грег считает, что ситуация с Lustre отлично демонстрирует принцип, что модель разработки подсистем ядра с двумя отдельными ветками никогда не работает.

Вместо поддержания Lustre в "staging" без какого-либо прогресса в развитии, разработчикам данной ФС предлагается адаптировать свою первичную ветку для включения в основной состав ядра. Разработчики Lustre уже выразили готовность предоставить переработанный патч для перевода кода из "staging" в "mainline" c сопровождением в linux-fsdevel, но Грег Кроа-Хартман настроен скептически и не думает, что ситуация изменится.

  1. Главная ссылка к новости (http://lists.lustre.org/piperm...)
  2. OpenNews: Выпуск кластерной ФС Lustre 2.11
  3. OpenNews: В ядро Linux 3.11 будет включена поддержка кластерной ФС Lustre
  4. OpenNews: Компания Xyratex выкупила у Oracle распределённую ФС Lustre
  5. OpenNews: Компания Whamcloud анонсировала создание независимого варианта ФС Lustre
  6. OpenNews: Релиз ядра Linux 3.11 с файловой системой Lustre
Лицензия: CC-BY
Тип: Тема для размышления
Ключевые слова: lustre, kernel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Fracta1L (ok), 10:23, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]
  • +5 +/
    А может, и не стоит тащить в главную ветку ядра всё подряд? Под что-то специфическое всегда можно создать отдельные ветки ядра.
     
     
  • 2.8, Аноним (-), 10:46, 10/06/2018 [^] [ответить]    [к модератору]
  • –2 +/
    > А может, и не стоит тащить в главную ветку ядра всё подряд?

    такая политика. Емнип давеча были мысли на тему отделения дров от, собсна, ядра, например. Но пока все как есть


     
     
  • 3.61, Anonim (??), 10:14, 11/06/2018 [^] [ответить]     [к модератору]
  • –2 +/
    давно пора помню линус говорил что мега-ядро позволяет сделать его быстрее, а п... весь текст скрыт [показать]
     
  • 2.10, fjftj (?), 10:54, 10/06/2018 [^] [ответить]    [к модератору]  
  • –6 +/
    FUSE
     
     
  • 3.15, nobody (??), 11:43, 10/06/2018 [^] [ответить]    [к модератору]  
  • +7 +/
    Для больших HPC?
     
     
  • 4.20, Аноним (-), 12:52, 10/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    > Для больших HPC?

    Больших - это которые под диваном не помещаются?


     
     
  • 5.59, Ю.Т. (?), 07:50, 11/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Ну как-то так, да.
     
  • 2.16, Crazy Alex (ok), 12:02, 10/06/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    Здорово усложняется поддержка - при изменениях в ядре, естественно, не получится... весь текст скрыт [показать]
     
     
  • 3.62, Anonim (??), 10:17, 11/06/2018 [^] [ответить]    [к модератору]  
  • +/
    не нужно костылей. если коллектив не способен адаптировать модуль под "stable kernel api", я сомневаюсь что они способны этот полезный модуль вообще создать.
     
     
  • 4.65, Crazy Alex (ok), 11:25, 11/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Костыли понадобятся потом - чтобы сохранять этот stable kernel API на который... весь текст скрыт [показать]
     
     
  • 5.81, Аноним (-), 07:55, 13/06/2018 [^] [ответить]    [к модератору]  
  • +/
    пример из compat-rdma, compat-wireless, даже в люстре libcfs (и куча configure checks) говорят что это очень даже нужное.
     
  • 1.5, Аноним (-), 10:42, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +11 +/
    Все правильно сделал
     
  • 1.11, iPony (?), 11:03, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Когда что-то исключают из линуксового ядра  - это почти всегда хорошо. А то слишком жирно.
     
     
  • 2.12, Полее (?), 11:18, 10/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Раньше говорили прямо противоположное: *смотрите, в нашем крутом линуксе поддерживается всё и вся из коробки, не то что в этой дохлой винде!11*
    Времена изменились...
     
     
  • 3.17, Crazy Alex (ok), 12:02, 10/06/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    И сейчас говорят. Но это ж iPony...
     
  • 3.29, demimurych (ok), 14:57, 10/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Покажи мне винду где хотя бы на словах поддреживался Lustre или что то подобное
     
     
  • 4.40, Аноним (-), 18:21, 10/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Ну теперь и линукс не поддерживает, наконец-то догнал вендус по фичам.
     
  • 4.86, Аноним (-), 12:28, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    проект WINC - windows native client Существовал в Sun до покупки его Oracle То... весь текст скрыт [показать]
     
  • 2.14, Аноним (-), 11:26, 10/06/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    Чего жирно? ФС, работающая с обычными файлами, всегда модулем оформлена. Не нужна - не загружай.
     
  • 1.18, Аноним (-), 12:02, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +9 +/
    На пятый год Орлиный Глаз... Все таки Грег гораздо мягче Линуса.
     
     
  • 2.33, Аноним (-), 15:51, 10/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Это еще неизвестно. Линус обычно ругает или, в крайнем случае, показывает фак с трибуны, а Грег просто идет и выносит твой код из ядра.
     
     
  • 3.35, arisu (ok), 17:01, 10/06/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    вообще-то он кучу раз тыкал их носом, и даже патчи за них делал. а они решили, что теперь грег так и будет за них до конца времён всё чистить. ну, пусть попробуют с линусом такую штуку провернуть теперь, будет весело.
     
     
  • 4.80, Аноним (-), 21:09, 12/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    и кучу раз делали патчи в ядре - не задумываясь что есть что-то в stageing Отде... весь текст скрыт [показать]
     
  • 1.41, Адекват (ok), 18:31, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    я все правильно понял ?
    > кода кластерной файловой системы Lustre, которая применяется на 70% из 100 крупнейших кластеров

    И эту файловую систему, которая применяется на 70% крупнейших кластеров выкинут ?

     
     
  • 2.43, JL2001 (ok), 18:36, 10/06/2018 [^] [ответить]     [к модератору]  
  • +4 +/
    неправильно вы поняли, не применяется ЭТА версия, которую выкинут ... весь текст скрыт [показать]
     
     
  • 3.63, kvaps (ok), 10:23, 11/06/2018 [^] [ответить]     [к модератору]  
  • +/
    ЕМНИП, в составе ядра был только клиент, он работает во всех дистрибутивах, и по... весь текст скрыт [показать]
     
     
  • 4.78, Аноним (-), 19:52, 12/06/2018 [^] [ответить]    [к модератору]  
  • +/
    собираются модули под ubuntu, suse, redhat.
    А исходники есть в дебиан и arch.
     
  • 4.82, Аноним (-), 08:02, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    btw не путайте божий дар с яшницей - плиз правильнее сказать иначе ldiskfs э... весь текст скрыт [показать]
     
     
  • 5.84, kvaps (ok), 11:09, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Имел ввиду что в проекте zfs on linux уже есть все необходимые патчи для запуска... весь текст скрыт [показать]
     
     
  • 6.85, Аноним (-), 12:23, 13/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Блин Ну ZVOL это контейнер с транзакциями, большего люстре и не надо при некот... весь текст скрыт [показать]
     
     
  • 7.87, kvaps (ok), 13:07, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Ну в анонсах zfs on linux на опеннете об этом часто упоминается как и changelog ... весь текст скрыт [показать]
     
     
  • 8.88, Аноним (-), 16:00, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Нужно найти того кто писал и попросить адрес драг-диллера Трава у него видать к... весь текст скрыт [показать]
     
     
  • 9.89, kvaps (ok), 17:18, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Да, была идея поднять две lustre и синхронизировать изменения между ними Так ка... весь текст скрыт [показать]
     
     
  • 10.90, Аноним (-), 17:35, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Зависит - хватит ли вам одного сервера для хранения данных Люстра это в первую ... весь текст скрыт [показать]
     
     
  • 11.91, kvaps (ok), 18:54, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Кажется мы друг друга немного недопоняли Серверов по прежнему планируется мно... весь текст скрыт [показать]
     
     
  • 12.92, Аноним (-), 06:03, 14/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Возможно, я привык оперировать слегка другими задачами Дело не в количестве нод... весь текст скрыт [показать]
     
     
  • 13.93, kvaps (ok), 06:36, 14/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Ещё раз огромное спасибо за ваши комментарии и за ваш опыт!
     
     
  • 14.96, Аноним (-), 19:17, 14/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    не за что, рад если это чем-то помогло.
     
  • 2.45, arisu (ok), 18:59, 10/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    > я все правильно понял ?

    нет. ты даже не смог прочитать новость — какое там «понимание»…

     
     ....нить скрыта, показать (15)

  • 1.42, JL2001 (ok), 18:35, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    //offtop
    подскажите что сейчас стоит использовать linux в качестве "распределённого raid1/5/6" на два компа (в соседних комнатах)?
    и как такое принято делать?
     
     
  • 2.44, Аноним (-), 18:50, 10/06/2018 [^] [ответить]    [к модератору]  
  • +/
    а куда ты собрался распределять 5 и 6 по двум узлам? зеркало - два таргета iscsi  объединить через mdadm
     
     
  • 3.46, JL2001 (ok), 19:08, 10/06/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    ещё есть ноут даже два цель - домашняя защита от вылета диска ну и ноут могут... весь текст скрыт [показать]
     
     
  • 4.48, kvaps (ok), 19:44, 10/06/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    В вашем кейсе смысла в сетевом raid нет. Нужна репликация на уровне файлов.
    Я бы предложил syncthing или resilio.
     
     
  • 5.51, JL2001 (ok), 21:17, 10/06/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    мне бы прозрачно для юзерских программ и, желательно, с блокировкой до получения... весь текст скрыт [показать]
     
     
  • 6.52, kvaps (ok), 22:44, 10/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Не совсем, скорее как торрент только для синхронизации файлов Блокировку не пре... весь текст скрыт [показать]
     
  • 4.49, Аноним (-), 19:46, 10/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    glusterfs, только надо призадуматься планированием размещения её кусков и кворум... весь текст скрыт [показать]
     
  • 4.54, Аноним (-), 22:55, 10/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Я в похожем случае собирался поиграться с Тахо (Tahoe, как озеро), но решил что классической бэкап на основе Бакулы мне подойдёт больше, чем репликация.
     
  • 2.60, Аноним (-), 09:16, 11/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Gluster. Он глючный и тормозной, но под файлшару нормально.
     
     
  • 3.69, Ed (??), 13:26, 11/06/2018 [^] [ответить]    [к модератору]  
  • +/
    > Gluster. Он глючный и тормозной, но под файлшару нормально.

      Это вы о чем ? Может просто научиться читать документацию ? ;-)
    Он работает в составе RHEV, не стоит говорить такие глупости.

     
     
  • 4.70, Аноним (-), 13:43, 11/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Дополню его мысль: он глючный, тормозной, но пользоваться вполне можно. Особенно когда rhev сам чототам в тихаря оркестрирует и прячет косяки.
     
     
  • 5.71, Ed (??), 13:51, 11/06/2018 [^] [ответить]    [к модератору]  
  • +/
      Достойный ответ :)
     
  • 1.47, Аноним (-), 19:13, 10/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    А чем нынче можно пошарить файлы между несколькими серверами в разных ДЦ, в т.ч. одним виндовым хостом? По возможности чтобы секурность была средствами ФС, без наворачивания поверх VPN
     
     
  • 2.50, DeerFriend (?), 21:03, 10/06/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    Ceph/gluster
    Для виндузей отдельный iscsi/samba шлюз.
     
  • 2.55, kvaps (ok), 23:02, 10/06/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Ну WebDAV например, хотя зависит от конкретных задач А в чем сложность наворачи... весь текст скрыт [показать]
     
  • 2.105, Вася (??), 14:21, 20/06/2018 [^] [ответить]    [к модератору]  
  • +/
    https://www.beegfs.io последнее время хвалят
     
  • 1.56, Старый одмин (?), 01:15, 11/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    dkms модули, не?
     
     
  • 2.66, Аноним (-), 11:36, 11/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    И как дкмс поможет с кривизной кода, фидорасенька юная?
     
     
  • 3.72, Старый одмин (?), 14:42, 11/06/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Так, что это перестанет быть болью инженеров из Linux Foundation.
     
  • 1.64, anonymous (??), 10:52, 11/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –3 +/
    Лучше бы btrfs выкинули.
     
     
  • 2.73, Старый одмин (?), 14:44, 11/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Зря ты так. У меня на VPS серверах она используется. Как бы я выполнял горячее резервное копирование без неё, даже не знаю. Не платить же операторам за снапшоты, которые в том же датацентре хранятся.
     
     
  • 3.74, Crazy Alex (ok), 18:13, 11/06/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    lvm thin volumes
     
  • 1.67, Ed (??), 13:09, 11/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
      При существующих стабильных проектах Gluster и  Ceph, думаю никто
    не будет печалится о Lustre, которая пишется разработчиками из под
    палки.
     
     
  • 2.79, Аноним (-), 21:07, 12/06/2018 [^] [ответить]     [к модератору]  
  • +/
    хм а можно развернуть из под палки Особенно если посмотреть что основные л... весь текст скрыт [показать]
     
     
  • 3.94, Аноним (-), 15:30, 14/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Ну новость о том, что они не хотят ничего коммитить, будто их не кормят и насилу... весь текст скрыт [показать]
     
     
  • 4.98, Аноним (-), 07:42, 16/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Ох вот уж эти красно новость совсем не о том Новость о том что 1 Когда ... весь текст скрыт [показать]
     
     
  • 5.99, arisu (ok), 17:51, 16/06/2018 [^] [ответить]    [к модератору]  
  • +/
    короче, как обычно: никто не хочет забесплатно поддерживать ненужную им коммерческую фиготень. хнык-хнык.
     
     
  • 6.100, Аноним (-), 15:55, 17/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Хнык-Хнык это вы уж придумали По себе судите думаю если не нужную коммерческу... весь текст скрыт [показать]
     
  • 2.83, Аноним (-), 08:07, 13/06/2018 [^] [ответить]     [к модератору]  
  • +/
    btw вы видели Ceph, Cluster на 2000 нодах с данными общий объем 20P и выше и ... весь текст скрыт [показать]
     
     
  • 3.95, Аноним (-), 15:32, 14/06/2018 [^] [ответить]     [к модератору]  
  • +/
    gt оверквотинг удален пользуюсь glusterfs напрямую, без fuse, чего и всем жела... весь текст скрыт [показать]
     
     
  • 4.97, Аноним (-), 19:19, 14/06/2018 [^] [ответить]     [к модератору]  
  • +/
    gt оверквотинг удален на 10-20 тыс клиентов вот обещают что в OKR их будет 10... весь текст скрыт [показать]
     
     ....нить скрыта, показать (8)

  • 1.68, бедный буратино (ok), 13:11, 11/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    Люстрировали...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor