> Например, вот это https://github.com/ceph/ceph/tree/master/systemd - в особенности то, как оно интегрируется с udev - на порядок сложнее LeoFS. Что "вот это"? Список юнитов systemd вас испугал, или наличие *готовых* (вам велосипедить не надо) юнитов в продукте является отягчающим обстоятельством? А зачем вы туда вообще полезли, что бы пугать детишек?
Вам для эксплуатации в базовом комплекте нужно знать только про ceph-osd@.service и про ceph-mon@.service. И то, на уровне "у них есть команды stop, start, restart". Как оно внутри работает с udev, linux kernel, ктулху и прочим вас вообще не должно колыхать. Нас во всяком случае не трогает, потому что оно "просто работает".
> Там 3 простых типа узла, для (продакшен!) настройки каждого достаточно прописать или поменять 3-4 строки в конфиге и все будет работать как часы
Ceph внезапно два типа узла (я про это уже писал), в настройках вообще ничего можно не менять если собираете наколенный кластер для хранения нескольких тер данных на 3-5 нодах. Сетапите по инструкции и используете закрыв глаза. И даже будет отказоустойчиво.
> А вот вам вопрос на засыпку: в руководстве по установку Ceph написано "отключите selinux".
А давайте мы будем обсуждать исходные претензии к СХД и тому как оно "плохо/сложно" работает и какие у него проблемы, а не тот вопрос который вам показался удобным что бы уйти от неудобной ситуации. (но вообще вы в очередной раз передёргиваете, к сожалению http://docs.ceph.com/docs/kraken/start/quick-start-preflight...)
> данные не чексаммятся и при наличии одной копии объекта оно даже не знает, корректная ли она - не смущает?
Вообще-то знает. Вы очевидно читали что я написал по диагонали и потому ничего не поняли. Более того, есть механизм (deep) scrub, но про него вы видимо тоже ничего не знаете. Проводить краткую лекцию по Ceph не собираюсь, но обращаю внимание что вы опять уходите от прямого вопроса: какие конкретно были проблемы и почему они были с вашей ТЗ не решаемы и якобы упирались в деньги?
> Вот в LeoFS ...
Рад за них, и никому не говорю что "плохо, не используйте!", потому что ничего о нём не знаю. И советую вам делать то же самое - не рассуждать о том в чём не разбираетесь.
> Т.е. утверждение на оф. сайте, что CephFS тот же NOT PRODUCTION READY это ок? Или то, что сам Ceph открыто предлагают ставить на Btrfs, который и сам по себе разваливается - это ок?
Оба этих сильных заявления выявляют необходимость актуализации ваших представлений о Ceph и том что они официально рекомендуют. ;-)
> В 2014 году
Ясно. Делать столь сильные заявления в IT базируясь на 3-4летнем опыте. Это действительно сильно и смело. Только неразумно.
> Но дело тут вот в чем. Вы посмотрите, как внутри хранит данные LeoFS.
Да нет же, не буду я ваших слонов покупать, мне и со своими хорошо. Уймитесь!
> А для Ceph есть и нюансы с ФС, которая под хранилищем
Нюанс там один, и он очень сложный для адекватного админа - ФС должна быть пригодна для хранения большого объёма данных. Да, наверное если поставить на ext2 то будут "нюансы", но это явный приступ героизма.
> Судя по документации, так делать категорически нельзя.
Странную вы какую-то документацию читаете.
В сухом остатке имеем один пункт который реально можно подтвердить - отсутствие той самой высокоуровневой репликации, на которую у разработчиков Ceph затачивания явно не было. Но в описаной вами ситуации использования Ceph через RBD вам она ничем не помогла бы.
Все остальные проблемы выглядят мягко говоря слегка надумаными.
> а Ceph несколько лет как не интересуюсь.
Ну так и не стоит делать выводов в духе "там всё сложна-ломается" и тут же сравнивать с тем что вы используете те же N лет и потому знаете как облупленное.
Именно об этом посыл предыдущего мессаджа, да и этого. Не стоит пытаться выглядеть авторитетным там где вы таковым не являетесь, в конце концов нельзя быть авторитетным во всём, но нормальный специалист от этого страдать не должен.
> Так что не надо спрашивать меня про Ceph
Так не надо про него рассказывать небылицы которые может и были актуальны, но несколько лет назад.
А вот теперь, более конструктивно о теме топика, коли вы выступаете как человек который хорошо в нём разбирается.
В двух словах - потенциально можно загнать туда несколько сот Тб видеофайлов, при условии что со свежими файлами постоянно идёт работа (редактирование) и к ним нужен Posix FS доступ, а старые могут в рандомном порядке запрашиваться пользователем. И в ситуации "один ЦОД лёг" не получить тыкву в данных или split brain после восстановления?
