> Это факт, 3.5 калечные насройки, а самое прикольное что оно кэширует результат

daemon-reload должен это сбрасывать.

> ну тут хз, работает уже сколько лет

гуглить "ceph war story" в окрестностях реддита. Я, увы, не имею доступа к той системе где осталась закладочка. Там все прекрасно - и причина, и эффект, и как разбирались, и как починили - но наиболее прекрасное из именно относящегося к самому ceph - это поиски тех физических носителей из-за которых все навернулось. Шерклокхламс отдыхает.

> Сравнительно недавно выкинули железный сервер на убунте 10 или 12, где был контроллер потока е1

с ними в линуксах исторически было неочень - производители категорически не давали спеки, а желающих воевать тоже не слишком много находилось.

Но тут все проще - энтерпрайзные железяки (то есть такое что производится сотнями тыщ и стоит по всем цодам всего мира), дрова к которым вроде бы даже и нормальные (ну, вот не считая spirious interrupts и отвалов fc потому что линух не умеет нормально в fc) но ты попробуй-ка установись. Вот к примеру убунта при установке - норовит без предупреждения пощупать всю usb-периферию. Ой, и сресетить заодно виртуальную шинку на которой висит образ установочного диска. Потому что она видимо по факту usb, в sata превращается где-то по дороге виртуально. 16 так не делала, вот для нее и сертифицировано.

Что там было с редхатоидами - уже не упомню, но тоже что-то не слава Б-гу, и еще и отвалы xfs по неведомым причинам. (Тоже известная фича, и.. тоже прекрасно лечится виртуализацией вот ровно на той же самой железке)

> осд это которые диск обслуживают

угу. Последствия при отвале сервера с таким цирком - иногда немного превышают ожидания (по сути всегда когда кластер достаточно большой - не уследишь просто).

Угадаешь, что предлагает редхат в качестве основного и рекомендуемого решения? Ну чтоб вот не один диск на сервер (на самом деле - хорошо. но дорого. sas2ethernet коннектор это _хорошо_ пока мы можем их параллельно задействовать МНОГО)
Ой: "а вы ставьте их поверх hardware raid6". Спасибо, ребята, как бы мы без вас...
(Если что, для gluster, который куда меньше чреват сюпризами при такой работе - тем не менее, у них действует та же самая рекомендация. Там, правда, подоплека другая.)