>"одного из osd из строя выполнять rebuild (аналогично как работает raid-5 + горячий резерв)"
>Во-первых ни одного, а даже большего количества, все зависит от количества реплик в системе.

Резвирование репликацией не лучший вариант. Всегда возможна ситуация когда выходят из строя или не доступны все реплики (сразу или по очереди - при этом последная полная реплика умирает до момента полного востановления первой). Это не считая того что 2 стораджа по 10P (сторадж стоящий в Ornl.gov) стоят очень дорого что бы так легко раскидываться местом.

>"Так как обмена "логом изменения" с клиента на osd - не предусмотрена дизайном."
>Какой лог изменений? Нахрен он нужен?

Разберитесь в архитектуре FS, а покачто спрячьте свои пальцы - а то ведь отломают.
для локальных FS - это называется журналом. в Ceph в приведенном фрагменте это называет "recent pgA log entries".

остальной бред скипнут. Когда разберетесь как работает этот тип FS - приходите - поговорим.