>> ceph нужны очень много дисков для производительности.
>> Нормально он начинает работает в конфигурации от 100 дисков.
> ... а по моему товарищщ тут лапшу развешивает :-\
> цепу не столько дисков надо, сколько ... что ему надо товарщщ? Раз
> уж эксперт :) эксперт по ceph? увы) это не ко мне, я пользователь, эксперты сидят в другом месте, даже хотя бы в той же рассылке.
# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 25.29977 root default
-2 5.42995 host с-2-1
9 0.89999 osd.9 up 1.00000 1.00000
12 0.89999 osd.12 up 1.00000 1.00000
15 0.89999 osd.15 up 1.00000 1.00000
0 0.90999 osd.0 up 1.00000 1.00000
3 0.90999 osd.3 up 1.00000 1.00000
6 0.90999 osd.6 up 1.00000 1.00000
-3 5.42995 host с-2-2
10 0.89999 osd.10 up 1.00000 1.00000
13 0.89999 osd.13 up 1.00000 1.00000
16 0.89999 osd.16 up 1.00000 1.00000
1 0.90999 osd.1 up 1.00000 1.00000
4 0.90999 osd.4 up 1.00000 1.00000
7 0.90999 osd.7 up 1.00000 1.00000
-4 5.40996 host с-2-3
5 0.89999 osd.5 up 1.00000 1.00000
8 0.89999 osd.8 up 1.00000 1.00000
11 0.89999 osd.11 up 1.00000 1.00000
14 0.89999 osd.14 up 1.00000 1.00000
17 0.89999 osd.17 up 1.00000 1.00000
2 0.90999 osd.2 up 1.00000 1.00000
-5 5.40996 host с-2-4
18 0.89999 osd.18 up 1.00000 1.00000
20 0.89999 osd.20 up 1.00000 1.00000
24 0.89999 osd.24 up 1.00000 1.00000
26 0.89999 osd.26 up 1.00000 1.00000
28 0.89999 osd.28 up 1.00000 1.00000
22 0.90999 osd.22 up 1.00000 1.00000
-6 3.61996 host с-2-5
27 0.89999 osd.27 up 1.00000 1.00000
29 0.89999 osd.29 up 1.00000 1.00000
19 0.90999 osd.19 up 1.00000 1.00000
21 0.90999 osd.21 up 1.00000 1.00000
root@с-2-3:~#
Это как раз тестовый второй кластер, используется для VM, ceph все хорошо, ровно до тех пор пока данные предсказуемые, а вот потом начинается...
Ceph жрет всю память, сколько ему не дай, кэширует сколько можно, конечно для увеличения производительности можно еще и поставить cache pool на ssd, но как всегда есть нюансы.
К стати, сейчас обсуждаем один момент по поводу ceph, любой чих или вылит диска приводит к знатному ребилду системы, даже на пониженных приоритетах это не сильно приятная вещь. Идем к тому что бы соберать толстые массивы на аппаратных контроллерах и уже этот массив использовать в качестве osd.