Исходное сообщение
"Первый релиз wZD 1.0.0, сервера компактного хранения мелких ..." Отправлено syslinux, 21-Янв-20 17:12
> нет, мне было интересно именно для moose до переноса всего в архивы > - чтобы понимать, на каких масштабах оно таки лопается. > 250миллионов файликов = 75G оперативы, я правильно понял? > А что при этом происходило на металоггере, или вы ими не пользовались? Да, все верно. Изначально был, потом убрал, чтобы он диски SSD мне не убивал. Не вспомню как он работал, когда было 150млн файлов, но в память точно все помещалось. У меня по 128GB было на серверах, где была пара металоггеров. Теперь вернул естесственно обратно. Я думаю MooseFS то не лопнет и на 500млн файлов, но при условии что у вас будет порядка 30-50млн подпапкок, где файлов по 10-1000 примерно, но все равно скорость то будет помедленнее. А вот если у вас 500млн файлов и 1млн подпапок всего, тогда это все будет уже гораздо хуже работать. Ведь MooseFS создает индексы частями в памяти чтобы искать сразу по нужным массивчикам. Чем меньше папок и больше файлов, тем больше сами массивы, тем хуже все работает. Но я уже не рискнул бы доводить до таких объемов у себя, просто потому что и запускается дольше и CRC долго чекает итп итд.