Исходное сообщение
"FreeBSD Foundation профинансирует доработку DIFFUSE и..." Отправлено Wulf, 30-Сен-11 12:52
> Вкатить 1 х 100Мб кусок в любом случае оптимальнее чем порядка 800 кусков для того же самого делать. Вкатить 1 х 100Мб кусок - Это сфероконь в вакууме. В реальности основные задачи, как раз наоборот, регулярно вкатывать куски по 100Кб. Могу их Вам перечислить: - Перезаписать в произвольном месте файла кусок 8-16Кб (базы данных) - Дописать в конец файла несколько десятков килобайт (логи) - создать и удалить в некоем каталоге несколько десятков - сотен файлов средним размером около 100Кб (кеширование, например, почты, веба или чего-либо подобного) Ряд можно продолжать. Приведите plz, пример полезной загрузки, когда нужно постоянно писать по 100Мб? Файлопомойка студенческой общаги? И да, посчитайте как в вышеупомянутых задачах будут вести себя 100Мб экстенты. Напоминаю про COW, экстенты нельзя править, только записывать заново. Да, кстати, можно и оверхед посчитать для 128кб экстентов и 100Мб файла. Нам надо записать в метадату 800 экстентов. В теории ФС, каждый экстент представляет из себя 2 числа: смещение от начала и длину. Отведем под смещение ZFS-ные 128бит, т.е. 16байт, добавим еще байт на длину (она кратна 512б в ZFS), ок. уложим длину в 4 байта, на всякий случай. Итого 20байт - экстент. Умножаем на 800. получаем 16Кб. Вспоминаем, что нужно поправить еще некоторое кол-во метаданных: space-maps, uberblock и т.д, поэтому домножим на взятый с запасом с потолка коэффициент 10. получаем 160кб. И вспоминаем, что только что мы записали на диск 100Мб. Оверхед - 0.1% Осталось придумать, как этот оверхед измерить :-) А вот с blocksize 4/8кб от ext2-3, ufs и т.д. оверхед уже вполне заметный. > Я бы сказал что у них объем маркетинга зачастую перевешивал объем здравого смысла. Есть в этом правда. Но про эффективность я читал в блогах разработчиков. Они, в частности некоторые структуры, которые на диске хранятся в виде списков/таблиц, в памяти разворачивают в деревья, тем самым сильно ускоряя обработку метаданных, но, при этом, теряют возможность оперативно подгружать их с диска и вынуждены постоянно держать в памяти. > как у них расчистка места сделана. Плохо искал? что такое расчистка места? Дефрагментация что-ли? Тогда никак

Ваше сообщение
Имя*:
EMail:	Для отправки ответов на email укажите знак ! перед адресом, например, !user@host.ru (!! - не показывать email). Более тонкая настройка отправки ответов производится в профиле зарегистрированного участника форума.
Заголовок*:
Сообщение*:	>> Вкатить 1 х 100Мб кусок в любом случае оптимальнее чем порядка 800 кусков для того же самого делать. > Вкатить 1 х 100Мб кусок - Это сфероконь в вакууме. В реальности > основные задачи, как раз наоборот, регулярно вкатывать куски по 100Кб. Могу > их Вам перечислить: > - Перезаписать в произвольном месте файла кусок 8-16Кб (базы данных) > - Дописать в конец файла несколько десятков килобайт (логи) > - создать и удалить в некоем каталоге несколько десятков - сотен файлов > средним размером около 100Кб (кеширование, например, почты, веба или чего-либо подобного) > Ряд можно продолжать. Приведите plz, пример полезной загрузки, когда нужно постоянно писать > по 100Мб? Файлопомойка студенческой общаги? > И да, посчитайте как в вышеупомянутых задачах будут вести себя 100Мб экстенты. > Напоминаю про COW, экстенты нельзя править, только записывать заново. > Да, кстати, можно и оверхед посчитать для 128кб экстентов и 100Мб файла. > Нам надо записать в метадату 800 экстентов. В теории ФС, каждый > экстент представляет из себя 2 числа: смещение от начала и длину. > Отведем под смещение ZFS-ные 128бит, т.е. 16байт, добавим еще байт на > длину (она кратна 512б в ZFS), ок. уложим длину в 4 > байта, на всякий случай. Итого 20байт - экстент. Умножаем на 800. > получаем 16Кб. Вспоминаем, что нужно поправить еще некоторое кол-во метаданных: space-maps, > uberblock и т.д, поэтому домножим на взятый с запасом с потолка > коэффициент 10. получаем 160кб. И вспоминаем, что только что мы записали > на диск 100Мб. Оверхед - 0.1% Осталось придумать, как этот оверхед > измерить :-) А вот с blocksize 4/8кб от ext2-3, ufs и > т.д. оверхед уже вполне заметный. >> Я бы сказал что у них объем маркетинга зачастую перевешивал объем здравого смысла. > Есть в этом правда. Но про эффективность я читал в блогах разработчиков. > Они, в частности некоторые структуры, которые на диске хранятся в виде > списков/таблиц, в памяти разворачивают в деревья, тем самым сильно ускоряя обработку > метаданных, но, при этом, теряют возможность оперативно подгружать их с диска > и вынуждены постоянно держать в памяти. >> как у них расчистка места сделана. Плохо искал? > что такое расчистка места? Дефрагментация что-ли? Тогда никак
	Введите код, изображенный на картинке: