Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

OpenNews: Кластерная ФС Lustre портирована под FUSE, opennews (?), 13-Фев-07, (0) [смотреть все] А кто-нить сравнивал работу существующих распределенных ФС Laster и Coda, напри, HounD (?), 10:17 , 13-Фев-07, (1)   // Не думаю Мало кто этим пользуется Хотя я бы хотел посмотреть такой обзор , fresco (??), 10:28 , 13-Фев-07, (2)   Я использовал коду на двух компах Работает она очень тормазно, это мое субъект, ltyp (??), 11:15 , 13-Фев-07, (3)   // 6 железок из top10 http top500 org lists 2006 11 используют lustre , Аноним (4), 12:11 , 13-Фев-07, (4)   есть ограничения, к примеру выше 10к клиентов не очень хорошо чувствует себя Но , Алексей (??), 12:17 , 13-Фев-07, (5)   // А что скажете про AFS , sauron (??), 12:54 , 13-Фев-07, (6)   про OpenAFS наверно ничего не скажу - на сайте 0 документации по архитектуре, а, Алексей (??), 15:18 , 13-Фев-07, (9)   AFS не совсем сюда - не той породы Lustre - кластерная ФСAFS - сетевая ФС Если п, johnjoy (??), 03:20 , 14-Фев-07, (11)   помоему ты ошибаешся Это Google FS RedHat GFS в люстре оперируют понятием , Алексей (??), 08:44 , 14-Фев-07, (13)   спасибо за правку да, несколько неверно выразил привычка к hadoop Речь больше, johnjoy (??), 13:27 , 14-Фев-07, (15)   насколько мне известно в случае lustre такого не делают достаточно сильная - ибо, Алексей (??), 08:34 , 15-Фев-07, (17)   А что можете сказать про gfarm Планируем использовать его для распределенного х, gfarm (?), 13:33 , 13-Фев-07, (7) // К сожалению, люстра и бсд несовместимы Вообще, был отличный отзыв о продакшн исп, johnjoy (??), 04:45 , 14-Фев-07, (12) // 1 fuse может работать под BSD и под MacOS X 2 в свете вылизывания lustre patch, Алексей (??), 08:48 , 14-Фев-07, (14) // да, меня опять тянет на унификацию а в роадмапе с поддержкой бсд - грустно , johnjoy (??), 13:30 , 14-Фев-07, (16) думаю будут заказы или интуазисты - будет сделано , Алексей (??), 08:47 , 15-Фев-07, (18) интереснонужно пробовать, _Nick_ (ok), 14:14 , 13-Фев-07, (8) // не нужно по проспектам на грузовых поездах не ездят , Аноним (4), 18:49 , 13-Фев-07, (10) А поставил ли кто-нить люстру под БСД, а точнее под ФриБСД Не получается скомпил, Zed (??), 12:31 , 15-Фев-07, (19) 1,7,8,19

Сообщения

[Сортировка по времени | RSS]

1. "Кластерная ФС Lustre портирована под FUSE"	+/–
Сообщение от HounD (?), 13-Фев-07, 10:17
А кто-нить сравнивал работу существующих распределенных ФС? Laster и Coda, например?
Ответить | Правка | Наверх | Cообщить модератору

	2. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от fresco (??), 13-Фев-07, 10:28
	Не думаю. Мало кто этим пользуется. Хотя я бы хотел посмотреть такой обзор.
	Ответить | Правка | Наверх | Cообщить модератору

	3. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от ltyp (??), 13-Фев-07, 11:15
	Я использовал коду на двух компах... Работает она очень тормазно, это мое субъективное мнение. загрузка ЦП иногда достигает чуть-ли не придела. Следует пробовать Lustre, по крайней мере, как они говорят она отлично масштабируется, да и её использует HP в своих storageworks'ах, а это уже о чем-то говорит.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	4. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от Аноним (4), 13-Фев-07, 12:11
	6 железок из top10 ( http://top500.org/lists/2006/11 ) используют lustre.
	Ответить | Правка | Наверх | Cообщить модератору

	5. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от Алексей (??), 13-Фев-07, 12:17
	есть ограничения, к примеру выше 10к клиентов не очень хорошо чувствует себя. Но я думаю у 99% юзеров 10к клиентов не будет :) Во всяком случае сейчас IMHO, это лучшая сетевая FS из существующих.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	6. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от sauron (??), 13-Фев-07, 12:54
	А что скажете про AFS?
	Ответить | Правка | Наверх | Cообщить модератору

	9. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от Алексей (??), 13-Фев-07, 15:18
	про OpenAFS наверно? ничего не скажу - на сайте 0 документации по архитектуре, а копать исходники не хочется. хотя приятно что у OpenAFS есть порт на Win32, что не закончено у люстры.
	Ответить | Правка | Наверх | Cообщить модератору

	11. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от johnjoy (??), 14-Фев-07, 03:20
	AFS не совсем сюда - не той породы. Lustre - кластерная ФС AFS - сетевая ФС. Если подробнее - то AFS относится примерно к тому классу, в котором сидят NFS, SMB, и win2K3 DFS. Основная их задача - качественный доступ к различным (раскиданным по сети) ресурсам, с соблюдением блокировок и напором на контроль доступа и централизованное управление. Здесь четко прослеживается модель "клиент-сервер" - большинство участников сетовой ФС являются клиентами, а под шары выделяются чаще отдельные серваки. С точки зрения производительности для такой ФС критериями являются пропускная способность сервер-клиент и количество поддерживаемых коннектов. Масштабируется такая ФС вертикально - более шустрым железом. Надежность тоже поддерживается на уровнях ниже сетевой ФС (RAID, репликация средствами ОС и администратором 24/7 на мобильном =) Кластерных ФС мзвестных негусто - навскидку Lustre, Google FS (+Hadoop), что-то было у IBM. Отличительная особенность - все участники ФС унифицированы и являются и серверами и клиентами ФС (это имеенно особенности реализации, конечно же можно и настроить для работы как "несколько серверов - много клиентов", но преимуществ в этом случае не получите, скорее наоборот) Обычный принцип действия - работа на уровне блоков: разбитый на блоки файл "размазывается" по нескольким серверам, при его чтении клиент сам собирает блоки в файл. Критерии оценки таких ФС - общая пропускная способность ФС кластера (то есть скока гб/с крутится в пределах кластера) и латентность (задержка между запросом файла и его получением). Также тут важна надежность - все блоки реплицируются на уровне ФС, вылет нода не сказывается на работе кластера. ФС этого класса очень разные. Lustre заточнена под hiperf вычисления с низкой латентностью, посему пользуют что-нить типа InfiniBand и нестандартные MPI. Люстра замонтированая представляет из себя слегка урезaную ext3. Google FS и Hadoop - вообще с классической точки зрения не ФС, ибо ничего не монтируют а предоставляют RPC API для разработчиков. Рассчитаны они на гигантские объемы информации, работу в основном на чтение большими блоками (в мегабайтах, стандартный блок такой ФС - 32-64Мб) и в очень больших количествах. Также есть shared storage FS - эти нужны при работе нескольких (многих) серверов с внешними дисковыми массивами. Основная задача - обеспечить быструю и правильную блокировку совместного доступа (via SAN, iSCSI, SCSI). Без них фактически каждый сервер должен работать со своим личным выделенным на массиве разделом. Из известных - GFS от RedHat, Oracle Cluster File System, PolyServe и Veritas CFS. В общем, тут выбор ФС намного сильнее зависит от задачи, по сравнению с выбором между ext3/reiser4 =) Если где ошибся, поправьте =) да, некая сборная инфа есть здесь: http://en.wikipedia.org/wiki/List_of_file_systems#Distribute...
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	13. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от Алексей (??), 14-Фев-07, 08:44
	>Кластерных ФС мзвестных негусто - навскидку Lustre, Google FS (+Hadoop), что-то было >у IBM. >Отличительная особенность - все участники ФС унифицированы и являются и серверами и >клиентами ФС (это имеенно особенности реализации, конечно же можно и настроить >для работы как "несколько серверов - много клиентов", но преимуществ в >этом случае не получите, скорее наоборот) помоему ты ошибаешся... >Обычный принцип действия - работа на уровне блоков: разбитый на блоки файл >"размазывается" по нескольким серверам, при его чтении клиент сам собирает блоки >в файл. Это Google FS & RedHat GFS.. в люстре оперируют понятием объект. >ФС этого класса очень разные. Lustre заточнена под hiperf вычисления с низкой >латентностью, посему пользуют что-нить типа InfiniBand и нестандартные MPI. Люстра замонтированая >представляет из себя слегка урезaную ext3. ext3 был только для 2.4 ядер, для 2.6 используется ldiskfs которая значительно ближе к ext4. >Также есть shared storage FS - эти нужны при работе нескольких (многих) >серверов с внешними дисковыми массивами. Основная задача - обеспечить быструю и >правильную блокировку совместного доступа (via SAN, iSCSI, SCSI). Без них фактически >каждый сервер должен работать со своим личным выделенным на массиве разделом. >Из известных - GFS от RedHat, Oracle Cluster File System, PolyServe >и Veritas CFS. RedHat GFS вобще странная FS - раздает raw девайс и пытается рулить блокировками на уровне блоков, без учета логической организации.
	Ответить | Правка | Наверх | Cообщить модератору

	15. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от johnjoy (??), 14-Фев-07, 13:27
	спасибо за правку >>Кластерных ФС мзвестных негусто - навскидку Lustre, Google FS (+Hadoop), что-то было >>у IBM. >>Отличительная особенность - все участники ФС унифицированы и являются и серверами и >>клиентами ФС (это имеенно особенности реализации, конечно же можно и настроить >>для работы как "несколько серверов - много клиентов", но преимуществ в >>этом случае не получите, скорее наоборот) >помоему ты ошибаешся... да, несколько неверно выразил (привычка к hadoop). Речь больше идет об унификации параллельных oss. Однако в кластерах имеет смысл использовать их же как вычислительные ноды/клиенты. >>Обычный принцип действия - работа на уровне блоков: разбитый на блоки файл >>"размазывается" по нескольким серверам, при его чтении клиент сам собирает блоки >>в файл. >Это Google FS & RedHat GFS.. в люстре оперируют понятием объект. Да, так и есть ) хотя разница не столь катастрофична. >>ФС этого класса очень разные. Lustre заточнена под hiperf вычисления с низкой >>латентностью, посему пользуют что-нить типа InfiniBand и нестандартные MPI. Люстра замонтированая >>представляет из себя слегка урезaную ext3. >ext3 был только для 2.4 ядер, для 2.6 используется ldiskfs которая значительно >ближе к ext4. принято
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Кластерная ФС Lustre портирована под FUSE"	+/–
	Сообщение от Алексей (??), 15-Фев-07, 08:34
	>да, несколько неверно выразил (привычка к hadoop). Речь больше идет об унификации >параллельных oss. Однако в кластерах имеет смысл использовать их же как >вычислительные ноды/клиенты. насколько мне известно в случае lustre такого не делают. >>>Обычный принцип действия - работа на уровне блоков: разбитый на блоки файл >>>"размазывается" по нескольким серверам, при его чтении клиент сам собирает блоки >>>в файл. >>Это Google FS & RedHat GFS.. в люстре оперируют понятием объект. >Да, так и есть ) хотя разница не столь катастрофична. достаточно сильная - ибо сказывается на операциях с metadata. в лучае RedHat GFS ты получаешь практически включенный режим sync на файловой системе - что при числе нодов больше 4-8 дикий тормоз.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема