форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Информационная безопасность (Public)
Изначальное сообщение		[ Отслеживать ]

"Аналоги Google File System?"		+/–
Сообщение от alexrn (ok) on 21-Янв-10, 09:49
Приветствую, Не подскажите бесплатные и доступные аналоги Google File System? Стоит задача найти решение с файловой системой, которая работает наподобие RAID1, только over network. То есть, к примеру есть 3 сервера на которых есть одинаковые разделы с такой файловой системой, и при записи на любом из серверов на такой раздел все данные реплицируются-дублируются на все сервера которые сконфигурированы в группу этой файловой системы. Тобишь если один из серверов выходит из строя, мы все данные имеем на других серверах, как только добавляется или заменяется сервер в этой группе на нем также появляются все данные, которые пока на других серверах. Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный вебсайт, у каждого веб сайта своя БД), но директория с базами данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х серверах. Так при записи в БД на любом из серверов, эта БД дублируется со всеми остальными серверами. Таким образом, при сбое одного из серверов мы не теряем данные. Как только мы меням полетевший сервер и настраиваем на нем эту ФС, все данные MySQL появляются сразу и на этом сервере. Не подходят варианты с мастер серверами. Основная задача как я и написал придерживаться технологии Google FS. Все серверы соеденены в очень быструю сеть. Спасибо.
Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Аналоги Google File System?"		+/–
Сообщение от Michael (??) on 21-Янв-10, 10:04
> >Проще. Стоит 3 сервера, на всех 3х серверах к примеру крутится сервис >MySQL, которым пользуются совсем разные веб сайты (на каждом сервере отдельный >вебсайт, у каждого веб сайта своя БД), но директория с базами >данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х >серверах. Так при записи в БД на любом из серверов, эта >БД дублируется со всеми остальными серверами. Таким образом, при сбое одного >из серверов мы не теряем данные. Как только мы меням полетевший >сервер и настраиваем на нем эту ФС, все данные MySQL появляются >сразу и на этом сервере. это невозможно - писать в один каталог тремя демонами mysql одновременно. как вы себе это вообще представляете?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	4. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 10:07
	>[оверквотинг удален] >>вебсайт, у каждого веб сайта своя БД), но директория с базами >>данных (/var/lib/mysq, станд.) смонтирована на какую либо ФС на всех 3х >>серверах. Так при записи в БД на любом из серверов, эта >>БД дублируется со всеми остальными серверами. Таким образом, при сбое одного >>из серверов мы не теряем данные. Как только мы меням полетевший >>сервер и настраиваем на нем эту ФС, все данные MySQL появляются >>сразу и на этом сервере. > >это невозможно - писать в один каталог тремя демонами mysql одновременно. как >вы себе это вообще представляете? Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался с такими решениями или слышал о них.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	5. "Аналоги Google File System?"		+/–
	Сообщение от Michael (??) on 21-Янв-10, 10:25
	>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался >с такими решениями или слышал о них. в таком случае, если найдете - просвятите сообщество
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	6. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 10:41
	> >>Я слышал, что такие решения есть, поэтому и спрашиваю. Может кто сталкивался >>с такими решениями или слышал о них. > >в таком случае, если найдете - просвятите сообщество Вот нарыл довольно интересное решение, по описание вроде как то, что нужно http://www.furquim.org/chironfs/index.en.html
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Аналоги Google File System?"		+1 +/–
Сообщение от Digen on 21-Янв-10, 10:04
Посмотрите вот этот проeкт: http://hadoop.apache.org/ Hadoop вышел из Open Source проeкта Googel File System. >[оверквотинг удален] >из серверов мы не теряем данные. Как только мы меням полетевший >сервер и настраиваем на нем эту ФС, все данные MySQL появляются >сразу и на этом сервере. > >Не подходят варианты с мастер серверами. Основная задача как я и написал >придерживаться технологии Google FS. > >Все серверы соеденены в очень быструю сеть. > >Спасибо.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	3. "Аналоги Google File System?"		+/–
	Сообщение от another anonymous on 21-Янв-10, 10:06
	glusterfs ?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	7. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 10:43
	>[оверквотинг удален] >>из серверов мы не теряем данные. Как только мы меням полетевший >>сервер и настраиваем на нем эту ФС, все данные MySQL появляются >>сразу и на этом сервере. >> >>Не подходят варианты с мастер серверами. Основная задача как я и написал >>придерживаться технологии Google FS. >> >>Все серверы соеденены в очень быструю сеть. >> >>Спасибо. Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	8. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 10:43
	>[оверквотинг удален] >>из серверов мы не теряем данные. Как только мы меням полетевший >>сервер и настраиваем на нем эту ФС, все данные MySQL появляются >>сразу и на этом сервере. >> >>Не подходят варианты с мастер серверами. Основная задача как я и написал >>придерживаться технологии Google FS. >> >>Все серверы соеденены в очень быструю сеть. >> >>Спасибо. Спасибо. Слышал про нее тоже. Надо разобраться какой под-проект реализует именно то, что мне необходимо. Никто не сталкивался с описаниями данной системы? Типа как пашет и как ставить?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	20. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 04-Фев-10, 19:53
	>[оверквотинг удален] >>из серверов мы не теряем данные. Как только мы меням полетевший >>сервер и настраиваем на нем эту ФС, все данные MySQL появляются >>сразу и на этом сервере. >> >>Не подходят варианты с мастер серверами. Основная задача как я и написал >>придерживаться технологии Google FS. >> >>Все серверы соеденены в очень быструю сеть. >> >>Спасибо. На сколько я понял вся работа с этой системой происходит посредством API самой ФС, а не напрямую.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Аналоги Google File System?"		+/–
Сообщение от semen (??) on 21-Янв-10, 12:19
а не проще ли настроить репликацию?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	10. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 12:43
	>а не проще ли настроить репликацию? Не подскажите каким образом? Используемые ОС CentOS 5.x, проще говоря Linux.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	11. "Аналоги Google File System?"		+/–
	Сообщение от Andrey Mitrofanov on 21-Янв-10, 13:06
	Если Вас отключили от гугля, наберите репликация mysql в своём любимом поисковике?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	12. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 21-Янв-10, 13:08
	>Если Вас отключили от гугля, наберите > >репликация mysql > >в своём любимом поисковике? А, понятно :). Но это просто для MySQL. А если мне к примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов не терять всей этой информации?
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	13. "Аналоги Google File System?"		+/–
	Сообщение от Michael (??) on 21-Янв-10, 15:48
	>примеру нужно также содержать контент веб сайтов - /var/www/vhosts/* и/или почтовые >ящики юзеров /home/vpopmail/domains/* дабы при выходе из строя одного из серверов >не терять всей этой информации? rsync
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	15. "Аналоги Google File System?"		+/–
	Сообщение от shutdown now on 26-Янв-10, 21:50
	http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	19. "Аналоги Google File System?"		+/–
	Сообщение от alexrn (ok) on 04-Фев-10, 19:50
	>http://www.trivadis.com/uploads/tx_cabagdownloadarea/DRBDArt... - попробуй, потом раскажешь Спасибо за совет. Именно на этом решении и остановился. Решение очень серьезное, хорошо поддерживаемое разработчиками и много где используется. Жаль конечно что данное решение ограничено свойством RAID1 то есть не более 2х серверов. Да, есть там поддержка 3 пиров, но было бы идеально если бы поддерживалось неограниченное их число, ну или хотябы просто большое кол-во.
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Аналоги Google File System?"		+/–
Сообщение от alexrn (ok) on 26-Янв-10, 09:24
>[оверквотинг удален] >из серверов мы не теряем данные. Как только мы меням полетевший >сервер и настраиваем на нем эту ФС, все данные MySQL появляются >сразу и на этом сервере. > >Не подходят варианты с мастер серверами. Основная задача как я и написал >придерживаться технологии Google FS. > >Все серверы соеденены в очень быструю сеть. > >Спасибо. Я пока остановился на ChironFS. Также думаю о подключении DAS (Dell MD1000 или MD3000) как альтернатива решению с распределенной ФС. Как думаете, что надежней DAS или решение с этой файловой системой?
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	16. "Аналоги Google File System?"		+/–
	Сообщение от bob253 on 29-Янв-10, 21:49
	> Как думаете, что > надежней DAS или решение с этой файловой системой? Das конечно, а воообще - нормальный сторадж - их куча. Как на сегодня - под iSCSI
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

	17. "Аналоги Google File System?"		+/–
	Сообщение от Alex123 on 29-Янв-10, 22:56
	Может это подойдёт: http://files.calum.org/network-raid.html
	Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Аналоги Google File System?"		+/–
Сообщение от alexrn (ok) on 04-Фев-10, 19:47
Спасибо всем за советы и комментарии. Я остановился на 2х серверах соединенных в шуструю  локальную сеть с использованием DRBD [http://www.drbd.org/]. Разные тесты показали это решение для меня пока лучшим.
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема