forum.opennet.ru - "Требуется решение по синхронизации данных" (9)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Требуется решение по синхронизации данных"

Форумы Открытые системы на сервере (Файловые системы, диски / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Требуется решение по синхронизации данных"		+/–
Сообщение от minidc on 05-Фев-10, 12:35
Имеется сервер 1, на нем поднят дисковый программный райд на 8Тб, на этот сервер несколько служб ссыпают файлы отчетов по NFS протоколу. Постоянно. И хранить их нужно тоже постоянно (по крайней мере в обозримом будущем). Структура для системы хранения такая: в каталоге 256 подкаталогов, в кажом еще по 256 подкаталогов, в них лежат файлы. Таких структур у меня 5. Общее количество файлов в каждой структуре в районе миллиона и прибавляется по 150000 каждый месяц. Теперь момент номер два. Эти файлы только создаются, потом читаются. Т.е. они не могут быть изменены. Файл создается, потом иногда требуется. Я решил организовать такую схему: поднимается второй сервер с таким же объемом места. На него периодами (я думал делать раз в час) делается rsync всего хозяйства с первого сервера. В случает отказа или обслуживания первого сервера, все переключается на второй сервер и работает с ним. Сервера соединены между собой гигабитным линком. Потеря данных в течении часа не критична. Первоначальная синхронизация заняла трое суток. И дальнейшая синхронизация длится около суток. МНе надо как - то ускорит это процесс. А вот как - я не знаю. Т.е. реально у меня файлы только добавляются. Но, ПО котороый работает с хранилищами не может писать сразу в 2 места. Сразу скажу, пробовал связку drbd+OCFS2, но, по неизвестной мне причине происходили постоянные рассинхронизации. Ищу решение, как можно не в реальном (не обязательно а реальном) времение, но достаточно быстро иметь максимально синхронные копии большого количестсва мелких файлов с системой каталогов которую я описал выше с одного сервера на другой. Как вообще специалисты решают такие задачи?
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Требуется решение по синхронизации данных, AlanMakoev, 13:06 , 05-Фев-10, (1)

Требуется решение по синхронизации данных, minidc, 17:41 , 05-Фев-10, (4)

Требуется решение по синхронизации данных, QuAzI, 14:38 , 05-Фев-10, (2)

Требуется решение по синхронизации данных, minidc, 17:40 , 05-Фев-10, (3)

Требуется решение по синхронизации данных, bob253, 12:17 , 06-Фев-10, (5)

Требуется решение по синхронизации данных, Читатель, 15:01 , 07-Фев-10, (6)

Требуется решение по синхронизации данных, iasb, 17:55 , 07-Фев-10, (7)
Требуется решение по синхронизации данных, ШлМимо, 22:40 , 24-Фев-10, (8)

Требуется решение по синхронизации данных, minidc, 17:44 , 27-Фев-10, (9)

Сообщения по теме [Сортировка по времени | RSS]

1. "Требуется решение по синхронизации данных" +/–

Сообщение от AlanMakoev (??) on 05-Фев-10, 13:06

GlusterFS в режиме репликации?
Я в продакшене не юзал, только поигрался - вроде синхронизирует нормально. Правда, большие объёмы не пробовал.
Если решите попробовать - учтите один "нюанс" - писать надо в каталог, который смонтирован на Gluster-клиенте (в том числе и на мастере надо смонтировать через Gluster-клиента его собственный каталог, который реально лежит у него на диске).

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Требуется решение по синхронизации данных" +/–

Сообщение от minidc on 05-Фев-10, 17:41

>GlusterFS в режиме репликации?
>Я в продакшене не юзал, только поигрался - вроде синхронизирует нормально. Правда,
>большие объёмы не пробовал.
>Если решите попробовать - учтите один "нюанс" - писать надо в каталог,
>который смонтирован на Gluster-клиенте (в том числе и на мастере надо
>смонтировать через Gluster-клиента его собственный каталог, который реально лежит у него
>на диске).
Почитал, установил, попробовал. Не знаю что и сказать. На боевой сервер ставить страшно. Т.е. не то чтобы страшно, а не хочется, т.к. никаких рекомендательных писем про эту штуку я не нашел....

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Требуется решение по синхронизации данных" +/–

Сообщение от QuAzI (??) on 05-Фев-10, 14:38

Если дальнейшая синхронизация длится около суток, то вы скорее всего что-то неправильно делаете. Думается мне, вы проверяете для каждого файла контрольную сумму, что при условии что файл никогда не меняется, лишнее, достаточно по умолчанию - дату и размер.
Отключить сжатие передаваемых данных, раз они в локалке. Вообще было бы здорово увидеть настройку сервера и параметры запуска синхронизации.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Требуется решение по синхронизации данных" +/–

Сообщение от minidc on 05-Фев-10, 17:40

>Если дальнейшая синхронизация длится около суток, то вы скорее всего что-то неправильно
>делаете. Думается мне, вы проверяете для каждого файла контрольную сумму, что
>при условии что файл никогда не меняется, лишнее, достаточно по умолчанию
>- дату и размер.
>Отключить сжатие передаваемых данных, раз они в локалке. Вообще было бы здорово
>увидеть настройку сервера и параметры запуска синхронизации.
Сжатия данных нет.
Данные синхронизируются по NFS примонтированной папке.
rsync -r -l -x  --ignore-existing --delete /home/storage1/www/vhosts/  /1/www/vhosts/

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Требуется решение по синхронизации данных" +/–

Сообщение от bob253 on 06-Фев-10, 12:17

>Имеется сервер 1, на нем поднят дисковый программный райд на 8Тб, на
>этот сервер несколько служб ссыпают файлы отчетов по NFS протоколу.
Отлично, известная штука
>Постоянно.
>И хранить их нужно тоже постоянно (по крайней мере в обозримом
>будущем).
>
т.е. это "любительство" или это все-таки нормальный продакшн ? Насколько большие потери если это все навернется безвозвратно ?

>Структура для системы хранения такая: в каталоге 256 подкаталогов, в кажом еще
>по 256 подкаталогов, в них лежат файлы. Таких структур у меня
>5. Общее количество файлов в каждой структуре в районе миллиона и
>прибавляется по 150000 каждый месяц.
ладно, может быть
>
>Теперь момент номер два. Эти файлы только создаются, потом читаются. Т.е. они
>не могут быть изменены. Файл создается, потом иногда требуется.
>
т.е. это WORM ? Write Once Read Many ?
>[оверквотинг удален]
>у меня файлы только добавляются. Но, ПО котороый работает с хранилищами
>не может писать сразу в 2 места.
>
>
>Ищу решение, как можно не в реальном (не обязательно а реальном) времение,
>но достаточно быстро иметь максимально синхронные копии большого количестсва мелких файлов
>с системой каталогов которую я описал выше с одного сервера на
>другой.
>
>Как вообще специалисты решают такие задачи?
На железе
EMC Celerra - c Retension Policy. Протоколы - CIFS, NFS, FTP, iSCSI. Для NX-серии - до 60 дисков.
EMC Centerra - а эта вообще на WORM заточена
Все остальное - голимое любительство, несовместимое с понятием Production в которое включены постоянные поступления на затраты на оборудование, специалистов и обучение этих самых специалистов с одной стороны, а со второй - обязательство неуничтожения данных (непрерывность бизнеса).

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Требуется решение по синхронизации данных" +/–

Сообщение от Читатель on 07-Фев-10, 15:01

>>Постоянно.
>>И хранить их нужно тоже постоянно (по крайней мере в обозримом
>>будущем).
>>
>
>т.е. это "любительство" или это все-таки нормальный продакшн ? Насколько большие потери
>если это все навернется безвозвратно ?
Оценить потери в деньгах я не могу, я сисадмин, данными не владею, думаю что будут, но не фатальные.
Это не любительство, это надо не дома а в конторе, но требуется решение для бедных. Реально денег нет.
>т.е. это WORM ? Write Once Read Many ?
>
Да.
>
>На железе
>
>EMC Celerra - c Retension Policy. Протоколы - CIFS, NFS, FTP, iSCSI.
>Для NX-серии - до 60 дисков.
>EMC Centerra - а эта вообще на WORM заточена
Дорого.
>
>Все остальное - голимое любительство, несовместимое с понятием Production в которое включены
>постоянные поступления на затраты на оборудование, специалистов и обучение этих самых
>специалистов с одной стороны, а со второй - обязательство неуничтожения данных
>(непрерывность бизнеса).
Допускаю, но нужно  таком случае "надежное любительское решение". Нету денег. Потому и райд софтовый.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Требуется решение по синхронизации данных" +/–

Сообщение от iasb (ok) on 07-Фев-10, 17:55

>Допускаю, но нужно  таком случае "надежное любительское решение". Нету денег. Потому
>и райд софтовый.
посмотри HP LeftHand. Virtual SAN. На ОФ сайте есть вмварные образы.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Требуется решение по синхронизации данных" +/–

Сообщение от ШлМимо on 24-Фев-10, 22:40

я не знаю как это в продакшене, но вообще есть
http://ru.wikipedia.org/wiki/Inotify
обрати внимание на IN_CLOSE_WRITE и ставь в очередь на копирование сразу по его получению. имхо дёшего и сердито, надеюсь идея поможет :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Требуется решение по синхронизации данных" +/–

Сообщение от minidc on 27-Фев-10, 17:44

>я не знаю как это в продакшене, но вообще есть
>http://ru.wikipedia.org/wiki/Inotify
>обрати внимание на IN_CLOSE_WRITE и ставь в очередь на копирование сразу по
>его получению. имхо дёшего и сердито, надеюсь идея поможет :)
Пробовал, но там структура каталогов такая - что замучаюсь с этим

поставил glusterfs вполне доволен.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Требуется решение по синхронизации данных"		+/–
Сообщение от AlanMakoev (??) on 05-Фев-10, 13:06
GlusterFS в режиме репликации? Я в продакшене не юзал, только поигрался - вроде синхронизирует нормально. Правда, большие объёмы не пробовал. Если решите попробовать - учтите один "нюанс" - писать надо в каталог, который смонтирован на Gluster-клиенте (в том числе и на мастере надо смонтировать через Gluster-клиента его собственный каталог, который реально лежит у него на диске).
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	4. "Требуется решение по синхронизации данных"		+/–
	Сообщение от minidc on 05-Фев-10, 17:41
	>GlusterFS в режиме репликации? >Я в продакшене не юзал, только поигрался - вроде синхронизирует нормально. Правда, >большие объёмы не пробовал. >Если решите попробовать - учтите один "нюанс" - писать надо в каталог, >который смонтирован на Gluster-клиенте (в том числе и на мастере надо >смонтировать через Gluster-клиента его собственный каталог, который реально лежит у него >на диске). Почитал, установил, попробовал. Не знаю что и сказать. На боевой сервер ставить страшно. Т.е. не то чтобы страшно, а не хочется, т.к. никаких рекомендательных писем про эту штуку я не нашел....
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

2. "Требуется решение по синхронизации данных"		+/–
Сообщение от QuAzI (??) on 05-Фев-10, 14:38
Если дальнейшая синхронизация длится около суток, то вы скорее всего что-то неправильно делаете. Думается мне, вы проверяете для каждого файла контрольную сумму, что при условии что файл никогда не меняется, лишнее, достаточно по умолчанию - дату и размер. Отключить сжатие передаваемых данных, раз они в локалке. Вообще было бы здорово увидеть настройку сервера и параметры запуска синхронизации.
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	3. "Требуется решение по синхронизации данных"		+/–
	Сообщение от minidc on 05-Фев-10, 17:40
	>Если дальнейшая синхронизация длится около суток, то вы скорее всего что-то неправильно >делаете. Думается мне, вы проверяете для каждого файла контрольную сумму, что >при условии что файл никогда не меняется, лишнее, достаточно по умолчанию >- дату и размер. >Отключить сжатие передаваемых данных, раз они в локалке. Вообще было бы здорово >увидеть настройку сервера и параметры запуска синхронизации. Сжатия данных нет. Данные синхронизируются по NFS примонтированной папке. rsync -r -l -x --ignore-existing --delete /home/storage1/www/vhosts/ /1/www/vhosts/
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

5. "Требуется решение по синхронизации данных"		+/–
Сообщение от bob253 on 06-Фев-10, 12:17
>Имеется сервер 1, на нем поднят дисковый программный райд на 8Тб, на >этот сервер несколько служб ссыпают файлы отчетов по NFS протоколу. Отлично, известная штука >Постоянно. >И хранить их нужно тоже постоянно (по крайней мере в обозримом >будущем). > т.е. это "любительство" или это все-таки нормальный продакшн ? Насколько большие потери если это все навернется безвозвратно ? >Структура для системы хранения такая: в каталоге 256 подкаталогов, в кажом еще >по 256 подкаталогов, в них лежат файлы. Таких структур у меня >5. Общее количество файлов в каждой структуре в районе миллиона и >прибавляется по 150000 каждый месяц. ладно, может быть > >Теперь момент номер два. Эти файлы только создаются, потом читаются. Т.е. они >не могут быть изменены. Файл создается, потом иногда требуется. > т.е. это WORM ? Write Once Read Many ? >[оверквотинг удален] >у меня файлы только добавляются. Но, ПО котороый работает с хранилищами >не может писать сразу в 2 места. > > >Ищу решение, как можно не в реальном (не обязательно а реальном) времение, >но достаточно быстро иметь максимально синхронные копии большого количестсва мелких файлов >с системой каталогов которую я описал выше с одного сервера на >другой. > >Как вообще специалисты решают такие задачи? На железе EMC Celerra - c Retension Policy. Протоколы - CIFS, NFS, FTP, iSCSI. Для NX-серии - до 60 дисков. EMC Centerra - а эта вообще на WORM заточена Все остальное - голимое любительство, несовместимое с понятием Production в которое включены постоянные поступления на затраты на оборудование, специалистов и обучение этих самых специалистов с одной стороны, а со второй - обязательство неуничтожения данных (непрерывность бизнеса).
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	6. "Требуется решение по синхронизации данных"		+/–
	Сообщение от Читатель on 07-Фев-10, 15:01
	>>Постоянно. >>И хранить их нужно тоже постоянно (по крайней мере в обозримом >>будущем). >> > >т.е. это "любительство" или это все-таки нормальный продакшн ? Насколько большие потери >если это все навернется безвозвратно ? Оценить потери в деньгах я не могу, я сисадмин, данными не владею, думаю что будут, но не фатальные. Это не любительство, это надо не дома а в конторе, но требуется решение для бедных. Реально денег нет. >т.е. это WORM ? Write Once Read Many ? > Да. > >На железе > >EMC Celerra - c Retension Policy. Протоколы - CIFS, NFS, FTP, iSCSI. >Для NX-серии - до 60 дисков. >EMC Centerra - а эта вообще на WORM заточена Дорого. > >Все остальное - голимое любительство, несовместимое с понятием Production в которое включены >постоянные поступления на затраты на оборудование, специалистов и обучение этих самых >специалистов с одной стороны, а со второй - обязательство неуничтожения данных >(непрерывность бизнеса). Допускаю, но нужно таком случае "надежное любительское решение". Нету денег. Потому и райд софтовый.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	7. "Требуется решение по синхронизации данных"		+/–
	Сообщение от iasb (ok) on 07-Фев-10, 17:55
	>Допускаю, но нужно таком случае "надежное любительское решение". Нету денег. Потому >и райд софтовый. посмотри HP LeftHand. Virtual SAN. На ОФ сайте есть вмварные образы.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	8. "Требуется решение по синхронизации данных"		+/–
	Сообщение от ШлМимо on 24-Фев-10, 22:40
	я не знаю как это в продакшене, но вообще есть http://ru.wikipedia.org/wiki/Inotify обрати внимание на IN_CLOSE_WRITE и ставь в очередь на копирование сразу по его получению. имхо дёшего и сердито, надеюсь идея поможет :)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	9. "Требуется решение по синхронизации данных"		+/–
	Сообщение от minidc on 27-Фев-10, 17:44
	>я не знаю как это в продакшене, но вообще есть >http://ru.wikipedia.org/wiki/Inotify >обрати внимание на IN_CLOSE_WRITE и ставь в очередь на копирование сразу по >его получению. имхо дёшего и сердито, надеюсь идея поможет :) Пробовал, но там структура каталогов такая - что замучаюсь с этим поставил glusterfs вполне доволен.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору