The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Проблемы при загрузке с одного из HDD софтового RAID"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Загрузка)
Изначальное сообщение [ Отслеживать ]

"Проблемы при загрузке с одного из HDD софтового RAID"  +5 +/
Сообщение от Krivoy email(ok) on 04-Окт-12, 13:51 
Есть сервер с софтовым RAID1. Ниже части файлов.

mdadm.conf
---------
# definitions of existing MD arrays
ARRAY /dev/md/0 metadata=1.2 UUID=36e3b942:88f211c4:37529f05:68b20d1f name=syslog:0
ARRAY /dev/md/1 metadata=1.2 UUID=d969d029:ac9eb2d7:22181bfc:7a955a6f name=syslog:1
ARRAY /dev/md/2 metadata=1.2 UUID=54212f4b:6a512973:f7ff9b6f:a148eb9a name=syslog:2
---------

/etc/fstab
---------
proc            /proc           proc    defaults        0       0
# / was on /dev/md0 during installation
UUID=ab07e74a-c942-423b-8a63-2fbaccf7e7bb /               ext3    errors=remount-ro 0       1
# /var was on /dev/md1 during installation
UUID=3b2d5673-8453-4b16-a1e4-7690fdbe0e2a /var            ext3    defaults        0       2
# swap was on /dev/md2 during installation
UUID=a1504064-5d15-4bf9-95a3-5cabff3cb8aa none            swap    sw              0       0
/dev/scd0       /media/cdrom0   udf,iso9660 user,noauto     0       0
/dev/fd0        /media/floppy0  auto    rw,user,noauto  0       0
---------

/boot/grub/grub.cfg
---------
### BEGIN /etc/grub.d/10_linux ###
menuentry 'Debian GNU/Linux, with Linux 2.6.32-5-686' --class debian --class gnu-linux --class gnu --class os {
        insmod raid
        insmod mdraid
        insmod part_msdos
        insmod part_msdos
        insmod ext2
        set root='(md/0)'
        search --no-floppy --fs-uuid --set ab07e74a-c942-423b-8a63-2fbaccf7e7bb
        echo    'Loading Linux 2.6.32-5-686 ...'
        linux   /boot/vmlinuz-2.6.32-5-686 root=UUID=ab07e74a-c942-423b-8a63-2fbaccf7e7bb ro  quiet vga=791
        echo    'Loading initial ramdisk ...'
        initrd  /boot/initrd.img-2.6.32-5-686
}
menuentry 'Debian GNU/Linux, with Linux 2.6.32-5-686 (recovery mode)' --class debian --class gnu-linux --class gnu --class os {
        insmod raid
        insmod mdraid
        insmod part_msdos
        insmod part_msdos
        insmod ext2
        set root='(md/0)'
        search --no-floppy --fs-uuid --set ab07e74a-c942-423b-8a63-2fbaccf7e7bb
        echo    'Loading Linux 2.6.32-5-686 ...'
        linux   /boot/vmlinuz-2.6.32-5-686 root=UUID=ab07e74a-c942-423b-8a63-2fbaccf7e7bb ro single
        echo    'Loading initial ramdisk ...'
        initrd  /boot/initrd.img-2.6.32-5-686
}
---------

cat /proc/mdstat
---------
Personalities : [raid1]
md2 : active raid1 sda3[0] sdb3[1]
      3905524 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sda2[0] sdb2[1]
      58592184 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sda1[0] sdb1[1]
      14646200 blocks super 1.2 [2/2] [UU]

unused devices: <none>
---------

fdisk -l
---------
Disk /dev/sda: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00097448

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1        1824    14647296   fd  Linux raid autodetect
/dev/sda2            1824        9119    58593280   fd  Linux raid autodetect
/dev/sda3            9119        9605     3906560   fd  Linux raid autodetect

Disk /dev/sdb: 80.0 GB, 80026361856 bytes
255 heads, 63 sectors/track, 9729 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0xcce7cce7

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1        1824    14647296   fd  Linux raid autodetect
/dev/sdb2            1824        9119    58593280   fd  Linux raid autodetect
/dev/sdb3            9119        9605     3906560   fd  Linux raid autodetect

Disk /dev/md0: 15.0 GB, 14997708800 bytes
2 heads, 4 sectors/track, 3661550 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 60.0 GB, 59998396416 bytes
2 heads, 4 sectors/track, 14648046 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table

Disk /dev/md2: 3999 MB, 3999256576 bytes
2 heads, 4 sectors/track, 976381 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/md2 doesn't contain a valid partition table
---------


По прошествии какого то времени встала необходимость в фулбекапе системы. Мысль пришла в виде скрипта типа:
#!/bin/sh
mdadm /dev/md0 --fail   /dev/sda1
mdadm /dev/md0 --remove /dev/sda1
mdadm /dev/md1 --fail   /dev/sda2
mdadm /dev/md1 --remove /dev/sda2
mdadm /dev/md2 --fail   /dev/sda3
mdadm /dev/md2 --remove /dev/sda3
dd if=/dev/sda conv=sync,noerror bs=8M | gzip -c > /var/nfsNETstorage/image.gz
mdadm /dev/md0 --re-add /dev/sda1
mdadm /dev/md1 --re-add /dev/sda2
mdadm /dev/md2 --re-add /dev/sda3

То есть делаем fail и remove одному из винтов и с помощью dd снимаем образ на nfs, а потом его загоняем обратно в рейд.
Скрипт успешно отработал, но после восстановления
(аппаратно тестовый системник отличается от сервера(HP G3) с которого снимался бекап)
на тестовый винт система не грузиться ->
GRUB loading.
Welcome to GRUB!
error: no such disk.
Entering rescue mode.
grub rescue>
а если
grub rescue>ls
grub rescue>(hd0) (hd0,msdos3) (hd0,msdos2) (hd0,msdos1)

Как жеж такжеж? Есть у гуру мысли на этот счёт?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Проблемы при загрузке с одного из HDD софтового RAID"  –3 +/
Сообщение от PavelR (ok) on 07-Окт-12, 10:04 
ну что, как успехи?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от ALex_hha (ok) on 07-Окт-12, 11:21 
> По прошествии какого то времени встала необходимость в фулбекапе системы. Мысль пришла в виде скрипта типа:

оригинально, а что за время бекапа данные не изменяются что ли?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Проблемы при загрузке с одного из HDD софтового RAID"  –3 +/
Сообщение от PavelR (ok) on 07-Окт-12, 11:23 
>> По прошествии какого то времени встала необходимость в фулбекапе системы. Мысль пришла в виде скрипта типа:
> оригинально, а что за время бекапа данные не изменяются что ли?

ну по идее не меняются, он же диск из рейда вывел

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Проблемы при загрузке с одного из HDD софтового RAID"  +5 +/
Сообщение от Krivoy email(ok) on 08-Окт-12, 11:01 
Успехи - ни как - не понимает почему то grub файловую систему fd Linux Raid Autodetect в этом случае. А вот видимо ни кто не сталкивался и ответов нет :(
Хотя я не понимаю как тогда груб вааще грузиться если не понимает такой фс.
Запланировали работы на 20ые числа - буду перегружать смотреть что и от куда грузится.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от ALex_hha (ok) on 08-Окт-12, 11:05 
> ну по идее не меняются, он же диск из рейда вывел

я про диск, который остался в сервере

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Проблемы при загрузке с одного из HDD софтового RAID"  +4 +/
Сообщение от Krivoy email(ok) on 08-Окт-12, 12:09 
>> ну по идее не меняются, он же диск из рейда вывел
> я про диск, который остался в сервере

Не понял? Там все хорошо - с того с которого снимал образ он потом отлично re-addится.

Я развернул образ на другой винт, подключил к другому системнику и уже там провожу эксперименты.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Проблемы при загрузке с одного из HDD софтового RAID"  +4 +/
Сообщение от Krivoy email(ok) on 08-Окт-12, 12:11 
Есть подозрение что связано это с аппаратной платформой сервер на HP G3 и ставился на него Debian образ фирмваровский.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Проблемы при загрузке с одного из HDD софтового RAID"  +4 +/
Сообщение от Krivoy email(ok) on 08-Окт-12, 17:48 
Бывает же...
Проблема решена повторной попыткой gunzipa.
Все загрузилось и запустилось с md0.
Так что такую систему бэкапа можно брать на вооружение!!!
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от ALex_hha (ok) on 08-Окт-12, 19:18 
> Так что такую систему бэкапа можно брать на вооружение!!!

много экстрима

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Проблемы при загрузке с одного из HDD софтового RAID"  –3 +/
Сообщение от PavelR (ok) on 08-Окт-12, 21:38 
> Бывает же...
> Проблема решена повторной попыткой gunzipa.
> Все загрузилось и запустилось с md0.
> Так что такую систему бэкапа можно брать на вооружение!!!

Это не система бэкапа, не обольщайтесь.

Как уже сказали:

- много экстрима
- у вас отсутствуют копии за разные даты
- оно у вас занимает ну просто дофига места, даже если на сервере мало данных
- бэкапиться оно будет крайне долго, а экстрим - в это же время у вас разваленый рейд.

В общем, придумайте что-нибудь получше.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Проблемы при загрузке с одного из HDD софтового RAID"  +4 +/
Сообщение от Krivoy email(ok) on 09-Окт-12, 08:14 
> Это не система бэкапа, не обольщайтесь.
> Как уже сказали:
> - много экстрима
> - у вас отсутствуют копии за разные даты
> - оно у вас занимает ну просто дофига места, даже если на
> сервере мало данных
> - бэкапиться оно будет крайне долго, а экстрим - в это же
> время у вас разваленый рейд.
> В общем, придумайте что-нибудь получше.

Ну да звездеть не мешки ворочать! :)))) Критика без предложений всегда пи...жом называлась :))
Экстрима нет ни какого это раз - рабочая ситуация mdadm.
Какие копии за какие даты? Если надо дату сделайте в названии файла типа `date +%d_%m_%Y`. Если хотите бекап отдельных файлов это вам не в эту тему - этот полный бекап и предназначен для восстановления системы руками первой линии поддержки. Это два.
Образ у меня 30 гигов размером при условии что это ПОЛНЫЙ бекап будет делаться раз в месяц\две недели и ротироваться за 2-3 месяца места на хранилке он займёт 100-150 гигов.
Снятие образа делается около часа - я думаю ночи для этого хватит даже при условии что рабдень начинается в 1.00. Ну а если так страшно сделай 3 диска в зеркале ;)

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Проблемы при загрузке с одного из HDD софтового RAID"  –2 +/
Сообщение от PavelR (ok) on 09-Окт-12, 09:05 
>[оверквотинг удален]
>> Как уже сказали:
>> - много экстрима
>> - у вас отсутствуют копии за разные даты
>> - оно у вас занимает ну просто дофига места, даже если на
>> сервере мало данных
>> - бэкапиться оно будет крайне долго, а экстрим - в это же
>> время у вас разваленый рейд.
>> В общем, придумайте что-нибудь получше.
> Ну да звездеть не мешки ворочать! :)))) Критика без предложений всегда пи...жом
> называлась :))

Идите в сад.

> Экстрима нет ни какого это раз - рабочая ситуация mdadm.
> Ну а если  так страшно сделай 3 диска в зеркале ;)

Идите в сад, особенно с учетом ваших изложений про "три диска".

> Какие копии за какие даты? Если надо дату сделайте в названии файла
> типа `date +%d_%m_%Y`.

-
> Образ у меня 30 гигов размером при условии что это ПОЛНЫЙ бекап
> будет делаться раз в месяц\две недели и ротироваться за 2-3 месяца
> места на хранилке он займёт 100-150 гигов.

-
> Снятие образа делается около часа - я думаю ночи для этого хватит
> даже при условии что рабдень начинается в 1.00.

А что, 30 Гб - это актуальный для современности объем? Попробуйте сбэкапить хотя бы 1-2ТБ вашим способом.

> Если хотите бекап отдельных файлов это вам не
> в эту тему - этот полный бекап и предназначен для восстановления
> системы руками первой линии поддержки. Это два.

Так значит это у вас не бэкап, а образ для клонирования, а это принципиально иная вещь.


За сим откланяюсь.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Проблемы при загрузке с одного из HDD софтового RAID"  +1 +/
Сообщение от Krivoy email(ok) on 09-Окт-12, 09:58 

> Идите в сад.

УРААА!!!! СРАЧ!!! Иду иду :))))

> Идите в сад, особенно с учетом ваших изложений про "три диска".

В Вашем разуме не может уместиться факт трёх дисков в зеркале? Пичалька :))))

> А что, 30 Гб - это актуальный для современности объем?

Отрицательные галюцинации на команду gzip?
> Попробуйте сбэкапить хотя бы 1-2ТБ вашим способом.

Да легко! ;)


> За сим откланяюсь.

ВАЛИТЕ!!! :)))

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "Проблемы при загрузке с одного из HDD софтового RAID"  –2 +/
Сообщение от PavelR (ok) on 09-Окт-12, 11:02 
> В Вашем разуме не может уместиться факт трёх дисков в зеркале?

В Вашем разуме не помещается тот факт, что это _не надо_ ?

Хотя, какой тут у вас разум, если вы школьник, пытающийся понажимать на кнопку "-1" возле моего никнейма =) Уведомляю, что мне абсолютно пох на абсолютное значение этих цифирок. )

>> А что, 30 Гб - это актуальный для современности объем?
> Отрицательные галюцинации на команду gzip?

Выполните

dd if=/dev/urandom bs=4k of=/tmpfile
rm /tmpfile

для всех разделов вашего диска.
А потом бэкапьте вашим любимым методом, с использованием gzip.
Рекомендую gzip -9 для надежности.

>> Попробуйте сбэкапить хотя бы 1-2ТБ вашим способом.
> Да легко! ;)

Есть куда слить сотню Тб, для хранения нескольких срезов? Есть каналы и хранилки, которые простаивают? Вы же даже попытаться оценить не можете, сколько это переливаться будет.
А если еще и гзиповать....

----------

Как мало думающих людей. ))))


Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от Krivoy email(ok) on 09-Окт-12, 11:40 
>> В Вашем разуме не может уместиться факт трёх дисков в зеркале?
> В Вашем разуме не помещается тот факт, что это _не надо_ ?

Ну былаж паника поповоду того что зеркало в течении часа не зеркало? :))))

> Хотя, какой тут у вас разум, если вы школьник, пытающийся понажимать на
> кнопку "-1" возле моего никнейма =) Уведомляю, что мне абсолютно пох
> на абсолютное значение этих цифирок. )

Гыыыы а я и не ставил :))))

> Выполните
> dd if=/dev/urandom bs=4k of=/tmpfile
> rm /tmpfile

Ну в принципе свободное место можно и занулить - этож система, и у меня без зануления ужалось в 2,5 раза - винт еще на 80Gb.


> Есть куда слить сотню Тб, для хранения нескольких срезов? Есть каналы и
> хранилки, которые простаивают? Вы же даже попытаться оценить не можете, сколько
> это переливаться будет.
> А если еще и гзиповать....

Да легко ;)
Ну а вобще то данные у меня как раз на хранилках, а снимаю я только образ системы что бы когда я в отпуске в районе Эрфурта мне не пришлось бы час рассказывать по нихрена не казенному телефону как поставить заново систему и накатить данные с бекапа человеку который не особо в этом разбиреатся.

> Как мало думающих людей. ))))

Ну польсти себе польсти :)))

Ну а если серьезно то не у всех террабайтные системы и такой метод бекапа какого-нибудь syslog\monitoring\smsgate итд сервера вполне приемлим.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

16. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от ALex_hha (ok) on 09-Окт-12, 12:19 
> Ну а если серьезно то не у всех террабайтные системы и такой
> метод бекапа какого-нибудь syslog\monitoring\smsgate итд сервера вполне приемлим.

это маразм, а не система бекапа, имхо. Освойте хотя бы bacula для начала и перестаньте заниматься ерундой.

P.S.
а как бекапишь удаленные сервера на хостингах?

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от Krivoy email(ok) on 09-Окт-12, 12:46 
>> Ну а если серьезно то не у всех террабайтные системы и такой
>> метод бекапа какого-нибудь syslog\monitoring\smsgate итд сервера вполне приемлим.
> это маразм, а не система бекапа, имхо. Освойте хотя бы bacula для
> начала и перестаньте заниматься ерундой.
> P.S.
> а как бекапишь удаленные сервера на хостингах?

Ещё один гений :(
Отвечу вопросом - что бы Вам не стать звездуном предложите мне систему бэкапа СИСТЕМЫ(сорри за тафтологию) без остановки оной и с возможностью восстановления ни методом(ставим систему, ставим сервисы, накатываем данные из бэкапа) физсерверов? И что бы восстановить систему смог эникей.
А удаленный сервер можно так же в чемжеж дело? Но вот как его восстанавливать при отсутствия физдоступа? По этому лучше возложить сиё на владельца хостинга ;)

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Проблемы при загрузке с одного из HDD софтового RAID"  –1 +/
Сообщение от ALex_hha (ok) on 09-Окт-12, 12:53 
>[оверквотинг удален]
>> P.S.
>> а как бекапишь удаленные сервера на хостингах?
> Ещё один гений :(
> Отвечу вопросом - что бы Вам не стать звездуном предложите мне систему
> бэкапа СИСТЕМЫ(сорри за тафтологию) без остановки оной и с возможностью восстановления
> ни методом(ставим систему, ставим сервисы, накатываем данные из бэкапа) физсерверов? И
> что бы восстановить систему смог эникей.
> А удаленный сервер можно так же в чемжеж дело? Но вот как
> его восстанавливать при отсутствия физдоступа? По этому лучше возложить сиё на
> владельца хостинга ;)

А ничего, что синхронизация диска в 3 Тб будет неделю идти (при нагрузке на сам сервер).

1. А что будет если во время синхронизации навернется рабочий диск?
2. И как ты потом по сети собираешься передавать 1Tb+ до хостера, чтобы восстановить систему? Ты только образ будешь сутки закачивать. Или у вас там 10 Gb каналы ;)
3. Эникей не сможет восстановить удаленную систему вашим способом.

Дело ваше, но назвать это системой бекапа нельзя

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Проблемы при загрузке с одного из HDD софтового RAID"  –1 +/
Сообщение от PavelR (ok) on 09-Окт-12, 12:53 
> Ну былаж паника поповоду того что зеркало в течении часа не зеркало?

Когда поработаешь где-нибудь серьезнее локалхоста, поймешь, паника это или нет,
и к каким последствиям приводят вводы-выводы диска в нагруженное зеркало.

>> Выполните
>> dd if=/dev/urandom bs=4k of=/tmpfile
>> rm /tmpfile
> Ну в принципе свободное место можно и занулить - этож система, и
> у меня без зануления ужалось в 2,5 раза - винт еще
> на 80Gb.

Так вот, надо предварительно занулять, а вы об этом задумались?

> метод бекапа какого-нибудь syslog\monitoring\smsgate итд сервера вполне приемлим.

Это не метод бэкапа.


Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

20. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от Krivoy email(ok) on 09-Окт-12, 13:01 
> Это не метод бэкапа.

Сруны в комментах непокалебимы! :)))

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

21. "Проблемы при загрузке с одного из HDD софтового RAID"  +/
Сообщение от PavelR (ok) on 09-Окт-12, 13:02 
>> Это не метод бэкапа.
> Сруны в комментах непокалебимы! :)))

Хороший у вас лозунг. )

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру