The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Предложен механизм blksnap для создания снапшотов блочных устройств в Linux

07.11.2022 18:12

Компания Veeam, выпускающая ПО для резервного копирования и восстановления после аварий, предложила для включения в состав ядра Linux модуль blksnap с реализацией механизма создания снапшотов блочных устройств и отслеживания изменений в блочных устройствах. Для работы со снапшотами подготовлена утилита командной строки blksnap и библиотека blksnap.so, позволяющие из пространства пользователя взаимодействовать с модулем ядра через ioctl-вызовы.

Целью создания модуля называется организация резервного копирования накопителей и виртуальных дисков без остановки работы - модуль позволяет зафиксировать в снапшоте текущее состояние всего блочного устройства, предоставив для резервного копирования изолированный срез, не зависящий от продолжающих поступать изменений. Важной особенностью blksnap является возможность одновременного создания снапшотов сразу для нескольких блочных устройств, что позволяет не только обеспечить целостность данных на уровне блочного устройства, но и добиться согласованности состояния разных блочных устройств в резервной копии.

Для отслеживания изменений в подсистему блочных устройств ядра Linux (bdev) добавлена возможность прикрепления фильтров, позволяющих перехватывать запросы ввода/вывода. В blksnap реализован фильтр, который перехватывает запросы на запись, читает старое значение и сохраняет его в отдельном списке изменений, определяющем состояние снапшота. При подобном подходе логика работы с блочным устройством не меняется, и запись в оригинальном блочном устройстве производится как есть, независимо от снапшотов, что исключает возможность повреждения данных и позволяет избежать проблем даже в случае возникновения непредсказуемых критических ошибок в blksnap и переполнения места, выделенного под изменения.

Модуль в том числе позволяет определить какие блоки были изменены в промежуток времени между последним и любым предыдущим снапшотом, что может быть полезным для реализации инкрементального и дифференциального резервного копирования. Для сохранения изменений, относительно состояния снапшота, на любом блочном устройстве может быть выделен произвольный диапазон секторов, что позволяет сохранять изменения в отдельных файлах внутри ФС на блочных устройствах. Размер области для хранения изменений в любой момент может быть увеличен, даже после создания снапшота.

Blksnap основан на коде модуля veeamsnap, входящего в состав продукта Veeam Agent for Linux, но переработан с учётом специфики поставки в основном составе ядра Linux. Концептуальным отличием blksnap от veeamsnap является задействование системы фильтров, прикрепляемых к блочному устройству, вместо отдельного компонента bdevfilter, перехватывающего ввод/вывод.

  1. Главная ссылка к новости (https://lore.kernel.org/lkml/2...)
  2. OpenNews: Релиз распределенного реплицируемого блочного устройства DRBD 9.2.0
  3. OpenNews: Bcachefs доведена до состояния, пригодного для включения в состав ядра Linux
  4. OpenNews: Утилита для создания снапшотов блочных устройств в Linux
  5. OpenNews: Открыт код Next3 - файловой системы для Linux с поддержкой снапшотов
  6. OpenNews: Представлен набор патчей с поддержкой снапшотов для файловой системы Ext4
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/58062-blksnap
Ключевые слова: blksnap, backup, block, snapshot
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (194) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 18:18, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    По описанию -- годная вещь. Костыль, конечно. Но не только лишь каждый может позволить себе пользоваться продвинутыми файловыми системами, для которых не требуется таких костылей.
     
     
  • 2.2, Аноним (2), 18:23, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Ну это создано чтобы делать бэкапы виртуальных машин, независимо от файловых систем.
     
     
  • 3.29, Аноним (29), 19:37, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +7 +/
    причем тут виртуальные машины? qemu умеет снапшоты, например.
    оно как раз может быть удобно для физических.
     
     
  • 4.35, пох. (?), 19:51, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > причем тут виртуальные машины?

    так у авторов. Возможно, они что-то знают, чего ты не?

    > qemu умеет снапшоты, например.

    снапшот-снапшоту рознь...

    > оно как раз может быть удобно для физических.

    У физических есть одна проблема, догадываешься, какая?

    В случае lvm и прочих не-совсем-физических ее, правда, нет, но им эта технология и не требуется, они и так умеют. Правда, есть нюансы...

     
     
  • 5.96, Аноним (96), 08:09, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    1. Нихера они не знают;
    2. я с Вами не пью.
     
  • 3.152, TydymBydym (?), 14:30, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну это создано чтобы делать бэкапы виртуальных машин, независимо от файловых систем.

    Нет. Это сделано чтобы снепшотить любые блочные устройства. Я так / серверов бэкаплю - очень удобно. Еще удобнее, что теперь это можно и без Veeam использовать. LVM для этих целей тоже можно, но не так удобно.

     
     
  • 4.161, Заблоченый (?), 09:06, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Простите, сколько серверов вы бэкапите? я числа / не знаю.
     
     
  • 5.183, TydymBydym (ok), 13:50, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Простите, сколько серверов вы бэкапите? я числа / не знаю.

    Следует читать как "я так корневую ФС серверов бэкаплю"

     
  • 3.160, Заблоченый (?), 09:03, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    а супервизор это делать не умеет?
     
  • 3.179, Аноним (179), 04:17, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну это создано чтобы делать бэкапы виртуальных машин,

    У них свой cow давно был, зачем им это счастье?

     
  • 2.5, user90 (?), 18:32, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Каждому достаточно делать регулярные бэкапы критически важных ДАННЫХ, и надобность в подобных хренях отпадает.
     
     
  • 3.9, Аноним (9), 18:44, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Эээ… Данных… Тут приходится процессы дампать, чтобы в случае чего не потерять все часы-дни рендера, а ты о таких мелочах печёшься. Хотя если база данных навернётся, это будут тоже невосполнимые потери. Пытаешься найти баланс между постоянными остановками прода и количеством потерь в случае БП.
     
     
  • 4.39, Самый Лучший Гусь (?), 20:02, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    А может не надо часы-дни рендерить. Както накладно выходит, лучше постаринке.
     
     
  • 5.44, Аноним (9), 20:20, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А как оно, по-старинке? Разрешения картинки до 360p, из кодеков только mpeg2? VHS предел мечтаний? Даже если тот же x265 параллелится куда лучше x264 и с меньшими артефактами (тот вообще только в 1 поток норм), всё равно потолок быстро найдётся. Быстрее просто не получится, а аппаратные кодировщики мерзость ещё та. Если ресурсы остаются, можно запустить параллельно несколько. С отрисовкой CGI получше, хотя бы аппаратно ускоряются, но тоже дело не быстрое с современным качеством картинки и разрешениями.
     
     
  • 6.85, Аноним (85), 04:26, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я думал сейчас на аутсорс отдают на рендер-фермы.
     
     
  • 7.184, Аноним (-), 14:37, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Я думал сейчас на аутсорс отдают на рендер-фермы.

    Да даже майнинг фермы отдают. Заплати-лети.

     
  • 5.56, microsoft (?), 21:46, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ты че, а какже 16к?
     
  • 4.57, Аноним (57), 21:54, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > не потерять все часы-дни рендера

    Очевидно, для этого рендер должен сохранять нарендеренное хотя бы раз в час.

     
     
  • 5.60, Аноним (9), 22:15, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это обещает быть хорошим приключением, я не уверен, что какой-либо тулинг любого уровня это позволяет. Сомневаюсь, что это вообще осуществимо без потерь. Лучшее, что я вижу, это либо периодические снапшоты вм, либо дампы процессов на диск. Так можно обойтись относительно малой кровью и без различных дефектов в интересных местах.
     
  • 3.12, пох. (?), 19:05, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +11 +/
    > Каждому достаточно делать регулярные бэкапы критически важных ДАННЫХ, и надобность в подобных
    > хренях отпадает.

    окей, чувак, у нас тут навернулась база и твой банковский счет восстановлен с регулярного бэкапа. Причем наисвежайшего - полусуточной давности (извини, скорость дисковых полок все же ограничена и чаще мы не можем - не успеет дописаться предыдущий - "надобности" то нет).

    Ой, твоя зарплата пришла час назад? Ну извини. А вот твои кредиты никуда не делись, не забудь оплатить вовремя.

    P.S. к сожалению, админы локалхостов, у которых на самом деле вообще нет никаких важных данных, принципиально необучаемы.


     
     
  • 4.15, пох. (?), 19:12, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ах, да, не смотря на то что в бэкапе на твоем (кредитном) счете еще оставались последние 300 ржублей - заплатить за хлебушек ты не сможешь - твоей карты нет. И счета нет. И тебя нет. И вообще ничего нет.

    Бэкап, понимаешь, восстанавливается - тоже не мгновенно. На самом деле - очень-очень медленно он это делает. Пока не восстановится - базы как бы и нет, мы ж не можем обрабатывать транзакции в недовосстановленной.

    Пока не восстановится - хрен тебе, а не хлебушка. Кушай пирожные, с уважением, твой банк.

     
     
  • 5.23, Far (ok), 19:27, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Приболел? Банк, который базы без репликации юзает, это не банк, а шарашкина контора того самого админа локалхоста, о котором ты тут слюной брызжешь. Сразу видно профессионал высшего порядка
     
     
  • 6.28, пох. (?), 19:37, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Приболел? Банк, который базы без репликации юзает

    Внезапно, и у банков слуцяется. И в базы с репликацией улетает что-то чего улететь было не должно.

    И успешно реплицируется, ага.

    А вот дальше - шарашкина контора типа твоей - мэдленно и пэчально поднимает свои базы с бэкапа. Я бы мог назвать поименно, но нельзя, подписал.

    А у кого были снапшоты - пишет в журнал "апгрейд впопердня прошел неудачно", откатывается за пару секунд на снапшотик и снимает табличку "проводятся работы". Дальше пусть другие думают.

     
     
  • 7.86, Аноним (85), 04:36, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я вот тоже в банке склянке работал, тоже подписывал, но срок прошел, тоже видел как диск рассыпается на сервере филиала, правда не с базами а с файлопомойкой всех филиалов города. От регианалов пришла отписка что файлопомойку надо восстановить из бэкапа, так кто ж её бекапио, на то она и файлопомойка. А вообще да, где только не работал, ни на одном месте не было чтобы нормально налажен процесс и все из-за человеческого фактора, из-за неэффективных менеджеров. Объясняешь, что нужно бэкапа нормально настроить, работает не трожь, просишь денег на обновление сервак, не дают.
     
  • 6.34, амоним (?), 19:48, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    омг, а причем тут репликация 1 разговор про ситуацию, когда элекричество в п... большой текст свёрнут, показать
     
     
  • 7.65, пох. (?), 23:38, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, у хорошего банка есть и второй правда там тоже фокусы есть, но местным эксп... большой текст свёрнут, показать
     
     
  • 8.114, ананим.orig (?), 12:39, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это, например, какие ... текст свёрнут, показать
     
  • 7.130, Аноним (130), 20:11, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но серверы этого не замечают, потому что в подвале есть большая комната с батаре... большой текст свёрнут, показать
     
  • 6.48, Аноним (48), 20:44, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Забавно, что абсолютно всё о квалификации человека можно сказать по тому, путает ли он репликацию с бэкапом :)
     
     
  • 7.144, ZFS (?), 11:12, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И чем же разовая репликация например FS отличается от бэкапа, при условии хранения архивных журналов базы данных, которые потом можно накатить хоть на базу восстановленную из бэкапа или из ZFS реплики (снэпшота или даже вот такого снэпшота как в онтопике)?

    Непонятен также и батхерт от delete from table_C, отправленного в реплику при условии сохранения всех архивных логов. А если реплику еще и снэпшотят, то она не хуже бэкапа в общем-то.

    Но вообще-то реплика в первую очеред конечно нужна для других целей типа обеспечения HA и/или HL :)

     
  • 5.97, ryoken (ok), 08:22, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ...а если там ещё и массив ребилдится...
     
  • 4.16, Аноним (16), 19:13, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Это же основные эксперты опеннета. Они и в программировании сильны, и админы отличные, сетевики топ уровня, а заодно и безопасники.

    Им всё ненужно. У них всё есть. В крайнем случае сбацают аналог на любимой Сишечке за пару часов. Без единой ошибки!

     
     
  • 5.40, Аноним (-), 20:07, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И что не так ?
     
  • 5.41, arisu (ok), 20:10, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    угу. сбацаем. умеем, понимаешь. но не переживай, скоро вымрем, и останетесь вы окончательно с жабоскриптерами и прочими молодыми талантливыми. я в это не верю, но так хочется, чтобы загробная жизнь таки была, и я мог посмотреть и поржать.
     
     
  • 6.66, пох. (?), 23:42, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > верю, но так хочется, чтобы загробная жизнь таки была, и я
    > мог посмотреть и поржать.

    Там, того, с раскаленным колом в заднице особо не поржешь...

    Или в процессе строительства в ледяной пустыне лодки из ногтей, тьфу... Я в целом последнее время склоняюсь к тому, что ад скорее близок к скандинавским идеям, а не этих послехрамовых сектантов.

     
     
  • 7.98, ryoken (ok), 08:28, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А разве Нагльфар ещё не построен? Я так думал оно просто стоит ждёт ...
     
     
  • 8.172, пох. (?), 11:42, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну хрен знает по идее, он сразу после достройки должнен вроде был и отплывать... текст свёрнут, показать
     
  • 7.99, arisu (ok), 08:39, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    а при чём тут ад? нет никакого «посмертного справедливого воздаяния», ада, рая, всей вот этой чепухи. если вдруг какой-то механизм сохранения самосознания после смерти физического тела и существует, то он не имеет отношения к морально-этическим концепциям — как и вся остальная природа.
     
     
  • 8.105, пох. (?), 09:53, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ну те вот сектанты считают что есть справедливость там, правда, 2000 лет назад ... большой текст свёрнут, показать
     
  • 5.87, Аноним (85), 04:49, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Это же основные эксперты опеннета. Они и в программировании сильны, и админы отличные, сетевики топ уровня, а заодно и безопасники.

    Главное иметь понимание, что это должны быть четыре разных человека. Мне тут не так давно, одному айтишнику начальнику пришлось объяснять что админ виндовых серверов, сетевик и первая линия техподдержки это три разных человека. Он был уверен что этим должен заниматься один человек за копейки.

     
     
  • 6.106, пох. (?), 10:02, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    начальник, самый главный начальник, экзекьютор и собственно тот раб Примерно та... большой текст свёрнут, показать
     
     
  • 7.131, Аноним (131), 21:22, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Да там рога и копыта Разбираться должен эникейщк Я побыл виндовым админом и ли... большой текст свёрнут, показать
     
     
  • 8.174, пох. (?), 11:47, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Дык, в этом и трагедия Вон от гуаноуслуг пришло письмо щастья - не желаю ли я с... текст свёрнут, показать
     
     
  • 9.185, Аноним (185), 14:39, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Могут и что поинтереснее прислать, повестки там всякие ... текст свёрнут, показать
     
     
  • 10.189, пох. (?), 20:46, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Кто не успел сдать пе3дюка на курсы впихона - сдаст на мясо, в чем проблема вооб... текст свёрнут, показать
     
  • 4.27, user90 (?), 19:36, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Подобная база данных на единственном девайсе, в 1ом экземпляре? Тебе не кажется, что это какая-то минимум странная архитектура системы? ;)
     
  • 4.159, Заблоченый (?), 09:00, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А теперь скажите как от этого спасут снапы через 5 минут и какой будет оверхед? Кластер надо строить нормально. Периметр защищать.
     
  • 3.91, Аноним (91), 06:37, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вы не учитываете затраты на все это. Одно дело откатить, а другое дело - копировать огромный массив данных.
     
  • 3.119, keydon (ok), 14:37, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Пока список этих критически важных данных соберешь, можно уже и весь диск забекапить, особенно если под торренты отдельный диск, который не нужно бекапить.
     
  • 3.162, Заблоченый (?), 09:13, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я не совсем понял эта демонюгпа работает с блоками устройства или на уровне файловой системы? Если первое, то какие там имена файлов и структура?
     
  • 2.158, Заблоченый (?), 08:54, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да теперь расширился круг виноватых. То ли сама файловая система то ли демон то л ссора между ними.
     

     ....большая нить свёрнута, показать (50)

  • 1.3, Аноним (3), 18:26, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Всю жизнь было доступно с помощью dd.
     
     
  • 2.4, Аноним (4), 18:28, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    🤝
     
  • 2.6, basmach (?), 18:33, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Браво!
     
  • 2.7, glor (?), 18:37, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +13 +/
    Снапшот включенной вм с помощью dd? Удачи вам и вашим данным с таким подходом.
     
     
  • 3.14, пох. (?), 19:09, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    снапшот включенной вм обычно делается средствами гипервизора - которому гораздо проще зафиксировать состояние "дисков" и куда-нибудь на время складировать все перезаписываемые блоки.

    Но, видимо, к модным-современным-из-гуана-зато шва6оооодка kvm-based это не относится?!

    Не то чтобы я удивлен, конечно... но я думал о вас лучше.

     
     
  • 4.30, Аноним (29), 19:39, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    "kvm-based это не относится"

    man lvm?
    ну или почитайте про снапшоты в qemu прежде чем нести чушь.

     
     
  • 5.32, пох. (?), 19:41, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > "kvm-based это не относится"
    > man lvm?

    причем бы тут? И нет, его снапшоты не консистентны в пределах системы и ни малейшей возможности их таковыми сделать.

    > ну или почитайте про снапшоты в qemu прежде чем нести чушь.

    мне неинтересно вашу чушь читать. Я спросил - у вас правда так все плохо как предполагает разработчик новой модной технологии, уже почти включенной в ядро?

    Судя по неумению ответить прямо на заданный вопрос - вы не в курсе, следующий!


     
     
  • 6.113, Sw00p aka Jerom (?), 11:50, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >И нет, его снапшоты не консистентны в пределах системы и ни малейшей возможности их таковыми сделать.

    кхммм, само понятие "снепшот" по определению должно включать консистентность (согласованность).

     
     
  • 7.124, RM (ok), 17:19, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > само понятие "снепшот" по определению должно включать консистентность (согласованность).

    Три раза ха.
    Они придумали хитрые термины, тут уже писали же про crash consistent snapshot.
    Типа он consistent, но есть ньюанс....

     
     
  • 8.125, Sw00p aka Jerom (?), 17:25, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    гип-гип ну, в студию определение данного термина ... текст свёрнут, показать
     
  • 7.175, пох. (?), 11:49, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > кхммм, само понятие "снепшот" по определению должно включать консистентность (согласованность).

    чего с чем?
    Вот у тебя volume, предположим, с массивом базы на жестких дисках.
    Вот втрой - с кэшем или там логами - на ssd собран, чтоб побыстрее.

    Ой? Снапы-то per volume.

     
     
  • 8.176, Sw00p aka Jerom (?), 15:10, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    данных на диске Ой, а мы микроскопом уже гвозди забиваем С чего это механизм ко... текст свёрнут, показать
     
     
  • 9.190, пох. (?), 20:50, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ну если от него толку никакого вообще - можем им и печку топить а на гуя нам ко... текст свёрнут, показать
     
     
  • 10.191, arisu (ok), 10:56, 12/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    я вот его прогнать хотел, а теперь считаю, что зря иногда любопытно заглянуть в... текст свёрнут, показать
     
     
  • 11.194, Sw00p aka Jerom (?), 22:30, 12/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    в студию где такое написано ... текст свёрнут, показать
     
  • 6.199, Аноним (199), 14:15, 13/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    судя по неумению правильно задать вопрос- вы ничего не понимаете ;-)
     
  • 4.145, ZFS (?), 11:24, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Хуже ипанутых на всю голову снэпшотов ESXi, еще ничего не придумано.

    Мало того, что они жутко тормозят гостевуху пропорциАнально количеству снапшотов, так еще могут отказаться мержиться с ашипкой, а х.з. номер XXXXXX, не гуглится.

    Зато апгрейд ESXi до следующей версии может внезапно (за полчаса +) смержить (удалить) снэпшот. Этаж какое счастие то было, когда снэпшот смерджился. С тех пор только ZFS, KVM, OpenNebula и другой опен сорц, ну их в *епу, все эти ESXi.

    Может быть,  кому-то и нужна непрерывная availability с миграцией виртуалок, где приложения (под DOS LOL) сами не умеют в HA, ну купите им vSphere за дохуллиард баксов, ога. В клауд натив не проще переделать?

     
     
  • 5.163, Заблоченый (?), 09:26, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, а чудо-костыль спасет ) Парни пиарятся, это лучше чем ничего. Пугают местные строители которые бросаются это встраивать это куда-то кроме локалхоста. Ну умные то на нормальную систему расчитывают, по крайней мере единое решение.  
     
  • 3.120, keydon (ok), 14:38, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так qemu и раньше далал такие же снапшоты что и в описании, но формат нужен qcow2
     
  • 3.165, Заблоченый (?), 09:32, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем он не прав? Он сказал Вам где он применяет dd? Зачем Вы додумываете? На вскидку этот чудо-костыль выглядит как реклама основного продукта.
     

  • 1.8, Аноним (9), 18:39, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Выглядит надёжно, примите наши аплодисменты.
     
     
  • 2.132, Аноним (57), 05:45, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    снапшот живого носителя БЕЗ снапшота работающих на нём процессов... знатно авторы курнули.
     

  • 1.10, RM (ok), 18:52, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Ну это создано чтобы делать бэкапы виртуальных машин, независимо от файловых систем.
    > Снапшот включенной вм с помощью dd? Удачи вам и вашим данным с таким подходом.

    оно всего навсего делает crash consistent sanpshot, это как если питание выключить. но на всех дисках аднавременна, да, в отличие от ДД.
    База с софтового рэйд может и восстановиться, если повезет, , но скорее всего не быстро и с откатом транзакций, после того как рэйд починиться.

     
     
  • 2.17, пох. (?), 19:16, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не совсем - процесс отключения питания, к сожалению, не мгновенен. Современные диски очень, очень такого не любят.

    Нормальная база с double buffer writes (ни на что не намекаю) кстати, да, восстановится. И заново из лога накатит транзакции, о которых сообщила что они - завершены. (А если она не уверена что они в лог попали - то и не сообщает).

    Но то - нормальная. А у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще. Но мы уже послали запрос в контору-импортозамещятель и с нетерпением ждем ее ответа. Как придет - уведомим тебя письменно.

     
     
  • 3.20, амоним (?), 19:20, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    так постгрес, собссно работает по той же схеме.
    лог транзакций, откат-накат в случае крэша, и прочие радости.
    не сильно понимаю в чем превосходство господина. чэсн.
     
     
  • 4.24, пох. (?), 19:29, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > так постгрес, собссно работает по той же схеме.

    дык, эта, тово - ниработает. sig11

    > не сильно понимаю в чем превосходство господина. чэсн.

    э... вот...


     
     
  • 5.43, амоним (?), 20:18, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    https://postgresqlco.nf/doc/en/param/full_page_writes/
     
     
  • 6.67, пох. (?), 23:43, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > https://postgresqlco.nf/doc/en/param/full_page_writes/

    ну включи, включи на проде.

     
     
  • 7.128, 1 (??), 19:20, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну не знаю как модный, современный postgre ... Но 9 вообще не поднимался после отключения питания ... да да, логи были, но прочитать он их не может и вылетает по signal (хз может и 11 - давно это было). Oracle такое вытворял как раз только на raw-устройствах (за которые тут сильно ратуют).

    А вообще - вопрос ... А когда кто-то вообще БД с бакапа подымал ? Чёт я тут попробовал на днях проверить, а что мы каждый божий день делаем ? Да как-то тестовое восстановление не очень большой БД (где-то 10Тб) заняло почти сутки ... Нахрена, спрашивается нужен такой бакап ?

    Так что, похоже, только репликация спасёт ...

     
     
  • 8.141, edo (ok), 10:00, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    точно у нас несколько сотен касс, разумеется, отключения питания бывают сплошь ... текст свёрнут, показать
     
  • 8.157, пох. (?), 19:37, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    подсказываю структуры хранения данных ни разу не изменились Их как в 95м году ... большой текст свёрнут, показать
     
  • 8.164, Заблоченый (?), 09:29, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А Вы бы поднялись Есть бесперебойное питание хотя бы какое-то время или распр... текст свёрнут, показать
     
  • 3.26, нокия (?), 19:35, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще

    а что с посгресом не так? это же база данных и должна восстанавливаться после отключения питания.

     
     
  • 4.33, пох. (?), 19:48, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >> у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще
    > а что с посгресом не так? это же база данных и должна
    > восстанавливаться после отключения питания.

    ну...э...короче просто не имей дело с теми, кто на это рассчитывает.

    А то оно потом спрашивает - "должна? Расписку покажи!"

     
     
  • 5.135, Аноним (57), 05:56, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    тот самый момент, когда постгрес умнее какого-то пох.-а, и последний об этом узнал...
     
  • 5.166, Заблоченый (?), 09:45, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Уважаемый, если у Вас не восстанавливается, то это не значит вообще. И почему Вы тут переходите на политику? Есть нормально построенные комплексные решения, которые сидят на постгрес. Люди просто пограмотнее Вас и не Экают. Простите - не сдержался.
     
  • 3.36, RM (ok), 19:53, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я знал что придешь в топик Разрешите перефразировать, запамятовал, вместо эт... большой текст свёрнут, показать
     
     
  • 4.68, пох. (?), 23:50, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну тоже не совсем - паник может наступить поздновато, уже поназаписывав каши из ... большой текст свёрнут, показать
     
  • 3.92, Аноним (91), 06:39, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Энтерпрайзные Toshiba умеют при отключении питания сбрасывать на диск кеш записи.
     
     
  • 4.108, пох. (?), 10:06, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Энтерпрайзные Toshiba умеют при отключении питания сбрасывать на диск кеш записи.

    дык кэшей-то не один. Еще в памяти есть. И тоже может быть не один.

    А это - просто костылик, позволяющий им чуть раньше отрапортовать что запись закончена (именно потому что нам-то не важно на самом деле, чем она там закончена, важно чтобы потом прочиталось именно это) и выиграть в каких-то соревнованиях энтерпрайзных плевков в длинну.


     
  • 4.167, Заблоченый (?), 10:05, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вы сейчас про энергонезависимую оперативку в рейд контролере? Это не особенность фирмы, это стандартное решение. Здесь речь про кэш работающих процессов в оперативной памяти. Почему то все додумывают, что это чудо-костыль помогает от самого страшного краша. ) Только дисковая система, господа и быстрый снап , чтобы не бэкапить все блоки.
     
  • 3.121, keydon (ok), 14:42, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Чет мне кажется ты не разбираешься в поцгресе, у него как раз есть и wal и по дефолту ждет подтверждение от системы про запись на диск.
     
     
  • 4.168, Заблоченый (?), 10:10, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну тут много экспертов которые круты во всем, лишь бы похаливарить )) По мне разработчикам БД надо крупными буквами писать - о бесперебойности питания должен позаботиться потребитель продукта. )
     
  • 2.115, SSh (ok), 12:54, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Нет. Перед созданием снапшота вызывается freeze_bdev() https://www.kernel.org/doc/htmldocs/filesystems/API-freeze-bdev.html .
    Это позволяет обеспечить консистентность файловой системы и завершение всех запросов на блочное устройсто.

    Подробности о том как это примерно работает можно послушать тут https://www.youtube.com/watch?v=eoQyNSezY4U.

     
     
  • 3.117, arisu (ok), 13:05, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    это примерно работает нифига не лучше dd. возможно, для кого-то это станет сюрпризом — но практически никакой софт не оперирует блочным уровнем, почти все, внезапно, оперируют файлами со сложной внутренней структурой. которая влёт оказывается неконсистентной что с flush, что без. но, конечно, верить в волшебные бэкапы это никак не помешает.
     
     
  • 4.146, ZFS (?), 11:38, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не ври бесстыдник, почитай лучше про zvol.
     
     
  • 5.147, arisu (ok), 11:42, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Не ври бесстыдник, почитай лучше про zvol.

    что, оно магически обеспечивает консистентность файлов данных для произвольного набора программ? не употребляй больше то, что ты употребляешь.

     
     
  • 6.149, ZFS (?), 11:53, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Нет конечно, речь не о консистентности данных приложений, а хотя бы об одновременности разных участков данных такого среза (снэпшота).
    В ZFS одновременность есть, а dd из обычного блочного устройства ее ессно нет.
    В dd из снэпшота zvol ессно одновременность есть, как-то так.

    Одновременность - не консистентность, но хоть что-то.
    Намного хуже оказаться вообще с голой жепой.
    А реально неконсистентное битое содержимое окажется в менее, чем одном проценте приложений.
    Даже и придумать не могу в каких кроме СУБД, которые (по крайне мере нормальные РСУБД) как раз с потерей последних транзакций таки приведут базу в порядок. А накатив архивные логи с другого устройства мы получим полностью консистентные данные, даже те, которые были на момент факапа.

     
     
  • 7.169, Заблоченый (?), 11:09, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >а dd из обычного блочного устройства ее ессно нет

    А если это устройство на котором /boot хранится. )

     
  • 7.171, Заблоченый (?), 11:25, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А если я сконфигурирую хранение файла БД в отдельной ветке и смонтирую ее на отдельное устройство, могу я надеятся что он будет консистентный между флэшами БД? Могу я заскриптить в этот момент, когда система отчитается БД что данные сброшены на диск по флэш-требованию, dd? )
     
     
  • 8.180, Sw00p aka Jerom (?), 07:34, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    откуда лять идея о том, что механизм снепшота ФС должно беспокоить консистентнос... текст свёрнут, показать
     
     
  • 9.181, arisu (ok), 09:25, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    да ниоткуда, всё нормально, возвращайся на свой локалхост, тут взрослые дяди бес... текст свёрнут, показать
     
     
  • 10.182, Sw00p aka Jerom (?), 09:39, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    кек, простите ... текст свёрнут, показать
     
  • 9.186, Аноним (185), 14:46, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Если хочется острых ощущений, сделать вот это вот с базой виндового контроллера ... текст свёрнут, показать
     
     
  • 10.196, Sw00p aka Jerom (?), 22:41, 12/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    сделать что снепшот фс на которой крутиться база контроллера ну вот делаю, и ч... текст свёрнут, показать
     
  • 4.173, Заблоченый (?), 11:42, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Если БД не консистента до бэкапа, то он не виноват, естественно. ) Но все сложно структурированные файлы хранятся в виде блоков ) консистентность БД не головная боль а поддержки серверной инфраструктуры, для этого есть админы БД.
     
  • 3.148, arisu (ok), 11:44, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    алё, Серёжа, так ты пояснишь, как оно обеспечивает консистентность файлов данных? или это очень сложный вопрос, если на него честно ответить, то вашего слона никто не купит?
     
     
  • 4.202, somethingfunny (ok), 04:28, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Консистентность файла данных обеспечивается приложением если речь идёт о базе, ... большой текст свёрнут, показать
     
     
  • 5.203, arisu (ok), 06:14, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Копируя живые файлы логов и базы при помощи DD вы потом должны
    > будете применить логи к базе, да ещё подождать пока они применятся
    > (если хвостик логов длинный, то процесс будет небыстрым).

    ну да, ну да, а если сделать бэкап «блочного устройства» волшебной таблеткой — то этого делать совсем не придётся.

    > P.S. и слон бесплатный так-то, продавать тут нечего.

    свежо питание. *часть* инструмента пытаются засунуть в ядро, чтобы скинуть на кого-то работу по маинтенансу этой бесполезной ерундени.

     
     
  • 6.204, somethingfunny (ok), 13:27, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    придётся, но в гораздо меньшем масштабе и происходить это будет быстрее т к хв... большой текст свёрнут, показать
     
     
  • 7.205, arisu (ok), 15:13, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > И я не получил ответа на вопрос как вы аналогичное действие сделаете
    > с помощью dd и без снапшота.

    потому что я не собирался отвечать на дурацкие вопросы.

    > Если бы вы хотя бы раз попытались сами отправить что-то уровня драйвера
    > в ядро

    у меня для тебя плохие новости. очень плохие. можешь попробовать угадать.

     
     
  • 8.206, somethingfunny (ok), 17:08, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А, ну я так и думал - критиковать и дуть щёки горазды, а будучи притянутыми к от... текст свёрнут, показать
     
     
  • 9.207, arisu (ok), 17:47, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ты даже смысл прочитаного текста понять не можешь, не льсти себе ... текст свёрнут, показать
     

     ....большая нить свёрнута, показать (40)

  • 1.13, пох. (?), 19:06, 07/11/2022 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • –4 +/
     
     
  • 2.18, IdeaFix (ok), 19:17, 07/11/2022 Скрыто модератором
  • +/
     
     
  • 3.22, пох. (?), 19:27, 07/11/2022 Скрыто модератором
  • –1 +/
     
  • 2.19, амоним (?), 19:17, 07/11/2022 Скрыто модератором
  • +1 +/
     
     
  • 3.21, пох. (?), 19:21, 07/11/2022 Скрыто модератором
  • –3 +/
     

     ....ответы скрыты модератором (4)

  • 1.25, corvuscor (ok), 19:32, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > В blksnap реализован фильтр, который перехватывает запросы на запись, читает старое значение и сохраняет его в отдельном списке изменений, определяющем состояние снапшота.

    Вот это фокус придумали. Без шуток, довольно интересное решение. Надеюсь, примут в апстрим.

     
     
  • 2.37, Аноним (37), 19:55, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну ничего такого, что не используется уже давно в Copy-on-write хранилищах, типа LVM-thin или Zvol от zfs или btrfs. Вопрос куда пишет данные, если с trim-командой не интегрирован чтобы знать свободное место, то видимо отдельное хранилище нужно будет для вытесняемых данных. Для гипервизоров конечно мало необходимости, но вот забэкапить рабочую станцию наживую без live-cd, zfs/btrfs - вполне интересно будет...
     
     
  • 3.45, Анончик (?), 20:21, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/veeam/blksnap/blob/master/doc/blksnap_ru.md
    можете подробно почитать как оно работает
     
     
  • 4.47, Аноним (37), 20:38, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, интересно, спасибо! Как я понял это у них чуть получается ближе к снапшотам обычного, не thin, LVM'а.
     
     
  • 5.51, Анончик (?), 21:21, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да, советую еще почитать про виндовую vss если тема интересна https://habr.com/ru/company/veeam/blog/560534/
     
     
  • 6.170, Заблоченый (?), 11:20, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не хочу поднимать холивар, но что может быть интересно в винде и ее конторческих решениях, где за вас все решили? )
     
  • 4.193, Аноним (199), 16:00, 12/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    почитал
    "В зависимости от потребностей и выбранной лицензии "

    ясно

     
  • 3.70, пох. (?), 00:02, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну ничего такого, что не используется уже давно в Copy-on-write хранилищах, типа
    > LVM-thin или Zvol от zfs или btrfs.

    Ну вот представь что у тебя ДВА zpool'а - предположим, отражающих разную физическую сущность хранилищ. И как без этого костыля получить crash-consistent state? А никак.

    > Вопрос куда пишет данные,

    ага

     
  • 2.38, Аноним (38), 20:01, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    надеюсь нет
     

  • 1.49, Аноним (49), 21:13, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    коду от коммерческих компаний не место в ядре
     
     
  • 2.53, Аноним (53), 21:30, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ващет пофиг. Коммерческие компании могут ведь делать открытые продукты. Но ьы можешь самолично собирать libre версию ядра.
     
  • 2.54, Минона (ok), 21:42, 07/11/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Где вас таких делают то глупых.
    Весь код линукса написан на деньги корпораций.
     
     
  • 3.81, ыы (?), 02:01, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ну не весь.. 90%
     
     
  • 4.89, Аноним (89), 05:44, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, первые версии он написал ещё бесплатно.
     
  • 4.104, Минона (ok), 09:27, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > ну не весь.. 90%

    ну вряд ли там 10% осталось от первоначального кода, скорее <1%.
    так что не 90, а 99%

     
     
  • 5.109, пох. (?), 10:14, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >> ну не весь.. 90%
    > ну вряд ли там 10% осталось от первоначального кода, скорее <1%.

    вопрос как мерять - строчками или все же проделанной работой.

    Так-то вполне себе много кода написанного до нашествия пацанов с адресами @intel.com и подобными.

    В основном эти ребята, как и Линус, судя по тем самым адресам, были либо студентами старших курсов, либо аспирантами хороших универов, где им позволено было на гранты страдать фигней под видом курсовиков и кандидатских.

    К сожалению, они повзрослели и пошли работать в какую-нибудь трансмету. А нынешнее поколение совершенно не заинтересовано забесплатно вкалывать. Тем более при наличии гранта на гендерные штудии в разработке хруста.


     
     
  • 6.151, Минона (ok), 13:22, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну а гранты универам кто даёт - корпорации.
     
     
  • 7.155, пох. (?), 19:14, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну а гранты универам кто даёт - корпорации.

    когда-то их давали просто в режиме - сунуть денег под дверь, и потом на выходе получить просто много хорошо подготовленных студентов (а не "хорошо подготовленных" программировать в VS)

    Для всего остального были - целевые гранты, на разработку.

    Ну, те времена прошли, как и студенты, способные с пустого места написать какой линукс.

     

  • 1.50, Аноним (50), 21:15, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Снапшоты без взаимодействия с внутренним миром приложения - ну такое...
    Ну или (во избежание рассогласований) всё останавливать на момент снапшота, но тогда и dd прокатит.
     
     
  • 2.80, ыы (?), 02:00, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    это просто работает. так надо.
     
     
  • 3.136, Аноним (57), 06:07, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Самое правильное (если на уровне носителя) - завершать процессы записи на носитель, чтобы приложения зафиксировали семантику данных, перевод носителя в ro, далее - хоть dd. Не завершишь запись - получишь кашу в снапшоте.
     
     
  • 4.137, Аноним (57), 06:09, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    P.S. а вообще снапшотить надо не абстрактный носитель, а пользоваться инструментами конкретного приложения, чьи данные тебе так дороги.
     
  • 4.201, somethingfunny (ok), 04:13, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Консистентность данных приложения обеспечивается самим приложением в случае с б... большой текст свёрнут, показать
     
  • 2.153, TydymBydym (?), 14:43, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Ну или (во избежание рассогласований) всё останавливать на момент снапшота

    Именно. Я так и поступаю. Перед созданием снапшота торможу докер и базу, делаю снимок, а потом всё запускаю. После этого спокойно бэкаплю снимок. Конечно, имеется простой, связанный с тем что контейнера поднимаются не слишком быстро - Конфлюенс и всё вот это вот..., но минуту-другую в середине ночи все потребители стойко переживают :D

     
     
  • 3.187, Аноним (185), 14:49, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Тем не менее это прерывание сервиса. Кому-то катит, кому-то нет. Попробуй так игровой сервер или чатик тормознуть, узнаешь о себе много нового.
     
     
  • 4.188, TydymBydym (ok), 16:22, 11/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Тем не менее это прерывание сервиса.

    Само собой. В моем случае - подходит. Если бы докера не было, то можно было бы не останавливать - СУБД в режим логирования и вперед, на танки. В принципе, и с докером можно было бы контейнера переделать так, чтобы тома с данными биндить, а при восстановлении пересоздавать контейнер. Но последнее мне просто лень делать.

     

  • 1.52, Аноним (53), 21:28, 07/11/2022 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • +2 +/
     
     
  • 2.58, Аноним (-), 22:02, 07/11/2022 Скрыто модератором
  • +/
     
     
  • 3.71, пох. (?), 00:04, 08/11/2022 Скрыто модератором
  • +/
     

     ....ответы скрыты модератором (2)

  • 1.55, Минона (ok), 21:44, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Похоже на снэпшоты в LVM.
     
  • 1.59, Местный эксперт а ты кто такой (?), 22:08, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    "позволяющих перехватывать запросы ввода/вывода."
    "реализован фильтр, который перехватывает запросы на запись, читает старое значение и сохраняет его в отдельном списке изменений, определяющем состояние снапшота"

    Больше снапшотов богу снапшотов. Вроде и звучит, с одной стороны занятно, а с другой... потенциальные дырени и дополнительное рeшeто вижу я

     
  • 1.61, IZh. (?), 22:35, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Напоминает упрощённую версию DRBD. Только в DRBD уже есть готовая синхронизация.
     
  • 1.62, _kp (ok), 22:37, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Если бы для файлов аналог маковской тайм машины сделали..
    А бекап устройств целиком почти любая виртуалка и так умеет, а просто бэкапов, со срезами на разное время хватает тоже всяких.
    Не оценил.
     
     
  • 2.72, пох. (?), 00:05, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Если бы для файлов аналог маковской тайм машины сделали..

    для zfs сделали. Но ты, наверное, не захочешь.

     
     
  • 3.75, _kp (ok), 01:25, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >> Если бы для файлов аналог маковской тайм машины сделали..
    > для zfs сделали. Но ты, наверное, не захочешь.

    Любопытно. Как же я проспал.
    К zfs отношусь нормально, но если доступ к снапшотам файлов только через консоль, без gui, то наверное таки незахочу.
    Беру паузу почитать.

     
  • 2.79, ыы (?), 01:57, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    речь идет о системах где сотни и тысячи виртуальных машин. ваши бэкапы которые каждая кухарка умеет- не интересны...ибо нефункциональны
     
     
  • 3.103, пох. (?), 09:17, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Тридцать тыщ одних курьеров?

    Ох уж эти админы локалхостов...

    P.S. а майнинг-ферму никто и не бэкапает.

     
  • 2.82, Мимокрокодил (?), 02:40, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Если бы для файлов аналог маковской тайм машины сделали..
    > А бекап устройств целиком почти любая виртуалка и так умеет, а просто
    > бэкапов, со срезами на разное время хватает тоже всяких.
    > Не оценил.

    Не имел возможности оценить маковскую тайм машину, но разве линуксячий тайм шифт не из той же оперы?

     
     
  • 3.84, _kp (ok), 03:39, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > не из той же оперы?

    Из той. Но работает не так же.

    На Маке изменения сохраняются при сохранении отдельных файлов, сами по себе.  Можно хранилище тайм машины поместить на рам диск и сохранять только важные рабочие каталоги. Обычно с исходниками. Бывает, что то сделал и работает не так, а в репозиторий выгружал давно, и внезапно есть удобный просмотр, а что же понаписал, и быстренько найти проблему.
    И место не кончается, а несколько часов изменений на всякий случай хранит.

    А тайм шифт это снапшоты системы, типа точек восстановления.

    И интерфейс пользователя на маке ориентирован не не бекапы, а на документы, с их быстрым предпросмотром.
    И оно есть очень давно. Странно, что не передрали до сих пор.

     
     
  • 4.94, arisu (ok), 07:59, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Обычно с исходниками. Бывает, что то сделал и
    > работает не так, а в репозиторий выгружал давно, и внезапно есть
    > удобный просмотр, а что же понаписал, и быстренько найти проблему.

    это настолько прелестно, что даже не нуждается в комментариях.

     
     
  • 5.111, _kp (ok), 10:54, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это когда свой проект годами мусолишь, всё "прелестно", и тайм машины не требуются,
    а когда работаешь с железом, и собираешь на финальной стадии единое целое, а готовые модули оказались "невпихyeмые", то при правке в надцати местах, что то пропустить, или наоборот перестараться, да элементарно.
    А если ещё и срочно, и все разбежались, и чего доброго в командировке..
    В общем если соломка есть, почему б не подстелить заранее. ;)


     
  • 2.122, Аноним (122), 15:13, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    btrfs-снапшоты и snapper?
    в качестве гуя есть модуль yast
     

  • 1.63, Аноним (63), 23:04, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > копирования накопителей и виртуальных дисков без остановки работы...

    с мгновенной отсылкой скопированного кому надо без всякого уведомления пользователя :))))

     
     
  • 2.78, ыы (?), 01:55, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    это винда делает согласно лицензии на ее, без всяких бэкапов...
     

  • 1.64, vvm13 (?), 23:31, 07/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Судя по комментариям выше, местный народ в массе ни про Veeam, ни про бекапы баз данных практически ничего не знает, только фантазирует.

    Что касается Veeam, они предоставляют бесплатное бекапное решение для 10 машин (физических или виртуальных - неважно), т.е., отличное решение для домашней сети, так что для незнающих есть повод познакомиться. Кому как, а мне эта штука нравится. (Не во всём).

    Ну, правда, сервер ставится на Windows Server, но и пробный Windows Server работает без ограничений по времени.

    И, конечно, Veeam не годится для случаев, когда данные совсем терять нельзя (вроде финансовых) - для этого используют другие решения (HADR/Data Guard/etc).

    С другой стороны, как и многие, они порвали связи с Россией.

     
     
  • 2.73, Аноним (73), 00:46, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >Что касается Veeam, они предоставляют бесплатное бекапное решение для 10 машин (физических или виртуальных - неважно), т.е., отличное решение для домашней сети, так что для незнающих есть повод познакомиться. Кому как, а мне эта штука нравится. (Не во всём).

    10 лицензий на проприетарщину, или аккаунт на 10 образов облачного бекапа?

     
  • 2.77, ыы (?), 01:53, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    10 виртуальных хостов для домашней сети? уровень гикнутости такого сетевладельца запредельный...
     
  • 2.90, _kp (ok), 06:16, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/

    > Что касается Veeam, они предоставляют бесплатное бекапное решение для 10 машин

    А бесплатный объём сколько Терабайт на машину? 0.01 или типа того?
    Локальное хранение несоизмеримо дешевле.

    > И, конечно, Veeam не годится для случаев, когда данные совсем терять нельзя

    Но если кто то хочет за даром хранить даныые, то найдутся данные которые уместно так хранить.
    И особенно для случаев удаленного доступа из разных мест. Это заведомо не офисное применение.

     
  • 2.100, ryoken (ok), 08:39, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >>10 машин (физических или виртуальных - неважно)

    Неа. 10 виртуалок или 30 вин-компов. Для примера. У них это называется Instance и отсюда самоочевидно, что 1 инстанс виртуалки = 0,33 инстанса венды (про линуксы на физике и прочее - не в курсе).

     
  • 2.129, 1 (??), 19:32, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну и ты копировал какой-нибудь железячный MS SQL этим Veeam-ом ? Если да, расскажи ... я послушаю.

    Вим - он даже виртуальный MS SQL через жо^W костыль сохраняет ... Бакапит снапшот виртуалки, и пердически лог файл... Такое себе решение ...

     

  • 1.74, Аноним (74), 01:16, 08/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Снапшот блочного устройства? И куда ж оно его писать-то будет? Пахнет внезапными граблями, как впрочем и все недоподелия от этой говноконторки.
     
     
  • 2.76, ыы (?), 01:50, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ну а винда куда пихает?
     
     
  • 3.127, Аноним (127), 18:04, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    У винды это всё же на уровне файловой системы, так что драйвер фс знает где что лежит.
    И у винды это не просто мгновенный снимок состояния диска, а целая церемония с запуском VSS райтеров, остановкой и сохранением на время снимка неподдерживаемых виртуалок и т.д. и т.п.
     
  • 2.110, Аноним (57), 10:41, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Пахнет внезапными граблями

    Ещё какими! Вот пишется большой файл, посередине делается снапшот, в итоге часть файла, которая уже записана, снапшотится, а остальное - не попало в транзакцию снапшота... Что получаем - херню в снапшоте.

     
     
  • 3.177, Аноним (177), 19:18, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    в снапшоте ерунда. Но он слепится с другим и внезапно вы  удите полный файл. Все снапы надо слеплять. Можно автономнои и паралельно. Вы принцип формирования снапов знаете? Как это работает?
     
     
  • 4.178, arisu (ok), 19:23, 10/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Но он слепится с другим

    сопрягается гусеница опричная!

     
  • 2.112, Аноним (96), 11:28, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    " И куда ж оно его писать-то будет? "
    так написано куда, посмотрите ещё раз :-)
     
     
  • 3.126, Аноним (127), 17:58, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Посмотрел, ещё больше охренел, диапазон секторов, ладно бы сказали, должен быть отдельный раздел с данными, и раздел под снапшоты.
    Это значит надо ещё какую-то утилиту регулярно дёргать, чтоб она смотрела что файл на месте и список секторов передавала... привет загрузчику LILO
     
     
  • 4.134, Аноним (134), 05:55, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Так тут именно в этом и суть, что администратор системы не позаботился о возможности создания снапшотов- не создал lvm или не выбрал fs, которая их умеет.
    А тут вфигачиваем модуль и оно само начинает магически уметь снапшоты...
     
     
  • 5.138, Аноним (57), 06:12, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > оно само начинает магически уметь снапшоты

    ...до первого обнаружения, что в снапшоте - неюзабельные спагетти данных...

     
     
  • 6.139, Аноним (96), 07:15, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    дык запросто :-)
     

  • 1.93, pashev.ru (?), 07:42, 08/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ы-ksnap?
     
  • 1.95, Аноним (96), 08:06, 08/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ну положим будет эта хрень в ядре.
    Читать то из неё сможет только ихний софт за бабло, верно?
     
     
  • 2.101, ryoken (ok), 08:42, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вообще для начала хотелось бы понять, под какой лицензией вообще сабж планируется. А то будет как с каким-нибудь nvidia.ko.
     
     
  • 3.102, Аноним (96), 09:11, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://github.com/veeam/blksnap/blob/master/LICENSE.md

    GNU GENERAL PUBLIC LICENSE

    Version 2, June 1991

     
  • 2.116, SSh (ok), 13:04, 08/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Нет. Читаёте доку.
    https://github.com/veeam/blksnap/blob/master/doc/blksnap_ru.md#%D0%B

     
     
  • 3.133, Аноним (134), 05:49, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    "В соответствии с парадигмой "лучшая документация — это код", инструмент содержит подробную встроенную справку."

    и всё.
    прочитать что-то там нельзя.

     
     
  • 4.200, somethingfunny (ok), 03:48, 16/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Если вы не умеете читать инструкции и man'ы к консольным утилитам, то вам рановато участвовать в подобных обсуждениях. Если есть прдеметная критика инструкций предоставленных разработчиком, то пишите списком. Всё остальное с вашей стороны это "блабла" и хайпожорство.
     
     
  • 5.208, Вася (??), 05:12, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    там нет доки, там кусок овна вместо документации.
    там прямым текстом написано, читайте код

    т.е. если ты не понимаешь, что закладывал разработчик или не знаешь его ЯП (а в 99% случаев конечному юзеру нужно сделать команду "утилита сделай бекап /dev/устройства"), то помогать тебе никто не будет.

    Нормальная документация содержит подробное описание каждой команды, а заодно и несколько примеров наиболее частого ее использования. Херовая документация просто... существует.  

    Но давай проведем тест? Если ты такой умный, как сделать бекап этой тулзой?

     

  • 1.107, EuPhobos (ok), 10:03, 08/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    "из пространства пользователя" можно будет читать то, что раньше было запрещено читать правилами доступа и всякими аппарморами? =)
     
     
  • 2.140, ryoken (ok), 09:27, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > "из пространства пользователя" можно будет читать то, что раньше было запрещено читать
    > правилами доступа и всякими аппарморами? =)

    "Что делает хороший бакап? Гарантированно нарушает систему безопасности."

     
     
  • 3.142, Аноним (96), 10:35, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    с чего бы? доступ к бекапу только у того, кого надо.
     
     
  • 4.143, ryoken (ok), 10:50, 09/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > с чего бы? доступ к бекапу только у того, кого надо.

    И где это вы такое видели? :)

     
     
  • 5.192, Аноним (199), 15:58, 12/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    у себя
     

  • 1.154, Аноним (154), 17:26, 09/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Давно мечтал украсть этот механизм из veeam agent, а тут они сами его предлагают.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру