The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Обновление PostgreSQL. Выпуск reshape, утилиты для миграции на новую схему без остановки работы

11.02.2022 11:20

Сформированы корректирующие обновления для всех поддерживаемых веток PostgreSQL: 14.2, 13.6, 12.10, 11.15 и 10.20, в которых исправлено 55 ошибок, выявленных за последние три месяца. В том числе устранены проблемы, приводившие при редком стечении обстоятельств к повреждению индексов при изменении цепочек HOT (heap-only tuple) во время выполнения операции VACUUM или при выполнении операции REINDEX CONCURRENTLY для индексов к таблицам, в которых используется механизм хранения TOAST.

Устранены аварийные завершения при выполнении ALTER STATISTICS и при извлечении данных с multirange-типами. В планировщике запросов устранены ошибки, приводившие к выводу некорректных результатов. Устранены утечки памяти при обновлении индексов по выражениям и при выполнении операции "REASSIGN OWNED BY" над большим числом объектов. Обеспечено построение расширенной статистики для сегментированных таблиц.

Дополнительно можно отметить выпуск утилиты reshape, позволяющей без остановки работы совершать сложные обновления схемы данных в PostgreSQL, в обычных условиях требующие ручного внесения изменений и временной остановки работы сервисов, использующих БД. Утилита даёт возможность перейти со старой схемы данных на новую без длительных блокировок и не прерывая цикла обработки запросов. Утилита автоматически создаёт представления таблиц, с которыми приложения продолжают работать во время миграции схемы данных, а также настраивает триггеры, транслирующие операции добавления и удаления данных между старой и новой схемами.

Таким образом, при использовании reshape во время миграции старая и новая схема одновременно остаются доступны и приложения можно постепенно перевести на новую схему без остановки работы (в больших инфраструктурах можно поэтапно заменять обработчики со старых на новые). После завершения перевода приложений на новую схему созданные для сохранения поддержки старой схемы представления и триггеры удаляются. В случае выявления проблем с приложениями во время миграции можно отменить изменение схемы и вернуться к старому состоянию.

  1. Главная ссылка к новости (https://www.postgresql.org/abo...)
  2. OpenNews: Обновление PostgreSQL с устранением уязвимостей. Выпуск балансировщика соединений Odyssey 1.2
  3. OpenNews: Один из разработчиков MySQL раскритиковал проект и рекомендовал использовать PostgreSQL
  4. OpenNews: Проект MangoDB развивает реализацию протокола СУБД MongoDB поверх PostgreSQL
  5. OpenNews: Amazon открыл код Babelfish, расширений для замены MS SQL Server на PostgreSQL
  6. OpenNews: Релиз СУБД PostgreSQL 14
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/56677-postgresql
Ключевые слова: postgresql, reshape
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (57) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:38, 11/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –12 +/
    принцепе не плохая база для данных , мог быть и лучше но и сейчас более не менее
     
     
  • 2.2, Аноним (2), 12:06, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +13 +/
    Вчера вышла MariaDB там в комментах был целый цирк. А тут постгресс обновился даже никаких смешных шуток. Похоже что все просто сидят и пользуются.  
     
     
  • 3.3, Аноним (1), 12:22, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    ну на май-эскуэл можно сделать гостевую книгу на похапе как на народ.ру. Ну и интернет-магаз на 1С-Битрикс™. Что-то серьезное ему доверить нельзя
     
     
  • 4.7, Онаним (?), 14:12, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Зато сразу видно твой уровень.
     
     
  • 5.11, Аноним (11), 14:24, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Несмотря на глупые шутки, по сути он прав.

    Возможно, у вас есть опыт успешной эксплуатации "сайта с гостевой книгой как народ.ру", но применения РСУБД подобными проектами не ограничиваются.

     
     
  • 6.15, Онаним (?), 16:57, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –3 +/
    И снова видно только уровень очередного калметатора.

    Ну я биллинг на MySQL держу. Несколько терабайт данных.
    Дальше чего?

     
     
  • 7.16, Аноним (16), 17:59, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Что-то есть ощущение, для таких задач sqlite бы хватило.
     
     
  • 8.17, Онаним (?), 18:05, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну что вы, MS Access наше всё... текст свёрнут, показать
     
     
  • 9.43, Аноним (43), 15:52, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    чем вам текстовые файл то не угодили ... текст свёрнут, показать
     
     
  • 10.57, Андрей (??), 12:55, 14/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Все уже придумано и все пользуются CDR-файлы это называется ... текст свёрнут, показать
     
  • 3.5, Аноним (5), 13:09, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Да тут не интересно, голимая минорщина. Может по выходу 15-й версии зажгут.
     
  • 2.4, Grammar Nzi (?), 12:39, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +8 +/
    * болие лимение
     
     
  • 3.56, Аноним (56), 11:27, 13/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > более не менее

    Ну так утверждение-то в целом верное - более это не менее (горячее не холодное, красное не синее и т.д.) :)

     
  • 2.6, лютый жабби__ (?), 14:00, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –9 +/
    >принцепе не плохая база для данных

    я бы сказал непонятная... там где данные важные, используют Оракле, там где шлёп-шлёп - мускуль/монго, где данных много - монго/другие носкли.... а слон зачем? сам перестал им пользоваться лет 10 назад.

     
     
  • 3.8, Онаним (?), 14:13, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Что вы такого делаете с мускулем, что у вас важные данные в нём не живут?
     
     
  • 4.46, Аноним (46), 16:00, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Что вы такого делаете с мускулем, что у вас важные данные в нём не живут?

    Ну, это же очевидно, Ватсон! Они НЕ ХРАНЯТ важные данные в МуСКЛ ;)

     
     
  • 5.54, Онаним (?), 08:50, 13/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Возможно, даже "в МуСКЛ" тут лишнее :)
     
  • 3.9, Онаним (?), 14:14, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Но насчёт того, что у постгри ныне ниши не осталось - согласен.
     
  • 3.10, Аноним (11), 14:18, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > я бы сказал непонятная... там где данные важные, используют Оракле, там где шлёп-шлёп - мускуль/монго, где данных много - монго/другие носкли....

    О да, монга - просто отличный инструмент для бигдаты... Ой, простите, забыл: [сарказм]

    > а слон зачем?

    Вытесняет оракл потихоньку (привет из желтого банка). Ну и для шлеп-шлеп тоже вполне годится. И для всего, что посередине между этими двумя крайностями.

     
     
  • 4.34, Аноним (34), 00:46, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Также постгрес шлёт привет из синего банка.
     
     
  • 5.45, Аноним (43), 15:54, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Зеленый банк присоединяется к вашим приветствиям.
     
     
  • 6.48, лютый жабби__ (?), 16:53, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >Зеленый банк присоединяется

    постгрес в сбермаркете под хранение ассортимента присобачили? оракла на этой задаче и не было никогда. ну разве что под эгидой импортозамещения эту поделку на место СУБД протаскивают...

     
  • 4.49, лютый жабби__ (?), 16:55, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >желтого банка

    желтая банка - это Тупкофф-Глючно-Пельменные-системы? Хороший пруф что Постгрес про серьезных задач не катит.

     
  • 3.12, Аноним (12), 15:06, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А к чему тогда Джангу прикручивать как не к постгре. Не к мускулу же как в мейл.ру.
     
  • 3.13, пох. (?), 16:34, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > а слон зачем?

    "чтоб как орацле, только чтоб денег никому не платить!"

    > перестал им пользоваться лет 10 назад

    Это тебе пока выпало щастье - до смены начальника. А следующий окажется действительно эффектвным менеджером и сэкономит компании миллионы бабла.

     
  • 3.14, ананоша (?), 16:39, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Т.е. другими словами, в базах данных ты не разбираешься абсолютно
     
  • 3.19, ыы (?), 18:56, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    потерял работу чтоли и досих пор не нашел?
     
  • 2.22, Аноним (22), 19:40, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    принцепе не плохой комментарий для опеннета , мог быть и лучше но и сейчас более не менее
     

  • 1.18, ыы (?), 18:55, 11/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Когда уже в постгресе бэкапы нормальные завезут? Такие как в mssql? Или опенсорс должен из принципа страдать?
     
     
  • 2.20, Иван (??), 19:10, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Нормальные это какие?
     
     
  • 3.21, ыы (?), 19:19, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Бэкапить отдельно каждую базу в кластере, и восстанавливать ее  на любой момент времени не останавливая остальные базы кластера.
     
     
  • 4.23, Аноним (23), 19:52, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    pg_dump?
     
     
  • 5.24, ыы (?), 20:24, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/

    https://postgrespro.ru/docs/enterprise/13/continuous-archiving


    "
    Программы pg_dump и pg_dumpall не создают копии на уровне файловой системы и не могут применяться как часть решения по непрерывной архивации. Создаваемые ими копии являются логическими и не содержат информации, необходимой для воспроизведения WAL.
    "

     
     
  • 6.25, Аноним (25), 20:41, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    И?
     
     
  • 7.29, ыы (?), 21:50, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    и все. приплыли...
     
     
  • 8.31, Аноним (25), 22:51, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    А в чём вопрос Непонятно как pg_dump пользоваться Почитай документацию ... текст свёрнут, показать
     
     
  • 9.33, ыы (?), 23:56, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ну давай, расскажи где в документации написано как восстановить с помощью pg_dum... текст свёрнут, показать
     
     
  • 10.51, Аноним (43), 22:52, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    до Непрерывное архивирование - еще не дочитал в доках ... текст свёрнут, показать
     
     
  • 11.52, ыы (?), 23:00, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Извиняюсь, а какая связь между pg_dump и Непрерывное архивирование ... текст свёрнут, показать
     
  • 6.26, Аноним (23), 21:03, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Программы pg_dump и pg_dumpall не создают копии на уровне файловой системы

    FYI, в этом вашем мускуле вообще нет никаких инструментов для физической репликации, не говоря уже о консистентном бэкапе.

     
  • 5.30, drTr0jan (?), 22:10, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    pg_dump/pg_restore - не является инструментом резервного копирования/восстановления.

    Банально, логическая структура базы может не позволить восстановить базу даже в три итерации с отключением триггеров (данные зависят от схемы данных, которая зависит от схемы настроек).

     
     
  • 6.32, Аноним (25), 22:52, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Можно пример?
     
  • 6.38, Аноним (38), 14:02, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Ок, как тогда по вашему делать бекапы и восстанавливать их в случае чего?
     
  • 4.27, анон (?), 21:07, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/wal-g/wal-g
     
     
  • 5.28, ыы (?), 21:42, 11/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
  • 4.39, Shodan (ok), 14:14, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    barman?
     
     
  • 5.42, ыы (?), 15:30, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
     
  • 6.44, Shodan (ok), 15:53, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Восстанавливает отдельную базу без остановки кластера?

    Восстанавливает wal файлы в любой момент времени, остановка кластера или не остановка это уже админ может сам организовать

     
     
  • 7.47, ыы (?), 16:01, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я спрашиваю про базу в не про WAL файлы
     
  • 3.35, Onotole (?), 02:19, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Barman - оцените.
     
     
  • 4.41, ыы (?), 15:30, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
  • 2.37, Денис (??), 08:42, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    pg_probackup
     
     
  • 3.40, ыы (?), 14:22, 12/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Восстанавливает отдельную базу без остановки кластера?
     
     
  • 4.53, Денис (??), 05:53, 13/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Всегда умел
     
     
  • 5.55, ыы (?), 09:40, 13/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Опишите пожалуйста последовательность действий и команды для этого
     

  • 1.58, Аноним (58), 16:44, 14/02/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Дополнительно можно отметить выпуск утилиты reshape

    К сожалению на мерзкой ржавчине => ненужно

     
     
  • 2.59, Аноним (58), 16:49, 14/02/2022 [^] [^^] [^^^] [ответить]  
  • +/
    У чела крыша поехал - он предлагает писать миграции в TOML
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру