The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

06.03.2018 23:10  Для PostgreSQL предложено новое хранилище zheap

Разработчики из компании EnterpriseDB представили новое хранилище zheap, которое предложено для включения в состав СУБД PostgreSQL 12. Хранилище zheap разработано для решения проблемы с разрастанием файлов с содержимым БД в результате фрагментации при обновлении содержимого записей и отличается от традиционного хранилища тем, что минимизирует необходимость выполнения операции VACUUM.

Суть предложенного в zheap формата хранения данных на диске в сохранении в основном хранилище только актуальных данных и выноса старых версий записей в отдельный лог отката изменений. При выполнении операций обновления записей данные в основном хранилище заменяются по месту, без применения схемы copy-on-write. Блоки, освобождающиеся в результате операций удаления или выполнения транзакции, для которых невозможна замена данных по месту, могут оперативно повторно использоваться сразу после высвобождения. Подобные особенности позволяют улучшить контроль за разрастанием хранилища и сделать его более предсказуемым.

Новое хранилище также позволяет добиться увеличения производительности и сократить размер служебных данных. Увеличение производительности достигается благодаря сокращению операций записи, путём исключения перезаписи страниц и выборочного обновления только индексированных столбцов без обновления каждого индекса. Оптимизация размера обеспечивается благодаря сокращению размера блоков (сокращён заголовок и исключено добавочное заполнение для выравнивания блока).

Тестирование производительности показало общее увеличение производительности, сокращение размера хранилища и более эффективное выполнение операций отката изменений. Наибольший выигрыш в производительности (до 45%) достигается в условиях большого числа операций перезаписи, а также когда операция UPDATE приводит к обновлению небольшого числа проиндексированных столбцов. Применение zheap также позволяет избавиться от проседания производительности во время активации процесса autovacuum и сократить число операций записи в WAL-лог. Из недостатков zheap упоминается более ресурсоёмкое выполнение операций удаления и сброса транзакций, а также снижение производительности при выполнении обновлений, затрагивающих большую часть проиндексированных столбцов.



  1. Главная ссылка к новости (http://amitkapila16.blogspot.r...)
  2. OpenNews: Релиз СУБД PostgreSQL 10
  3. OpenNews: Открыты исходные тексты СУБД CitusDB
  4. OpenNews: LinkedIn открыл код распределённого OLAP-хранилища Pinot
  5. OpenNews: Linux Foundation представил Kinetic, подключаемые через Ethernet самодостаточные хранилища
  6. OpenNews: В MySQL 8.0 отмечается закат хранилища MyISAM
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: postgresql, zheap
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, никто (??), 23:39, 06/03/2018 [ответить] [показать ветку] [···]    [к модератору]
  • +2 +/
    Это же как у ORALCE c его роллбасл сегментом .... старое они оставят ?
     
     
  • 2.4, Аноним (-), 05:39, 07/03/2018 [^] [ответить]     [к модератору]
  • +1 +/
    We have provided a storage engine option which you can set when creating a table... весь текст скрыт [показать]
     
     
  • 3.12, Аноним (-), 08:55, 07/03/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    Начинается свистопляска аля MySQL.
     
     
  • 4.27, rshadow (ok), 14:50, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Дык это с незапамятных времен было. Просто всех устраивает дефолтовый. Я думаю если бы в мускуле innodb был бы изначально по умолчанию, то myisam может и не вспомнил бы никто.
     
     
  • 5.29, angra (ok), 16:43, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    У myisam полнотекстовый поиск и быстрые insert update в наиболее частом варианте... весь текст скрыт [показать]
     
     
  • 6.36, Аноним (-), 18:04, 07/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Была другая более фундаментальная причина Пыхеры обычно обилием мозгов не отлич... весь текст скрыт [показать]
     
     
  • 7.46, angra (ok), 20:21, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Но ты то не такой, ты ведь понял недостатки MyISAM для тех задач. Так поведай о них, блесни интеллектом.
     
     
  • 8.49, YetAnotherOnanym (ok), 21:59, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Не знаю, как сейчас, а когда я имел дело с этим censored , myisam при записи ло... весь текст скрыт [показать]
     
  • 6.47, KonstantinB (ok), 20:30, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    innodb был как минимум с 3 23, и его преимуществом было всегда прежде всего то,... весь текст скрыт [показать]
     
  • 6.53, Аноним (-), 05:59, 08/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Регулярно вылавливаю последствия сладкой групповушки из MySQL MyISAM PHP Joomla... весь текст скрыт [показать]
     
  • 6.71, XoRe (ok), 18:54, 13/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Не единственным и не главным Главное преимущество innodb - поддержка транзакций... весь текст скрыт [показать]
     
  • 4.48, KonstantinB (ok), 20:37, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Начинается свистопляска аля MySQL.

    В данном случае не вижу в этом ничего плохого. Проблема мыскля не в этом, а в реализации (и, до последнего времени, в дефолтном myisam).

     
  • 1.3, Аноним (-), 05:37, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    ураааа, мы победили vacuum, vacuum больше ненужно!
    Опять...

     
     
  • 2.5, Аноним (-), 05:41, 07/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Ну при наличии undo rollback - действительно не нужно, нужно только purge Vacuu... весь текст скрыт [показать]
     
     
  • 3.11, Аноним (-), 08:45, 07/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    там ключевое слово - опять - я щетаю, прекрасно - то есть, по факту, сего... весь текст скрыт [показать]
     
     
  • 4.57, Аноним (-), 15:00, 08/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Плюсую. Однако надо помнить, что по ходу этот zheap добавляет лишние операции записи в оперативном периоде, тогда как vacuum и делается отложено и при ненадобности можно его выключить.
     
  • 1.6, Это я (?), 05:49, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    На тот случай, если не у всех есть fullflash схд - можно ли указать путь, где создавать/хранить индексы? Чтобы не приходилось их переносить вручную.
     
     
  • 2.40, Аноним (-), 18:14, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    При создании индекса можно указать целевое ТП, где данные индекса будут размещен... весь текст скрыт [показать]
     
  • 1.10, Аноним (-), 08:38, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    ZSTD сжатия до сих порт нет, inmemory таблиц до сих пор тоже нет. А обещали...
     
     
  • 2.35, Аноним (-), 18:00, 07/03/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    Зачем вот это вот inmemory Вы хоть немного себе представляете как типичная совр... весь текст скрыт [показать]
     
  • 1.15, лютый жабист__ (?), 10:56, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –10 +/
    Самое смешное, что для 90% проектов MVCC не нужно. Ну ваще не нужно. Никуда и никак.

    Вместо того, чтобы отломать транзакции, героически борются с их следствиями уже почти 20 лет...

     
     
  • 2.17, amonymous (?), 10:58, 07/03/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    Строите проекты без consistency? Ну удачи, чо.
     
     
  • 3.19, Аноним (-), 11:49, 07/03/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    Фактически так жестко нужно наверно лишь в 10% случаев. Упрямые бараны, делают проблему из ничего. Ну пускай дальше землю бодают, есть куча альтернатив...
     
     
  • 4.42, _ (??), 18:27, 07/03/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    >есть куча альтернатив...

    Это - да! Иди в садовники :)

     
  • 3.22, лютый жабист__ (?), 13:19, 07/03/2018 [^] [ответить]    [к модератору]  
  • –3 +/
    Выбрал ненужный в 90% случаев  C и отказался от нужного в 90% случаях А

    Ссзб чо

     
     
  • 4.43, _ (??), 18:28, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Это только у жабистов или-или. У нормальных людей - и то, и другое :-р
     
     
  • 5.54, лютый жабист__ (?), 12:37, 08/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Местные "банкиры локалхоста" отменили теорему cap. Не сомневался
     
     
  • 6.60, _ (??), 17:15, 08/03/2018 [^] [ответить]    [к модератору]  
  • +/
    У нас частый случай, который покрывает 146% приложений, работающих с баблом.
    А пиписки на заборе ... да хоть монгай рисуй :)
     
  • 2.20, Аноним (-), 12:00, 07/03/2018 [^] [ответить]    [к модератору]  
  • +17 +/
    >Самое смешное, что для 90% проектов MVCC не нужно. Ну ваще не нужно. Никуда и никак.

    Из серии "Самые тупые фразы в ИТ. Золотое издание" из разряда:
    * 90% времени отазоустойчивость не нужна
    * 90% времени бэкап не нужен
    * 90% проектов хватит одной базы данных на одном сервере у одного провайдера.

    Думаете, почему только 10% проектов успешны? Да потому что 90% обслуживают кретины.

     
     
  • 3.23, лютый жабист__ (?), 13:33, 07/03/2018 [^] [ответить]     [к модератору]  
  • –2 +/
    Экспедры опеннета считают, постгрес в теореме о САР весь такой распупырчатый сра... весь текст скрыт [показать]
     
     
  • 4.28, rshadow (ok), 15:02, 07/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Дык дело не в mvcc Просто в постгре очень много чего не доделано в плане обслуж... весь текст скрыт [показать]
     
     
  • 5.33, Аноним (-), 17:54, 07/03/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Я не знаю ни одной СУБД, где миграция на новую версию ПО файлов данных прежней происходит бесшовно.
     
     
  • 6.41, лютый жабист__ (?), 18:26, 07/03/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    > не знаю ни одной СУБД, где миграция на новую версию ПО файлов данных прежней происходит бесшовно.

    Подрастёшь, узнаешь

     
     
  • 7.51, Кузнец (?), 23:22, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Подрасту я уже вряд ли Давайте лучше примеры В Оракле переход с версии на верс... весь текст скрыт [показать]
     
     
  • 8.55, лютый жабист__ (?), 12:45, 08/03/2018 [^] [ответить]     [к модератору]  
  • +/
    В орацле вообще всё - жуткий гемор А то кто ж курсы купит Тут интересно, Монго... весь текст скрыт [показать]
     
     
  • 9.59, Кузнец (?), 16:46, 08/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Оракл отлично документирован Причём его освоение дёшево и доступно Слон в этом... весь текст скрыт [показать]
     
     
  • 10.63, лютый жабист__ (?), 19:55, 08/03/2018 [^] [ответить]     [к модератору]  
  • +/
    п1 А на нашей планете все курсы по Оракле от полтинника-сотни, даже самые плеши... весь текст скрыт [показать]
     
     
  • 11.64, Кузнец (?), 21:58, 08/03/2018 [^] [ответить]     [к модератору]  
  • +/
    По-моему, курсы по Ораклу совершенно бесполезны У Оракла отличная публичная бес... весь текст скрыт [показать]
     
     
  • 12.65, нах (?), 05:33, 09/03/2018 [^] [ответить]     [к модератору]  
  • +/
    курсы-то полезны, просто они не для вас в основном - во всяком случае, все эти ... весь текст скрыт [показать]
     
  • 12.67, лютый жабист__ (?), 20:12, 09/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Как могут быть отличной документацией талмуды на 100500 страниц про то, что само... весь текст скрыт [показать]
     
     
  • 13.68, Кузнец (?), 13:50, 10/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Ну тут уж кому и на горшок сходить самому или шнурки завязать -- мегаусложнённый крап.
     
  • 9.61, _ (??), 17:23, 08/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Ну ужос, да Но не УЖОС-УЖОС же Ваши жабьи ЕЕ иной раз позаковыристее любо... весь текст скрыт [показать]
     
  • 5.34, Аноним (-), 17:57, 07/03/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    Но ведь это и близко не так И репликация, и, тем более, резервное копирование в... весь текст скрыт [показать]
     
     
  • 6.45, Moomintroll (ok), 18:30, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Оракл со своим крайне удобным RMAN-ом

    Да ладно! Вы действительно считаете RMAN удобным?

    Функциональный - соглашусь.

     
     
  • 7.50, Кузнец (?), 23:20, 07/03/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Субъективно, конечно же, но по мне это лучшее решение. Обширная функциональность, хорошая документация, отличные возможности скриптинга, понятная модель.
     
  • 4.39, Аноним (-), 18:09, 07/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Чувак, как бэкапы связаны с реализацией mvcc в Слоне Ты вообще хоть немного пон... весь текст скрыт [показать]
     
  • 2.37, Аноним (-), 18:06, 07/03/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    Зачем тогда СУБД вообще В файлик пишите всё подряд К чему эта морока ... весь текст скрыт [показать]
     
     
  • 3.56, лютый жабист__ (?), 12:47, 08/03/2018 [^] [ответить]    [к модератору]  
  • +/

    > Зачем тогда СУБД вообще? В файлик пишите всё подряд.

    Изобрёл носкль? Увы, это сделали ещё 10 лет назад. И оно уже лет 5 как вытеснило рсубд

     
     
  • 4.58, Кузнец (?), 16:39, 08/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Понимаете, нет никакого носкуль Носкуль имплицитный скуль Т е вы пихаете к... весь текст скрыт [показать]
     
  • 4.62, _ (??), 19:06, 08/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Му-ха-ха До чего же жабщики на всю голову волшебные - Это 10 лет назад на... весь текст скрыт [показать]
     
     
  • 5.66, люьый жабист__ (?), 20:04, 09/03/2018 [^] [ответить]    [к модератору]  
  • +/
    key-value Это не субд.
     
  • 1.18, Аноним (-), 11:34, 07/03/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • –1 +/
    Я не совсем понял, они этакую VCS в СУБД придумали ... весь текст скрыт [показать]
     
     
  • 2.24, аноним 12 (?), 14:15, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Какие такие «они»? Сегмент наката так и хранится, просто они сделали ещё и сегмент отката.
     
     
  • 3.31, Аноним (-), 16:51, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Исторические данные в Слоне традиционно хранились вместе в одной и той же ... весь текст скрыт [показать]
     
     
  • 4.38, Аноним (-), 18:06, 07/03/2018 [^] [ответить]     [к модератору]  
  • +/
    вместе с актуальными ... весь текст скрыт [показать]
     
  • 2.30, Аноним (-), 16:47, 07/03/2018 [^] [ответить]    [к модератору]  
  • +/
    MVCC. Нет, не слышал?
     
  • 1.26, Аноним (-), 14:49, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Сделали таки сегменты отката. Не очень нужно, в общем-то.
    Нормально настроенные autovacuum удобней, чем возьня с контролем за местом ещё и под сегменты отката.
     
  • 1.52, Кузнец (?), 23:29, 07/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    В Слоне же единственной проблемой реализации MVCC были короткие 32-битные XID-ы. Ну так эту проблему вынос исторических данных в отдельный хип не решает ни в какой мере. Да и проблемой это сложно назвать, если честно. В общем, не знаю: по-моему, Слон 9.2 был и так, в плане концепции, вполне достаточен. Дальше уже пошли куда-то... вширь.
     
  • 1.69, DeadMustdie (??), 14:36, 12/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > выноса старых версий записей в отдельный лог отката изменений

    О да, они сделали UNDO aka ROLLBACK SEGMENT

    > исключения перезаписи страниц

    И похоже, добавили буферные пулы.

    Интересно, почему сие произошло только сейчас? :)

     
     
  • 2.70, Andrey Mitrofanov (?), 16:18, 12/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Интересно, почему сие произошло только сейчас? :)

    Почему сейчас? Так ентропия легла.

    Манагеры ентерпрайсдебе прочитали wikipedia://MVCC и запилили в свой сейлз-буклетик к|/|ллер-фичу "как в оракле".

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor