The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

21.12.2017 22:15  Релиз Memcached 1.5.4 с поддержкой кэша на SSD-накопителях

Подготовлен релиз системы кеширования данных в оперативной памяти Memcached 1.5.4, оперирующей данными в формате ключ/значение и отличающейся простотой использования. Memcached обычно применяется как легковесное решение для ускорения работы высоконагруженных сайтов путём кэширование доступа к СУБД и промежуточным данным. Код поставляется под лицензией BSD.

Новая версия интересна добавлением прослойки для работы с внешними хранилищами, позволяющая использовать SSD/Flash-накопители для расширения размера кэша. Как и при использовании оперативной памяти, хранилище на Flash не является постоянным и сбрасывается при перезапуске. В качестве области применения нового режима называется обеспечения эффективного кэширования данных большого размера.

Суть нового метода заключается в том, что ключи и метаданные, как и раньше, хранится только в оперативной памяти. Если связанные с ключом данные небольшого размера, то Memcached работает как обычно, держит данные в памяти и не обращается к внешнему хранилищу. Но если данные больше определённого значения, они сохраняются во внешнее хранилище, а в ОЗУ остаётся только указатель. Если свободной памяти много, то наиболее востребованные данные дополнительно могут полностью находиться в кэше в оперативной памяти (например можно указать, чтобы на Flash сбрасывались только объекты больше 1024 байт, к которым не было обращений 3600 секунд").

Основной упор делается на обеспечении максимальной производительности и минимальной нагрузки на CPU, в ущерб эффективности хранения и потери данных после перезапуска. В лучшем случае из-за фрагментации эффективность использования выделенного постоянного хранилища составляет 80-90%. Для снижения фрагментации применяется технология уплотнения страниц памяти в хранилище. Для продления ресурса Flash-накопителей данные буферизируются и сбрасываются в хранилище последовательно. Для обработки ввода/вывода используется пул потоков, сбрасывающих данные в асинхронном режиме.

Возможность пока остаётся экспериментальной, но отмечается как достаточно стабильная и хорошо протестированная. Например, новый режим уже используется компанией Netflix в своей основной инфраструктуре. Для включения внешнего хранилища следует использовать опцию "-o ext_path=/mnt/somefile,ext_page_count=100" (где /mnt/somefile файл с БД, а 100 - число страниц хранения по 64 Мб каждая), предварительно собрав memcached с указанием "./configure --enable-extstore".

  1. Главная ссылка к новости (https://github.com/memcached/m...)
  2. OpenNews: Выпуск СУБД Redis 4.0 с новым движком репликации и поддержкой модулей
  3. OpenNews: Критические уязвимости в Memcached
  4. OpenNews: Выпуск СУБД Couchbase Server 4.0, сочетающей возможности CouchDB, memcached и Membase
  5. OpenNews: Релиз Memcached 1.4.10 со значительным увеличением производительности
  6. OpenNews: Проекту memcached исполнилось 10 лет
Лицензия: CC-BY
Тип: Программы
Ключевые слова: memcached
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Показать все | RSS
 
  • 1.1, username, 23:09, 21/12/2017 [ответить] [смотреть все]    [к модератору]
  • –3 +/
    Оно живо. Ты смотри.
     
     
  • 2.34, Аноним, 09:29, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]
  • +2 +/
    Иногда главное вовремя остановиться Memcached отличный, полностью завершенный п... весь текст скрыт [показать] [показать ветку]
     
  • 1.2, Crazy Alex, 23:09, 21/12/2017 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    Не пойму, а какая религия им помешала сделать персистентность? На тех же условиях, что и сейчас - без гарантий, если вам не повезло - то кэш умер, как всегда с мемкешом и было? По идее, для этого же вообще ничего не нужно?
     
     
  • 2.3, Аноним, 23:19, 21/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Лишние несколько байт на сохранение ключа вместе с данными на постоянном носител... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.4, Аноним, 23:26, 21/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    Но я бы всё же сделал, что-то типа CoW - кроме ключа сохранял бы время записи, а... весь текст скрыт [показать]
     
     
  • 4.5, ыы, 23:38, 21/12/2017 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    зачем?
     
     
  • 5.7, Аноним, 23:54, 21/12/2017 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Чтобы кэш тёплым после перезапуска оставался.
     
     
  • 6.26, ыы, 08:53, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    После перезапуска с какой целью и с каким временем простоя ... весь текст скрыт [показать]
     
     
  • 7.36, Аноним, 09:56, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Например, могут динамически генерироваться картинки видео звук При полном сброс... весь текст скрыт [показать]
     
     
  • 8.37, sabakka, 10:47, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    если больше трех мемкэш серверов, то проседание производительности будет незначи... весь текст скрыт [показать]
     
     
  • 9.43, J.L., 15:15, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    я правильно понимаю что мемкешед можно держать на двух нодах с разным содержимым... весь текст скрыт [показать]
     
  • 2.18, KonstantinB, 02:31, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Вопрос в том, как реализовать дамп без блокировок В архитектуре мемкеша нет ник... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.24, Аноним, 08:19, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • –3 +/
    приличная хранилка имеет скорость 10-15 Gbyte s сервак с 256G-512G - запишет св... весь текст скрыт [показать]
     
     
  • 4.25, ыы, 08:30, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    вы имеете в виду скорость записи на диск ... весь текст скрыт [показать]
     
  • 3.30, Роман, 09:07, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Тарантул делает дамп без блокировок и без форка Не единственный, можно mvcc в п... весь текст скрыт [показать]
     
     
  • 4.46, Аноним, 04:04, 24/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ну, сравнили Тарантул - это хоть и специфичная, но вполне полноценная субд-верс... весь текст скрыт [показать]
     
  • 1.9, Аноним, 00:38, 22/12/2017 [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    вот и началась стираться граница между озу и диском интересно, когда на компах... весь текст скрыт [показать]
     
     
  • 2.11, VINRARUS, 00:47, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    Вообще то это началось с добавлением кэша диска в неиспользуюмую оперативку под ... весь текст скрыт [показать] [показать ветку]
     
  • 2.13, Аноним, 00:49, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –2 +/
    Надеюсь никогда, ибо ненужно Для для машины с быстрой энергонезависимой памятью... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.40, Аноним, 11:07, 22/12/2017 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    См. #38.
     
  • 2.15, Avator, 01:11, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    ИМХО я думаю что придёт просто к тому что диск по скорости догонит или почти дог... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.16, VINRARUS, 02:26, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Всё будет ещо проще - появится энергонезависимая ОЗУ И вот после этого надоб... весь текст скрыт [показать]
     
     
  • 4.19, KonstantinB, 02:40, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Если появится энергонезависимая ОЗУ по цене накопителей, то надобность отпадет о... весь текст скрыт [показать]
     
     
  • 5.22, letsmac, 03:18, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ага а резервные копии идиоты придумали Интересно как в таком идеальном хранилищ... весь текст скрыт [показать]
     
  • 5.27, ыы, 08:56, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    а через IPC нельзя передать просто бинарные данные ... весь текст скрыт [показать]
     
  • 4.21, letsmac, 03:17, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    В 80-х Smalltalk таки работал в полностью сохраняющей состояние машине Но тогда... весь текст скрыт [показать]
     
     
  • 5.28, ыы, 09:00, 22/12/2017 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Иными словами - технология доказала свою неэффективность еще  20+ лет назад
     
     
  • 6.29, ыы, 09:06, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    А вот например Ерланг, тоже кстати не молодой, построенный на прямо противополож... весь текст скрыт [показать]
     
  • 6.45, Аноним, 18:10, 23/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Не успела доказать 8212 упёрлась в технические ограничения в виде слишком мед... весь текст скрыт [показать]
     
  • 3.39, Аноним, 11:07, 22/12/2017 [^] [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    См. #38
     
  • 3.41, Аноним, 11:09, 22/12/2017 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Физику в школу учить, диск физически не может, т к скорость света в нашу вселен... весь текст скрыт [показать]
     
  • 2.38, Аноним, 11:05, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Гуглите "память на мемристорах" и HP The Machine.
     
  • 1.31, Роман, 09:09, 22/12/2017 [ответить] [смотреть все]    [к модератору]  
  • +/
    .


    > Суть нового метода заключается в том, что ключи и метаданные, как и
    > раньше, хранится только в оперативной памяти. Если связанные с ключом данные
    > небольшого размера, то Memcached работает как обычно, держит данные в памяти
    > и не обращается к внешнему хранилищу. Но если данные больше определённого
    > значения, они сохраняются во внешнее хранилище, а в ОЗУ остаётся только
    > указатель. Если свободной памяти много, то наиболее востребованные данные дополнительно
    > могут полностью находиться в кэше в оперативной памяти (например можно указать,
    > чтобы на Flash сбрасывались только объекты больше 1024 байт, к которым
    > не было обращений 3600 секунд").

    Не понятно зачем нужна данная фича, если тот же Тарантул уже лет восемь как умеет хранить данные в памяти, но при этом они персистетны на диске. Таким образом, решается проблема старта с холодном кешом. К тому же, тарантул - это СУБД и имеет таблицы, транзакции, репликацию и прочее, тогда как мешкеш тупо 'кеш."

     
     
  • 2.32, ыы, 09:18, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    Не понятно зачем нужен Тарантул , ведь есть Oracle который покруче Тарантула, и ... весь текст скрыт [показать] [показать ветку]
     
  • 2.33, ыы, 09:23, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Вы бы не могли более подробно рассказать об этой проблеме в контексте веб-прилож... весь текст скрыт [показать] [показать ветку]
     
  • 2.42, Аноним, 14:36, 22/12/2017 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Вашими же словами перечитайте новость когда хранить хочется чуточку больше , ... весь текст скрыт [показать] [показать ветку]
     
  • 1.35, Inv, 09:55, 22/12/2017 [ответить] [смотреть все]    [к модератору]  
  • +/
    Ждем интеграции с systemd
     
     
  • 2.47, anonymous, 13:11, 28/12/2017 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    ждем смерти systemd
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor