The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от opennews (??) on 09-Сен-13, 14:35 
Для ядра Linux представлена (https://lkml.org/lkml/2013/9/1/55) реализация нового механизма кэширования на SSD-накопителях - dm-writeboost. Основным отличием новой системы от уже существующих механизмов DM-Cache (http://www.opennet.ru/opennews/art.shtml?num=36814) и Bcache (http://www.opennet.ru/opennews/art.shtml?num=35849) является ориентация на пакетную запись для продления службы SSD-накопителя и ускорения операций записи. Модуль dm-writeboost претендует на включение в экспериментальное дерево staging следующего выпуска ядра Linux.

Dm-writeboost хранит информацию в лог-подобной последовательно заполняемой цикличной структуре для заполнения которой случайный набор операций записи накапливается и сбрасывается на SDD в пакетном режиме в виде большого непрерывного блока. Подобный подход позволяет значительно поднять эффективность записи - при использовании dm-writeboost потеря производительности кэширования случайных запросов составляет всего 3% по сравнению с последовательной записью. Например, при пропускной способности SSD-накопителя в 266MB/s, dm-writeboost обеспечивает запись со скоростью  259MB/s.


URL: https://lkml.org/lkml/2013/9/1/55
Новость: http://www.opennet.ru/opennews/art.shtml?num=37864

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 09-Сен-13, 14:35 
Эээ... Асинхронный кэш записи в памяти? Нафига оно такое, это ж никакой надежности.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 10-Сен-13, 08:15 
Перед тем как попасть на блочное устройство, данные кэшируются в оперативной памяти (если вы, конечно не сбрасываете их принудительно с помощью fsync()). Тут добавляется ещё один уровень кэширования, на SSD. Конечно, надёжность снизится: поскольку кэшируются вообще все операции записи на блочном устройстве, то перестаёт работать журналирование и в случае отключения питания не только потеряются данные, но и может быть нарушена структура ФС. Однако, если вы беспокоитесь о сохранности именно данных, то нужно в любом случае обеспечивать бесперебойное питание. Или всё время делать fsync-и с соответствующей многократной потерей производительности.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от a (??) on 10-Сен-13, 11:10 
Структура ФС не может быть нарушена ибо операции записи атомарны. Просто часть данных не запишется, вместе с журналом конечно и будут сидеть на ssd. Собственно снижения надежности быть не должно
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

20. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +2 +/
Сообщение от Аноним (??) on 10-Сен-13, 16:14 
Структура ФС не нарушается не из-за атомарности, а из-за барьеров записи.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

25. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от XoRe (ok) on 10-Сен-13, 18:15 
Просто, для опций, с которыми данные могут похериться, обычно пишут PROBABLY LOSS OF DATA.
И переспрашивают 3 раза.
И так понятно, что на серверах могут быть 2 блока питания, которые воткнуты в разные ИБП, плюс батарейка на рейд контроллере.
Например, при включении writeback на рейд контроллере, даже с батарейкой, GUI контроллера все равно уточнит "вы уверены?".
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

2. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 09-Сен-13, 14:40 
На стационарнике без упса - да.
Расчитано-же это на всякие компакти девайсы со всотоенной системой бесперебойного питания.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 09-Сен-13, 15:14 
А смысл в отдельном модуле? Журнал на рам-диск и не парить мозг. :)
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

17. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +1 +/
Сообщение от Аноним (??) on 10-Сен-13, 12:40 
> Журнал на рам-диск и не парить мозг. :)

Гениально, Ватсон. А лучше сразу данные на рамдиск. Правда потом, после факапа, придется парить мозг вопросом "ой, а куда это все делось?!" :)

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

24. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от XoRe (ok) on 10-Сен-13, 18:10 
> На стационарнике без упса - да.
> Расчитано-же это на всякие компакти девайсы со всотоенной системой бесперебойного питания.

Батарейка вылетела/глюкнула и все.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  –2 +/
Сообщение от ua9oas email(ok) on 09-Сен-13, 14:48 
а много ли таких накопителей, у которых их аппаратная архитектура не является открытой? И насколько тогда и труднее и хуже будет получаться разработка СПО под них?
(насколько такие чудотехники за границей стоят дешевле, чем у нас на Руси?)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +4 +/
Сообщение от Яйцассыром on 09-Сен-13, 16:16 
1. Возможно
2. На 23%
3. На 107
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Crazy Alex (ok) on 09-Сен-13, 17:15 
Хм, автор забыл упомянуть сколько памяти при этом занимал кэш...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от анонимм on 09-Сен-13, 20:39 
Почему в тексте новости у SSD-накопителя 266мбайт/с вместо 6Гбит/с, которые пишут в рекламах и характеристиках товаров?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +6 +/
Сообщение от dxd on 09-Сен-13, 21:16 
Угадайте, кому лучше верить о скорости работы накопителей: маркетологам или разработчикам драйверов? Подсказка - зарплата вторых значительно слабее зависит от продаж.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +3 +/
Сообщение от Аноним (??) on 10-Сен-13, 00:47 
6Гбит/с - это пропускная способность SATA/SAS-шины.
266мбайт/с - это скорость записи в ячейки памяти.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

11. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  –1 +/
Сообщение от sabakka on 10-Сен-13, 09:28 
если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +1 +/
Сообщение от Чпок on 10-Сен-13, 09:32 
Ну как-бэ SSD можно ронять сильнее. Жрет меньше, весит меньше.
Делать проще! В НЖМД дофига металлообработки и офигительно сложная система сервомеханики. Не смотрите что сделана просто. Супер точно во первых, сложно в управлении во вторых.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

15. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от a (??) on 10-Сен-13, 11:12 
> Ну как-бэ SSD можно ронять сильнее. Жрет меньше, весит меньше.
> Делать проще! В НЖМД дофига металлообработки и офигительно сложная система сервомеханики.
> Не смотрите что сделана просто. Супер точно во первых, сложно в
> управлении во вторых.

НЖМД  дешевле, и это перевешивает всю ту ерунду которую вы написали

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

16. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от шргш on 10-Сен-13, 11:18 
Маркетологи такие маркетологи.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

14. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +1 +/
Сообщение от a (??) on 10-Сен-13, 11:11 
> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

как бы движения головок и время на него никто не отменял

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

19. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 10-Сен-13, 12:45 
> как бы движения головок и время на него никто не отменял

Плюс механика потенциально ненадежна и может отказать катастрофическим образом, например, запил поверхности - и все, прощай данные. С другой стороны флеш деградирует постепенно и общее состояние накопителя - относительно предсказуемо.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

21. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 10-Сен-13, 17:14 
Только вот дохнут всё равно неожиданно :)
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

23. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от XoRe (ok) on 10-Сен-13, 18:09 
> Только вот дохнут всё равно неожиданно :)

Да они дохнут изза контроллера.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  –1 +/
Сообщение от Аноним (??) on 11-Сен-13, 05:09 
Сдохших SSD (черт попутал поставить под кэш баз и кэш сквида) за последние 2 года, у меня 8 штук.
А вот сдохших HDD - ни одного.
Вопрос: что получается надёжнее, HDD или SSD?
У меня HDD на серверах ходят по 5-7 лет (трудно сейчас добыть диски SCSI 68-pin, только под заказ), SSD, больше года ни один не протянул.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

30. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Piter_Ring (ok) on 17-Сен-13, 09:10 
> Сдохших SSD (черт попутал поставить под кэш баз и кэш сквида) за
> последние 2 года, у меня 8 штук.
> А вот сдохших HDD - ни одного.
> Вопрос: что получается надёжнее, HDD или SSD?
> У меня HDD на серверах ходят по 5-7 лет (трудно сейчас добыть
> диски SCSI 68-pin, только под заказ), SSD, больше года ни один
> не протянул.

А ты лом в пилораму пробовал???

Под кэш сквида - купи 4 планки ДДР3-ЕСС.

А вот рэйд на ссдшках под базу сиквэлсервера дает винтам по балде от 6 до 11 раз!

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

18. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +1 +/
Сообщение от Аноним (??) on 10-Сен-13, 12:43 
> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

Затем что SSD в целом куда быстрее. Много ли 10k RPM вообще выжимает под 300 мегов в секунду? Там же хоть RPM и выше, но плотность записи никакая, так что скорость передачи на блины не такая уж и фантастичная.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

22. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Аноним (??) on 10-Сен-13, 17:15 
Оно и там и там не быстрее нитерфейса. 10K RPM SAS vs SATA-ii ... всяко может быть.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

28. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от sabakka on 13-Сен-13, 17:44 
>> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
> Затем что SSD в целом куда быстрее. Много ли 10k RPM вообще
> выжимает под 300 мегов в секунду? Там же хоть RPM и
> выше, но плотность записи никакая, так что скорость передачи на блины
> не такая уж и фантастичная.

200 выдают, без проблем, ставим 2 будет 400.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

27. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от tamerlan311 email on 11-Сен-13, 15:28 
Читается то кеш не в пакетном режиме. А в весьма хаотическом.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

29. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +1 +/
Сообщение от Michael Shigorin email(ok) on 13-Сен-13, 20:52 
> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.

Ну здрасьте, линейную скорость записи на 15krpm меряли?

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

31. "Доступен dm-writeboost, Linux-модуль для кэширования на SSD-..."  +/
Сообщение от Piter_Ring (ok) on 18-Сен-13, 22:32 
>> если запись последовательная, зачем тогда SSD, 10Krpm диска будет достаточно.
> Ну здрасьте, линейную скорость записи на 15krpm меряли?

меряли, ссд - быстрее.
пиписьки:
ХДД сигейты 15.7к 300Г в зеркале и ССД Интелы 520(вроде бы 240Г) так же в зеркале.
Гадать не будем, интел победил.

Хотя отрыв был не столь колоссальный как на иопсах на тех же носителях
при работе с БД.
Как я писал выше - на обработке тяжелых запросов получали тесты от 6 до 11кратного увеличения скорости выполнения.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру