The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Система кэширования на SSD-накопителях BCache претендует на ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от opennews (ok) on 16-Янв-13, 15:01 
Кент Оверстрит (Kent Overstreet) объявил (https://lkml.org/lkml/2013/1/14/448) в списке рассылки разработчиков ядра Linux о готовности реализации системы кэширования блочных устройств на SSD-накопителях BCache (http://bcache.evilpiepirate.org/) для интеграции в ядро Linux. Первые реализации Bcache были представлены ещё в 2010 году и развивались обособленно, теперь все требования по оформлению кода выполнены, а ранее мешавшие интеграции кода ограничения в уровне блочных устройств Linux обойдены, и проект в скором времени может быть принят в основное ядро. Проект отмечается как стабильный и достаточно давно используемый на нескольких крупных серверах в режиме промышленной эксплуатации.


Bcache позволяет организовать кэширование доступа к медленным жестким дискам на быстрых SSD-накопителях, при этом кэширование ведётся на уровне блочного устройства, что позволяет ускорить доступ к накопителю независимо от используемых на нём файловых систем. Один SSD-накопитель может использоваться для кэширования нескольких различных блочных устройств. Блочное устройство может быть на лету прикреплено к кэшу и отключено от него, без размонтирования и временно остановки работы.


Поддерживается два режима кэширования: сквозное кэширование (writethrough), при котором записываемые данные сразу сохраняются на исходном накопителе и оседают в кэше только для ускорения операций чтения; режим отложенной записи (writeback) при котором данные записываются на исходный носитель не сразу, что позволяет обеспечить ускорение операций записи но может привести к потере блоков данных при сбое SSD-накопителя. Дополнительно поддерживается, но отключен по умолчанию, режим readahead, при котором кэш наполняется не только при записи, но и при операциях чтения.


Из особенностей Bcache также можно отметить достаточно продвинутую логику кэширвоания, например, Bcache выявляет и не сохраняет в кэше последовательные обращения к большому объему данных, кэшируя только операции случайного чтения и записи. Bcache пытается оптимально использовать характеристики SSD-накопителей, учитывая ограниченный ресурс по записи данных и преобразуя случайные операции записи в последовательное заполнение накопителя. При writeback-кэшировании, при сбросе данных на диск, данные группируются с учётом минимизации перемещения головок диска. Универсальный подход к кэшированию делает Bcache подходящим решением как для серверных систем и крупных массивов хранения, так и для рабочих станций и встраиваемых систем.

Большое внимание также уделяется надёжности хранения данных и обработке внештатных ситуаций, таких как внезапное выключение питания. BCache контролирует такие ситуации и после возобновления работы дописывает на жесткий диск данные, которые остались в кэше но не были записаны на диск в момент сбоя при активном режиме writeback. BCache возвращает статус успешной операции только после того как данные сохранены на постоянном носителе (на SSD при использовании режима writeback).

URL: https://lkml.org/lkml/2013/1/14/448
Новость: http://www.opennet.ru/opennews/art.shtml?num=35849

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от pavlinux (ok) on 16-Янв-13, 15:01 
> - выявляет и не сохраняет в кэше последовательные обращения к большому объему данных кэшируя только операции случайного чтения и записи.
> -  оптимально использовать характеристики SSD-накопителей, учитывая ограниченный ресурс по записи данных.
> - преобразуя случайные операции записи в последовательное заполнение накопителя.
> - данные группируются с учётом минимизации перемещения головок диска.

У меня такое ощущение, что он переделал TAR (Tape ARchiver) или
эмулятор контроллера ленточного накопителя :)  

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Система кэширования на SSD-накопителях BCache претендует на ..."  –3 +/
Сообщение от Аноним (??) on 16-Янв-13, 17:25 
> У меня такое ощущение, что он переделал TAR

Что ты такое куришь, Павлин? Мне всегда было интересно - что надо скурить чтобы такую фигню с таким упоением нести в массы :)

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

54. "Система кэширования на SSD-накопителях BCache претендует на ..."  –5 +/
Сообщение от pavlinux (ok) on 16-Янв-13, 19:49 
Я-то что, а вот писать х...ню, о том, что написали ху..ню, не указывая в чем, вот это верх дебилизма.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

57. "Система кэширования на SSD-накопителях BCache претендует на ..."  +15 +/
Сообщение от zzz (??) on 16-Янв-13, 20:26 
Вы оба правы.
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

61. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от dRiZd on 16-Янв-13, 21:49 
Что-то мне это напоминает CacheCade от LSI и MaxCache от Adaptec.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

77. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от pavlinux (ok) on 17-Янв-13, 16:06 
> Что-то мне это напоминает CacheCade от LSI и MaxCache от Adaptec.

Ну вот, хоть один вкурил.

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

2. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от codejumper on 16-Янв-13, 15:02 
> поддерживается, но отключен по умолчанию, режим readahead, при котором кэш наполняется не только при записи, но и при операциях чтения

а разве это не режим с самой высокой производительностью?
почему он отключен?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Дмитрий email(??) on 16-Янв-13, 15:05 
Тоже не понял это решение.
Ведь если кешировать то, что читается, наиболее востребованные данные будут на SSD.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от codejumper on 16-Янв-13, 15:10 
отвечу самому себе:
возможно, если кэшировать, всё, что читается, то при просмотре видео будет быстро умирать SSD
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

65. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от all_glory_to_the_hypnotoad (ok) on 17-Янв-13, 01:12 
там же написано, последовательные чтения/запись не кешируются
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от dalco (ok) on 16-Янв-13, 15:17 
Возможно, просто берегут ресурс SSD. Если я правильно понял логику работы кеша, то при readahead режиме количество данных, сливаемых в SSD, растет в разы, причем далеко не все из этих данных будут впоследствии востребованы (особенно, если учесть строчку о том, что bcache избегает последовательного чтения).

UPD. Опередили :)

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

12. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:29 
И сейчас мы придем - ВНИМАНИЕ! - ТАДАААААА!! - к ARC. Всеми з@блеванный и который тут только ленивый не пинал - ARC! С его двухуровневым кэшированием, в т.ч. SSD.

NIH во всей красе, ляпотаааааааааааа. Ну просто чудо как хороши эти пiнгвин@иды!

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

20. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от ктото on 16-Янв-13, 15:49 
"ви таки нэ поняли"
и где здесь отрезанный от ОЗУ кусок? Вижу что-то подобное L2ARC+ZIL (точнее общий настраиваемый l2 кеш) а вот ARC в ОЗУ не вижу...
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

23. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:58 
Боюсь, это ви не поняли. L2ARC - Это не часть ARC? Не? Который состоит из L1 и L2 в текущей версии? Будем иезуитствовать дальше или по существу есть возражения?
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

25. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от ктото on 16-Янв-13, 16:08 
покажите мне подсистему в Linux-е, которая будет ARC (без приставки L2 - кеш чтения первого уровня), на который все "наезжали" в ZFS - и разберемся в чем отличие ее от ARC.

bcache - повторюсь это *грубо* аналог L2ARC (кеш чтения второго уровня) + ZIL (кеш записи).

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

46. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от iZEN (ok) on 16-Янв-13, 18:19 
> Боюсь, это ви не поняли. L2ARC - Это не часть ARC? Не?

L2ARC не часть ARC (который целиком в памяти и динамически изменяет свой размер), а отдельное виртуальное устройство ZFS пула (cache device), служащее промежуточным слоем кэширования данных при чтении с дисков между основной памятью и дисками. Не поддерживает объединения физических устройств кэширования в mirror и raid-z.

ZIL, кэш на запись — это виртуальное устройство ZFS пула (log device), призваное обеспечить асинхронную запись данных в пул. Поддерживает объединение физических устройств кэширования в mirror.

> Который состоит из L1 и L2 в текущей версии? Будем иезуитствовать
> дальше или по существу есть возражения?

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

32. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Stax (ok) on 16-Янв-13, 17:13 
На ARC злые патенты, его нельзя просто так взять и реализовать. Что еще остается делать, кроме как придумывать альтернативу? Смешные вы, вначале запатентуете вусмерть, а потом пытаетесь пиарить. Спасибо, лучше изобрести что похуже или иначе, но не лезть в патентное болото.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

38. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от linux must _RIP_ on 16-Янв-13, 17:28 
насколько я понимаю вопрос не в пиаре - вопрос в том что тут кричали "не нужно" "отстой - надо выкинуть",
а сами тихонько пилили аналог.

PS, часть патентов на ARC принадлежит IBM - но это же лучший друг Linux ?

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

69. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Anonimous on 17-Янв-13, 09:03 
Ну что ты как маленький, кричали одни, а пилили другие
Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

43. "Система кэширования на SSD-накопителях BCache претендует на ..."  –4 +/
Сообщение от Аноним (??) on 16-Янв-13, 17:50 
> Что еще остается делать, кроме как придумывать альтернативу?

Лицензировать патенты, не?

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

49. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 16-Янв-13, 19:22 
EPIC FAIL! ARC в ZFS - это отдельный системонезависимый кэш в памяти, который нормально системой не управляется. В данном случае имеем аналог L2ARC, не более.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

80. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от iZEN (ok) on 17-Янв-13, 18:07 
> ARC в ZFS - это отдельный системонезависимый кэш в памяти,
> который нормально системой не управляется.

А чем он управлятся, интересно, как не системой. Может святым духом? Из Астрала?! :))

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

83. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 18-Янв-13, 08:28 
> А чем он управлятся, интересно, как не системой. Может святым духом? Из
> Астрала?! :))

Управляется он только внутри ZFS, и к ОС имеет примерно такое же отношение, как и юзерспейс.

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

74. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от Аноним (??) on 17-Янв-13, 12:34 
> И сейчас мы придем - ВНИМАНИЕ! - ТАДАААААА!! - к ARC.

Не ARC а чему-то отдаленно похожему L2ARC. А вот этот ваш ARC который память жрет и системе ее не может отдать при необходимости - вот вы таким и пользуйтесь.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

81. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от iZEN (ok) on 17-Янв-13, 18:08 
>> И сейчас мы придем - ВНИМАНИЕ! - ТАДАААААА!! - к ARC.
> Не ARC а чему-то отдаленно похожему L2ARC. А вот этот ваш ARC
> который память жрет и системе ее не может отдать при необходимости
> - вот вы таким и пользуйтесь.

Не знал, что в Linux с ZFS ARC-кэш память жрёт и не отдаёт. Теперь буду знать.


Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

84. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 18-Янв-13, 08:29 
> Не знал, что в Linux с ZFS ARC-кэш память жрёт и не
> отдаёт. Теперь буду знать.

И в Linux, и в BSD, и в Solaris... В силу убогого дизайна.

Ответить | Правка | ^ к родителю #81 | Наверх | Cообщить модератору

88. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iZEN (ok) on 18-Янв-13, 20:26 
>> Не знал, что в Linux с ZFS ARC-кэш память жрёт и не
>> отдаёт. Теперь буду знать.
> И в Linux, и в BSD, и в Solaris...

Интересно, а где ты об этом прочитал?


Ответить | Правка | ^ к родителю #84 | Наверх | Cообщить модератору

89. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 18-Янв-13, 22:45 
> Интересно, а где ты об этом прочитал?

У санок/оракла. Про архитектуру ZFS + Evil Tuning Guide. А щито, собственно?

Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

92. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iZEN (ok) on 18-Янв-13, 23:26 
>> Интересно, а где ты об этом прочитал?
> У санок/оракла. Про архитектуру ZFS + Evil Tuning Guide. А щито, собственно?

ARC — это адаптивный кэш. Изменяет свой размер как в сторону увеличения (когда идёт кэширование), так и в сторону уменьшения (когда запускаются новые приложения и им нужна память).

Начинаю копировать большой файл, размер которого больше, чем размер оперативной памяти:

% top

last pid:  8469;  load averages:  0.14,  0.77,  1.06    up 0+03:07:37  23:04:44
61 processes:  1 running, 60 sleeping
CPU:  1.8% user,  0.0% nice,  1.7% system,  0.0% interrupt, 96.6% idle
Mem: 844M Active, 108M Inact, 5435M Wired, 4420K Cache, 1016M Free
ARC: 4420M Total, 2160M MRU, 1741M MFU, 24M Anon, 71M Header, 424M Other
Swap: 1024M Total, 1024M Free

% top

last pid:  8473;  load averages:  0.18,  0.59,  0.94    up 0+03:09:49  23:06:56
63 processes:  1 running, 62 sleeping
CPU:  3.1% user,  0.0% nice,  0.7% system,  0.3% interrupt, 95.9% idle
Mem: 404M Active, 296M Inact, 6131M Wired, 187M Cache, 389M Free
ARC: 5243M Total, 2920M MRU, 1818M MFU, 14M Anon, 73M Header, 417M Other
Swap: 1024M Total, 1024M Free

Запускаю приложения: RSSOwl, Deluge, Firefox, Thunderbird:

% top

last pid:  8541;  load averages:  1.12,  0.69,  0.91    up 0+03:12:23  23:09:30
64 processes:  1 running, 63 sleeping
CPU:  8.1% user,  0.0% nice,  2.2% system,  0.0% interrupt, 89.6% idle
Mem: 487M Active, 540M Inact, 6004M Wired, 644K Cache, 376M Free
ARC: 5122M Total, 2812M MRU, 1818M MFU, 592K Anon, 76M Header, 416M Other
Swap: 1024M Total, 1024M Free

% top

last pid:  8545;  load averages:  0.60,  0.61,  0.85    up 0+03:13:53  23:11:00
65 processes:  1 running, 64 sleeping
CPU:  5.7% user,  0.0% nice,  2.8% system,  0.0% interrupt, 91.5% idle
Mem: 487M Active, 521M Inact, 6010M Wired, 644K Cache, 388M Free
ARC: 5123M Total, 2686M MRU, 1920M MFU, 32M Anon, 71M Header, 414M Other
Swap: 1024M Total, 1024M Free

% top

last pid:  8565;  load averages:  0.56,  0.59,  0.81    up 0+03:15:43  23:12:50
66 processes:  1 running, 65 sleeping
CPU:  5.0% user,  0.0% nice,  1.7% system,  0.4% interrupt, 92.9% idle
Mem: 603M Active, 439M Inact, 5970M Wired, 1140K Cache, 394M Free
ARC: 5075M Total, 2421M MRU, 2170M MFU, 8416K Anon, 68M Header, 408M Other
Swap: 1024M Total, 1024M Free


Конец копирования большого файла:

% top

last pid:  8578;  load averages:  0.57,  0.54,  0.68    up 0+03:23:22  23:20:29
67 processes:  1 running, 66 sleeping
CPU: 10.0% user,  0.0% nice,  1.3% system,  0.0% interrupt, 88.7% idle
Mem: 654M Active, 490M Inact, 5751M Wired, 1136K Cache, 511M Free
ARC: 4847M Total, 2014M MRU, 2364M MFU, 592K Anon, 66M Header, 403M Other
Swap: 1024M Total, 1024M Free


Закрываю RSSOwl, Thunderbird, Deluge:

% top

last pid:  8590;  load averages:  0.64,  0.61,  0.68    up 0+03:25:40  23:22:47
65 processes:  1 running, 64 sleeping
CPU:  9.4% user,  0.0% nice,  1.0% system,  0.0% interrupt, 89.6% idle
Mem: 455M Active, 464M Inact, 5862M Wired, 1092K Cache, 625M Free
ARC: 4961M Total, 2051M MRU, 2440M MFU, 592K Anon, 66M Header, 403M Other
Swap: 1024M Total, 1024M Free

Как видишь, ARC всё-таки изменяет размер не только в большую сторону, но и способен уменьшаться, когда у запускаемых приложений возникает потребность в свободной памяти.

Ответить | Правка | ^ к родителю #89 | Наверх | Cообщить модератору

93. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 19-Янв-13, 10:34 
> ARC — это адаптивный кэш. Изменяет свой размер как в сторону увеличения
> (когда идёт кэширование), так и в сторону уменьшения (когда запускаются новые
> приложения и им нужна память).

Спасибо, кэп. Вот только делает это сам, по своей внутренней логике, не пересекающейся с логикой ядра. Ядерный же кеш отдает память, как только её запросила система. Немедленно. В пределах работы подсистемы распределения памяти.

> Начинаю копировать большой файл, размер которого больше, чем размер оперативной памяти:
> Запускаю приложения: RSSOwl, Deluge, Firefox, Thunderbird:

Дооооолго. Надо сразу запустить приложение, которое сразу захочет приличный объем памяти. Оно либо получит no memory, если свопа нет, либо сразу залезет в своп, и будет там ждать, пока распрекраснейший ARC отдаст память. В случае систем, где >70% памяти свободно - это более-менее приемлемо. В случае нагруженных серверов - в баню.

> Как видишь, ARC всё-таки изменяет размер не только в большую сторону, но
> и способен уменьшаться, когда у запускаемых приложений возникает потребность в свободной
> памяти.

Еще раз спасибо, кэп. Только вот то, что память не освобождается кешем по первому требованию - делает его пригодным исключительно для файлопомоек. На остальных применениях - либо ограничивать ручками, либо слишком рискованно.

Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

94. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iZEN (ok) on 19-Янв-13, 13:54 
>> ARC — это адаптивный кэш. Изменяет свой размер как в сторону увеличения
>> (когда идёт кэширование), так и в сторону уменьшения (когда запускаются новые
>> приложения и им нужна память).
> Спасибо, кэп. Вот только делает это сам, по своей внутренней логике, не
> пересекающейся с логикой ядра. Ядерный же кеш отдает память, как только
> её запросила система. Немедленно. В пределах работы подсистемы распределения памяти.
>> Начинаю копировать большой файл, размер которого больше, чем размер оперативной памяти:
>> Запускаю приложения: RSSOwl, Deluge, Firefox, Thunderbird:
> Дооооолго. Надо сразу запустить приложение, которое сразу захочет приличный объем памяти.

Да, наверно. Но такого приложения кроме Java (которую можно настроить на захват максимального объёма памяти сразу) у меня пока нет. Надо будет OpenOffice собрать.

> Оно либо получит no memory, если свопа нет, либо сразу залезет
> в своп, и будет там ждать, пока распрекраснейший ARC отдаст память.
> В случае систем, где >70% памяти свободно - это более-менее приемлемо.
> В случае нагруженных серверов - в баню.

Как видишь, SWAP оставался незадействованным на всём протяжении эксперимента. Хотя свободной памяти оставалось относительно немного — ARC возвращал системе затребованную вновь запускаемыми приложениями память НЕМЕДЛЕННО.

>> Как видишь, ARC всё-таки изменяет размер не только в большую сторону, но
>> и способен уменьшаться, когда у запускаемых приложений возникает потребность в свободной
>> памяти.
> Еще раз спасибо, кэп. Только вот то, что память не освобождается кешем
> по первому требованию - делает его пригодным исключительно для файлопомоек. На
> остальных применениях - либо ограничивать ручками, либо слишком рискованно.

ARC всё же отдаёт память. Уже запущенные приложения и вновь запускаемые не сваливаются в SWAP "до лучших времён". Так что твои выводы беспочвенны.

Кстати, поведение ARC можно легко подстроить через sysctl-переменные для более гибкого управления памятью кэша, чтобы снизить латентность выделения памяти (которую лично я не заметил на своём десктопе), когда часто создаются и завершаются процессы, которым нужна свободная память, а также в ситуации, когда необходимо работать с сотнями-тысячами короткоживущих процессов.

Ответить | Правка | ^ к родителю #93 | Наверх | Cообщить модератору

95. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 19-Янв-13, 16:08 
> ARC всё же отдаёт память. Уже запущенные приложения и вновь запускаемые не
> сваливаются в SWAP "до лучших времён". Так что твои выводы беспочвенны.

Позволю себе уточнить: это НЕ МОИ выводы.
http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuni...

Ответить | Правка | ^ к родителю #94 | Наверх | Cообщить модератору

96. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от iZEN (ok) on 20-Янв-13, 00:38 
>> ARC всё же отдаёт память. Уже запущенные приложения и вновь запускаемые не
>> сваливаются в SWAP "до лучших времён". Так что твои выводы беспочвенны.
> Позволю себе уточнить: это НЕ МОИ выводы.
> http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuni...

И какие конкретно предложения в статье тебе показались трудными для понимания и осмысливания, что ТЫ_СДЕЛАЛ далеко идущие выводы? Давай вместе разберёмся на опыте, поставим эксперимент.

Ответить | Правка | ^ к родителю #95 | Наверх | Cообщить модератору

97. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 20-Янв-13, 03:17 
> И какие конкретно предложения в статье тебе показались трудными для понимания и
> осмысливания, что ТЫ_СДЕЛАЛ далеко идущие выводы? Давай вместе разберёмся на опыте,
> поставим эксперимент.

чЕтай, чудик. внимательно

Some applications include free-memory checks and refuse to start if there is not enough RAM available - even though the ARC would release its memory based on applications' requests to the OS kernel for memory. Sometimes the ARC can be too slow to release the memory, and better-behaving applications (without preliminary checks) experience longer delays when requesting memory.

Еще раз ДОТ:

Sometimes the ARC can be too slow to release the memory, and better-behaving applications (without preliminary checks) experience longer delays when requesting memory.

Ответить | Правка | ^ к родителю #96 | Наверх | Cообщить модератору

98. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iZEN (ok) on 20-Янв-13, 15:32 
>[оверквотинг удален]
> Some applications include free-memory checks and refuse to start if there is
> not enough RAM available - even though the ARC would release
> its memory based on applications' requests to the OS kernel for
> memory. Sometimes the ARC can be too slow to release the
> memory, and better-behaving applications (without preliminary checks) experience longer
> delays when requesting memory.
> Еще раз ДОТ:
> Sometimes the ARC can be too slow to release the memory, and
> better-behaving applications (without preliminary checks) experience longer delays when
> requesting memory.

Покажи мне эти "some applications", которые будут себя чувствовать неважно. Хочу увидеть и ощутить всю убогость ARC по неотдаче памяти.

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

99. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 20-Янв-13, 15:45 
> Покажи мне эти "some applications", которые будут себя чувствовать неважно. Хочу увидеть
> и ощутить всю убогость ARC по неотдаче памяти.

http://comments.gmane.org/gmane.os.solaris.opensolaris.zfs/3... - нехватка
http://freebsd.1045724.n5.nabble.com/Another-ZFS-ARC-memory-... - свопинг
http://mail.opensolaris.org/pipermail/zfs-discuss/2009-Novem... - проблемы со скоростью высвобождения
http://lists.freebsd.org/pipermail/freebsd-stable/2012-March... - то же самое
https://forums.oracle.com/forums/thread.jspa?threadID=1906687 - падает сервер БД из-за неосвобождения памяти ARC

дальше гугли сам

Ответить | Правка | ^ к родителю #98 | Наверх | Cообщить модератору

100. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от iZEN (ok) on 20-Янв-13, 16:16 
>> Покажи мне эти "some applications", которые будут себя чувствовать неважно. Хочу увидеть
>> и ощутить всю убогость ARC по неотдаче памяти.
> http://comments.gmane.org/gmane.os.solaris.opensolaris.zfs/3... - нехватка

Ответ там же: http://permalink.gmane.org/gmane.os.solaris.opensolaris.zfs/...

А проблема заключалась в поиске способа регулировать ARC cache size на лету без перезагрузки компьютера. То есть тюнинг не произведён, компьютер перезагружать нежелательно. Человек боится, что 5 ГБ оставшейся свободной памяти ему не хватит. :))


> http://freebsd.1045724.n5.nabble.com/Another-ZFS-ARC-memory-...
> - свопинг

ГДЕ? Там утечка памяти была и SWAP-шторм, после чего сервер, скорее всего, ушёл на перезагрузку.

> http://mail.opensolaris.org/pipermail/zfs-discuss/2009-Novem... -
> проблемы со скоростью высвобождения

Ага — в 2009 году была проблема с быстродействием ZFS.

> http://lists.freebsd.org/pipermail/freebsd-stable/2012-March... - то же
> самое

Там ограничили размер ARC 4 ГБ на 24 ГБ ОЗУ и чего-то жалуются.

> https://forums.oracle.com/forums/thread.jspa?threadID=1906687 - падает сервер БД
> из-за неосвобождения памяти ARC

Не могу посмотреть — "The website you are attempting to access is currently experiencing network connectivity errors. The problem is being worked on and will be resolved as soon as possible. We apologize for any inconvenience this may cause and thank you for your patience."

> дальше гугли сам

Ты мне мясо давай, а не ссылки на странные проблемы.

Ответить | Правка | ^ к родителю #99 | Наверх | Cообщить модератору

101. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 20-Янв-13, 22:51 
> Ты мне мясо давай, а не ссылки на странные проблемы.

Лично для меня уже достаточно вышеперечисленного, чтобы за версту обходить данную поделку по крайней мере до того момента, когда ее приведут в человеческий вид (ака совместят кеш с системным). Потому, что на первом месте - предсказуемость _системы_ в целом, а уже потом - всё остальное. Желающим же жрать кактусы и нарываться на "странные проблемы" - удачи в их нелегком деле.

Ответить | Правка | ^ к родителю #100 | Наверх | Cообщить модератору

102. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iZEN (ok) on 20-Янв-13, 23:13 
>> Ты мне мясо давай, а не ссылки на странные проблемы.
> Лично для меня уже достаточно вышеперечисленного, чтобы за версту обходить данную поделку
> по крайней мере до того момента, когда ее приведут в человеческий
> вид (ака совместят кеш с системным). Потому, что на первом месте
> - предсказуемость _системы_ в целом, а уже потом - всё остальное.

Оно всё предсказуемо, пока не начнут насильно урезать аппетиты ARC до 4 ГБ.

> Желающим же жрать кактусы и нарываться на "странные проблемы" - удачи в их нелегком деле.

Кактусов до сих пор не увидел. Одни лишь положительные моменты в использовании ZFS. SWAP на ZFS практически всегда пустой. (Заполнялся лишь на несколько мегабайт в процессе компиляции Apache OpenOffice). Ещё забавно наблюдать, как при заполненном ARC кэше первый запуск Eclipse уменьшает занятую память с 5,9 ГБ до 5,2 ГБ. (Последующие перезапуски IDE, конечно, не дают такого эффекта, но и скорость загрузки среды повышается в разы по сравнению с первым запуском — за счёт кэширования в ARC.)


Ответить | Правка | ^ к родителю #101 | Наверх | Cообщить модератору

103. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 04-Фев-13, 21:32 
>> Ты мне мясо давай, а не ссылки на странные проблемы.
> Лично для меня уже достаточно вышеперечисленного, чтобы за версту обходить данную поделку...

ой, бтр значит тоже юзать не будешь? как же так? печалька...

Ответить | Правка | ^ к родителю #101 | Наверх | Cообщить модератору

104. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 05-Фев-13, 07:16 
> ой, бтр значит тоже юзать не будешь? как же так? печалька...

ой, чукча похоже не читатель... печалька...

Ответить | Правка | ^ к родителю #103 | Наверх | Cообщить модератору

105. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 06-Фев-13, 08:59 
>> ой, бтр значит тоже юзать не будешь? как же так? печалька...
> ой, чукча похоже не читатель... печалька...

чукча читатель, но с логикой не дружен не чукча.

может тебе накидать ссылок с боольшими багами бтра от лохматого года? ты же выводы делаешь использовать/не_использовать на основании таких ссылочек...

Ответить | Правка | ^ к родителю #104 | Наверх | Cообщить модератору

106. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 06-Фев-13, 09:33 
> может тебе накидать ссылок с боольшими багами бтра от лохматого года? ты
> же выводы делаешь использовать/не_использовать на основании таких ссылочек...

И все-таки чукча не читатель: BTR "production ready" только в OEL, и только с конца того года. А ZFS объявлена "production ready" еще до всех этих багов. Разницу разжевывать, или сам дойдёшь?

Ответить | Правка | ^ к родителю #105 | Наверх | Cообщить модератору

37. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 17:27 
> почему он отключен?

Наверное потому что SSD оказываются в роли патронов при этом - бах - покупай новый ssd.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Дмитрий email(??) on 16-Янв-13, 15:03 
Вот это круто!
Я правильно понимаю, что её можно уже сейчас установить? И, в общем-то, можно безболезненно заменить SSD на новый в случае выхода его из строя.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от pavlinux (ok) on 16-Янв-13, 15:08 
> безболезненно заменить SSD на новый в случае

5 штук SSD = RAID5 + HotSpare - и меняй сколько хошь. (точнее по одному)

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

13. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 15:30 
>> безболезненно заменить SSD на новый в случае
> 5 штук SSD = RAID5 + HotSpare - и меняй сколько хошь.
> (точнее по одному)

:)))))))))))))))))))) Он столько не заработает :)))))))))))))))))))))

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

26. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 16-Янв-13, 16:10 
Дешевле соответствующий объем памяти всунуть
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

56. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от pavlinux (ok) on 16-Янв-13, 19:52 
> Дешевле соответствующий объем памяти всунуть

Согласен, но мать в которую можно всунуть 5Tb оперативки стоит как BMW 320i

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

59. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 16-Янв-13, 21:11 
5 терабайт в одну мать? Хм, даже не знал,что такое бывает. А зачем, если не секрет? Это что за поток должен быть, чтобы на кэш надо было >5 Tb SSD?
Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

75. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от Аноним (??) on 17-Янв-13, 12:35 
Просто 5 SSD по терабайту - воткнуть в принципе реально. Воткнуть 5 Тб оперативки... эээ...
Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

85. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 18-Янв-13, 17:57 
Я просто представить не могу применение, когда даже на порядок меньший кэш давал бы выгоду. Либо вы упрётесь в процессор, либо вам вообще никакого кэша не хватит (как с линейной обработкой видео или большими базами данных) или всё можно будет параллельно на кучу машин разложить с общим сетевым стораджем и раскидать каким-нибудь шардингом, чтобы у каждой в кэше свой кусок лежал, если это какой-нибудь CDN.
Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

90. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Алексей (??) on 18-Янв-13, 22:58 
в базах данных актуально, либо где спроектировано плохо (например facebook сделал flashcache - близкий аналог - для mysql), либо где не так актуальна экономия на железе (скажем если лицензия оракловая на машине стоит $150K, с ограничением по cpu cores)
Ответить | Правка | ^ к родителю #85 | Наверх | Cообщить модератору

7. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 15:14 
софтварное решение того что используется в некоторых хардварных раид контроллерах
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:30 
> софтварное решение того что используется в некоторых хардварных раид контроллерах

А в чем между ними разница? Ну, кроме названия, конечно?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

22. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 15:55 
хз, возможно в большей гибкости. не пользуюсь ни тем, ни другим :)
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

91. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Алексей (??) on 18-Янв-13, 23:16 
>> софтварное решение того что используется в некоторых хардварных раид контроллерах
> А в чем между ними разница? Ну, кроме названия, конечно?

в аппаратном варианте - данные по шине между кешем и хранилищем не надо гонять, и вообще это прозрачно для ос всё само происходит.
программный вероятно гибче в плане настроек.
в общем-то эти два решения неплохо вместе должны работать.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

34. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 17:21 
Т.е. прям на кристалле кремния гравировали софт хардварный? Или в контроллерах все-таки софт?
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

41. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от ваноним on 16-Янв-13, 17:39 
разница между hardware и software такая разница между hardware и software
Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

8. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:16 
Уж что только не придумают, лишь бы не заниматься исправлением главных недостатков SSD дисков.. Может лучше не придумывать хитрозадые системы с целью получить результат здесь и сейчас, используя некоторые преимущества при куче минусов, а решить ключевые проблемы SSD?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:31 
> Уж что только не придумают, лишь бы не заниматься исправлением главных недостатков
> SSD дисков.. Может лучше не придумывать хитрозадые системы с целью получить
> результат здесь и сейчас, используя некоторые преимущества при куче минусов, а
> решить ключевые проблемы SSD?

Как ты это себе представляешь и что ты считаешь ключевыми проблемами? А?

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

19. "Система кэширования на SSD-накопителях BCache претендует на ..."  +6 +/
Сообщение от 1 (??) on 16-Янв-13, 15:43 
он ничего не представляет, он просто п*здит
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

24. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:58 
> он ничего не представляет, он просто п*здит

Я так и подумал, это был сарказм.

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

21. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от тоже Аноним (ok) on 16-Янв-13, 15:55 
В данном контексте решение ключевых проблем - это 64 Гб памяти и кэш винта в ней.
Решает проблемы SSD настолько, что собственно SSD уже и не нужен.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

30. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от anonymouse on 16-Янв-13, 16:31 
За исключением той проблемы, например, что при экстренном отключении питания весь кэш в ОЗУ теряется, а на SSD что-то остаётся и потом дописывается на диск. Так что не всё так однозначно.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

31. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от t0t on 16-Янв-13, 16:52 
> при экстренном отключении питания весь кэш в ОЗУ теряется,

для решения этой проблемы можно добавить на "мамку" пару-тройку ёмких конденсаторов, и обработчик события "экстренное отключение питания" в ядре (или вообще в железе). Это и куда дешевле и проще в обслуживании, и уж точно долговечнее. Но судя по тому, что этого не сделано до сих пор -- эта проблема не особо актуальна, особенно там, где кабель от ИБП до стойки проложен в недоступном для уборщицы месте.
> а на SSD что-то остаётся и потом дописывается на диск.

а что там остаётся? Если речь о СУБД, то всё равно транзакцию завершить невозможно. Если "просто данные", то уж лучше оставить на диске неизменённые данные, чем перезаписать "неизвестно как полуизменёнными".

> Так что не всё так однозначно.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

39. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от Аноним (??) on 16-Янв-13, 17:30 
> для решения этой проблемы можно добавить на "мамку" пару-тройку ёмких конденсаторов, и
> обработчик события "экстренное отключение питания" в ядре (или вообще в железе).

Во первых, оперативка все-таки дороже флешатины. Во вторых - обычная оперативка даже в low power режиме высасывает большую ноутбучную батарею за примерно неделю хранения в ней данных. А сколько проживет конденсатор? 5 минут7 Замечательно. А потом чего? Просирак 64Гб данных? Как мило.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

60. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 16-Янв-13, 21:13 
На ноутбуке есть аккумулятор. В связи счем экстренного отключения питания там быть не может при хоть сколько-нибудь вменяемой эксплуатации.
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

76. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 17-Янв-13, 12:38 
> В связи счем экстренного отключения питания там быть
> не может при хоть сколько-нибудь вменяемой эксплуатации.

А в идеальном сферическом мире в вакууме самолеты не разбиваются, корабли не тонут, ДТП невозможны как класс. Проблема только в том что в реальном мире этого не наблюдается.

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

86. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 18-Янв-13, 18:05 
Ну если вы со включенного ноутбука выдираете аккумулятор - то ССЗБ. Других ситуаций быть не может - если система гасится корректно то всё будет сброшено на диск, разряд батареи тоже отслеживается.
Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

67. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 17-Янв-13, 08:51 
> для решения этой проблемы можно добавить на "мамку" пару-тройку ёмких конденсаторов, и
> обработчик события "экстренное отключение питания" в ядре (или вообще в железе).

какую емкость наберете, сколько она будет держать данные по времени, как быстро ваши кондеры будут терять собственную емкость.
допустим нужно продержать питание 60 секунд при вольтаже в 12 вольт и 100 ваттах, если правильно помню:
j/U^2 = T*U*I/U^2 = T*U*(P/U)/U^2 = 60*12*100/12/(12^2) = 41,6(6)Ф
не хилая емкость получается... ионистарами, конечно набрать можно, но...

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

53. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Руслан Зиганшин (??) on 16-Янв-13, 19:47 
А тем временем за бугром уже изобрели w:Мемристор, который вот-вот заменит и SSD и RAM
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

55. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 16-Янв-13, 19:50 
> А тем временем за бугром уже изобрели w:Мемристор, который вот-вот заменит и
> SSD и RAM

Это "вот вот" будет длиться десятки лет из-за первоначальной дороговизны. Флешу уже тоже лет много, однако в mass use в качестве дисков постоянного хранения флеш пошел только что.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

58. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от анонимаус on 16-Янв-13, 21:03 
"жаль, только жить в это время прекрасное уж не придется ни мне, ни тебе"
Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

42. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от ваноним on 16-Янв-13, 17:44 
это слегка специфично для зачади, не находите? некоторые бъются за каждую лишнюю планку памяти, а вы ими "разбрасываетесь". более того, размеры ssd сейчас чуть побольше, чем оперативка, что вы сможете в блейдик напихать
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

27. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от Crazy Alex (ok) on 16-Янв-13, 16:12 
Ничего, что этим другие люди занимаются? Программист, решающий ключевые проблемы SSD? Кстати, с решением дела вроде неплохо - пробегали новости про флеш сподогревом...
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

63. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от aurved on 16-Янв-13, 22:23 
да, а кроме этого разрабатывают еще ReRAM http://science.compulenta.ru/727758/

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

87. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Crazy Alex (ok) on 18-Янв-13, 18:07 
Там что-то совсем экспериментальное, а подогрев - я так понимаю, через годик живьём увидим. Для кэша, кстати, будет в самый раз- там, помнится, ещё и скорость стирания сильно повышалась, а объёмы большие кэшу ни к чему.
Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

11. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от слон on 16-Янв-13, 15:24 
наконец-то
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от metallic (ok) on 16-Янв-13, 15:35 
Хорошо бы в ядро протолкнули, а без ядра и так есть flashcache от фейсбука, тестил на стенде - работает
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от Аноним (??) on 16-Янв-13, 15:37 
Прочитал руководство по установке и не понял, видимо прозрачно подключить всё же нельзя:

http://atlas.evilpiepirate.org/git/linux-bcache.git/tree/Doc...

"Both the cache device and backing device must be formatted before use."

Т.е. к существующей конфигурации 2 HDD -> MD RAID1 -> LUKS -> LVM, в качестве кеша md1 устройства подключить не выйдет без пересоздания всего?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от 1 (??) on 16-Янв-13, 17:19 
> Т.е. к существующей конфигурации 2 HDD -> MD RAID1 -> LUKS ->
> LVM, в качестве кеша md1 устройства подключить не выйдет без пересоздания
> всего?

а между тем flashcache вполне можно подключить, например, к открытому luks устройству и все будет работать без пересоздания

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

36. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 17:26 
Да, только для flashcache надо отмонтировать FS и потом подключить её с другого устройства.

Хотелось бы просто воткнуть SSD как кеш к MD устройству, ничего не переформатирую и не изменяя потом fstab.

Кажется в ZFS это сделано прозрачно, как добавление, так и удаление/поломка SSD.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

66. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от iav (ok) on 17-Янв-13, 01:47 
В zfs так можно потому, что она «не юниксвейная» и на уровни абстракций не побита.
Кому нравится zfs — может просто взять и использовать zfs, да преумножатся род и богатства Белендорфа безмерно.

А кто любит юниксвей и святой GPL — не переломится и перемонтировать.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

107. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Versus email(??) on 14-Май-13, 04:00 
> а между тем flashcache вполне можно подключить, например, к открытому luks устройству и все будет работать без пересоздания

не сто́ит кешировать на SSD расшифрованные данные

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

40. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 17:31 
Круто.
Почти как аналог CacheCade у LSI, а может и лучше.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

50. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 16-Янв-13, 19:23 
> Круто.
> Почти как аналог CacheCade у LSI, а может и лучше.

Аналог. Что-то ни слова про TRIM. Надо думать, умеет.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

44. "Система кэширования на SSD-накопителях BCache претендует на ..."  –5 +/
Сообщение от iZEN (ok) on 16-Янв-13, 17:57 
...и брюки легко превращаются... превращаются брюки... брюки превращаются... в... Некое подобие ZFS L2ARC, правда, без сквозной целостности данных и метаданных.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

45. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Аноним (??) on 16-Янв-13, 18:10 
> ...и брюки легко превращаются... превращаются брюки... брюки превращаются... в... Некое
> подобие ZFS L2ARC, правда, без сквозной целостности данных и метаданных.

L2ARC не умеет writeback-кэширование и этим всё сказано.

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

47. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от iZEN (ok) on 16-Янв-13, 18:21 
>> ...и брюки легко превращаются... превращаются брюки... брюки превращаются... в... Некое
>> подобие ZFS L2ARC, правда, без сквозной целостности данных и метаданных.
> L2ARC не умеет writeback-кэширование и этим всё сказано.

Потому что для writeback-кэширования нужно заводить ZIL. И этим всё сказано.

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

78. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от абыр email on 17-Янв-13, 17:20 
Хорошо хоть не KAMAZ.
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

62. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от Клим on 16-Янв-13, 21:58 
+1
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

51. "Система кэширования на SSD-накопителях BCache претендует на ..."  –2 +/
Сообщение от Аноним (??) on 16-Янв-13, 19:34 
зачем это в ядре? кому надо, то и так поставит
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

52. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от AlexAT (ok) on 16-Янв-13, 19:35 
> зачем это в ядре? кому надо, то и так поставит

К сожалению, API для юзерспейс-кеширования еще не придумано, да и неэффективно/небезопасно это - данные системного кеша через юзерспейс гонять.

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

64. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от scor email(ok) on 16-Янв-13, 22:44 
Какая-то нездоровая эйфория прослежевается.:) Такое ощущение, что большинство считает, что "кеш блочных устройств на других блочных устройствах" -- это что-то "халявное". А то, что таки нужно держать и поддерживать в памяти актуальную таблицу "кешированных" блоков -- это типа пофиг. И то, что это место (а при размере блока в 512-4096 байт -- это достаточно дофига) в реально быстрой памяти могло бы быть использовано для нормального кеша первого уровня, тоже как бы пофиг.
Даже если предположить, что скорость чтения с SSD порядка 500Мб/с, а скорость чтения с "классического" HDD порядка 40-60Мб/с, то добавление в существующий пул 3-5 обычных "винтов" в зеркале не только практически невилирует разницу, с учётом кеша в оперативке, но и повышает отказоустойчивость.
По кешу на запись. Тут реально есть прямой профит.:) Но неудобство в том, что по объёму кеш реально нужен мизерный (порядка нескольких, возможно сотен, мегабайт). Отсавшийся объёмом купленных SDD остаётся невостребованным. К тому же, в отличии от кеша чтения, который и потерять не жалко, на запись некисло бы иметь пару SDD в зеркале, ибо при отказе одного вы окажитесь в полной ж..., даже при наличии УПСов и ответственных уборщиц:)

ЗЫ. Вполне допускаю, что где-то, в каких-то ситуациях кеширование на SSD реально оправдано и приносит дикий профит. Был бы рад почитать об этом. Особенно если ситуация ближе к среднестатистическим объёмам, а не екзобайты данных, на петобайты кеша.:)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

68. "Система кэширования на SSD-накопителях BCache претендует на ..."  +2 +/
Сообщение от Аноним (??) on 17-Янв-13, 08:59 
>на запись некисло бы иметь пару SDD в зеркале

при этом: разных производителей на разных чипах, дабы одновременно не сколлапсровали.

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

71. "Система кэширования на SSD-накопителях BCache претендует на ..."  +/
Сообщение от AlexAT (ok) on 17-Янв-13, 10:14 
> Даже если предположить, что скорость чтения с SSD порядка 500Мб/с

Не в ту сторону лезете. Hint: скорость доступа, IOPS.

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

72. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от scor (ok) on 17-Янв-13, 11:47 
Да с IOPSами тоже не всё так просто. Чтобы они заработали на SSD, нужно чтобы кеш наполнился данными с HDD. Чтобы они продолжали работать, запросы на чтение должны приходить для данных, находящихся уже в кеше. Если очень часто "промахиваться" мимо кеша, то IOPSам это не сильно поможет. Если же подавляющее большинство запросов попадают в кеш на SSD, то возможно, что проще будет создать под эти данные отдельный пул состоящий только из SSD и не тратить впустую оперативку и проц на содержание таблицы кешированных блоков.
В общем эффективность затеи с L2-кешем очень сильно зависит от характера нагрузки.
Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

79. "Система кэширования на SSD-накопителях BCache претендует на ..."  +1 +/
Сообщение от абыр email on 17-Янв-13, 17:25 
> Да с IOPSами тоже не всё так просто. Чтобы они заработали на
> SSD, нужно чтобы кеш наполнился данными с HDD. Чтобы они продолжали
> работать, запросы на чтение должны приходить для данных, находящихся уже в
> кеше. Если очень часто "промахиваться" мимо кеша, то IOPSам это не
> сильно поможет. Если же подавляющее большинство запросов попадают в кеш на
> SSD, то возможно, что проще будет создать под эти данные отдельный
> пул состоящий только из SSD и не тратить впустую оперативку и
> проц на содержание таблицы кешированных блоков.
> В общем эффективность затеи с L2-кешем очень сильно зависит от характера нагрузки.

Отключите на своем компе кеш процессора, от только зря занимает транзисторы и потребляем миливатты.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

82. "Система кэширования на SSD-накопителях BCache претендует на ..."  –1 +/
Сообщение от Аноним (??) on 17-Янв-13, 21:36 
> Отключите на своем компе кеш процессора, от только зря занимает транзисторы и
> потребляем миливатты.

сравнение лопаты и камаза, казалась бы, а ведь и в то и в другое можно гов-на наложить...

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру