The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Хостинг-оператор Anchor протестировал Btrfs на готовность к ..., opennews (?), 26-Апр-13, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


2. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –2 +/
Сообщение от z (??), 26-Апр-13, 23:39 
>Ещё одна серьёзная проблема связана с непредсказуемостью переполнения Btrfs-раздела и связанным с исчерпанием свободного места замедлением работы.

Превед от Шишкина =)

Ответить | Правка | Наверх | Cообщить модератору

5. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +2 +/
Сообщение от Аноним (-), 27-Апр-13, 00:00 
> Превед от Шишкина =)

А что, разве хоть одна из выявленных проблем совпадает с критикой Шишкина?

Ответить | Правка | Наверх | Cообщить модератору

6. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +3 +/
Сообщение от Аноним (-), 27-Апр-13, 00:27 
Нет, разумеется. Потому что у эксплуатационщиков в отличие от теоретиков хватает ума не заниматься извращениями типа "том на 600Мб, забитый мелкими файлами" ("фантомас в очках на аэроплане").
Ответить | Правка | Наверх | Cообщить модератору

9. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от Аноним (-), 27-Апр-13, 01:53 
> Нет, разумеется. Потому что у эксплуатационщиков в отличие от теоретиков хватает ума
> не заниматься извращениями типа "том на 600Мб, забитый мелкими файлами" ("фантомас
> в очках на аэроплане").

Скорее, хватает ума понять, что метаданные - неотъемлемая часть ФС, и требовать 100% использования места под данные бессмысленно.

Ответить | Правка | Наверх | Cообщить модератору

14. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +2 +/
Сообщение от Deffic (?), 27-Апр-13, 03:56 
> Нет, разумеется. Потому что у эксплуатационщиков в отличие от теоретиков хватает ума
> не заниматься извращениями типа "том на 600Мб, забитый мелкими файлами" ("фантомас
> в очках на аэроплане").

"том на 600Мб" -- 10 лет нвзад
"забитый мелкими файлами" -- Maildirs

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

23. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от angra (ok), 27-Апр-13, 10:43 
Во-первых, не 10, а 15. Во-вторых, с учетом скорости развития IT это звучит примерно как жалоба на то, что современный пулемет за минуту тратит патронов больше чем, чем полтора века назад батальон с винтовками за неделю.

Ответить | Правка | Наверх | Cообщить модератору

72. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +1 +/
Сообщение от Аноним (-), 28-Апр-13, 12:48 
Что характерно, общая сложность задач возросла может быть в разы, но не на порядки же.
Ответить | Правка | Наверх | Cообщить модератору

10. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от Аноним (-), 27-Апр-13, 01:54 
> А что, разве хоть одна из выявленных проблем совпадает с критикой Шишкина?

Маловероятно. Одно дело - пригорание седалища у отдельно взятого разработчика, другое дело - опыт практической эксплуатации.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

21. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от z (??), 27-Апр-13, 10:25 
Критика Шишкина, напомню, касалась 'разноса' ФС при определённых условиях, когда из-за непонимания 'практиками' выбранных ими алгоритмов происходила жуткая внутренняя фрагментация метеданных, съедающая ощутимую часть места на диске. И т.к. это дефект на уровне алгоритмов, значит в корне не лечится по определению, только костыли и подпорки.

Вообщем, enjoy your practice, dear permanent beta-testers =)

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

24. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от quuxemail (??), 27-Апр-13, 12:16 
Шишкин, перелогиньтесь.
Ответить | Правка | Наверх | Cообщить модератору

26. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +1 +/
Сообщение от Аноним (-), 27-Апр-13, 12:34 
> метеданных, съедающая ощутимую часть места на диске.

Любую ФС можно загнать в ситуацию когда ее КПД равен нулю. Создаем до упора файлы нулевого размера - и все, вуаля: на томе 0 байтов данных и весь том забит до отказа метаданными. Катит на совершенно любой ФС. Приветы Шишкину и прочим идеалистам :).

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

33. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +4 +/
Сообщение от z (??), 27-Апр-13, 13:50 
>Создаем до упора файлы нулевого размера
>Приветы Шишкину и прочим идеалистам

Приятно видеть человека, который пытается думать, даже несмотря на то, что у него это довольно плохо получается

Ещё раз повторюсь: речь не о том, что метаданные занимают какое-то место, т.к. предложенным выше способом можно 'повалить' любую ФС

Речь о том, что при определённых условиях B-Tree в BTRFS _вырождается_, когда балансировка уходит не в ту сторону, т.е. появляется множество неоптимально заполненных узлов и само дерево соотв. аномально растёт. Т.е. место тратится не непосредственно полезными (мета)данными - место просто уходит В НИКУДА.

Превед двоченикам, прогуливавшим фундаментальные алгоритмы и структуры данных, ну и оболваненым monkey-тестерам =)

Ответить | Правка | Наверх | Cообщить модератору

36. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –1 +/
Сообщение от Bxemail (ok), 27-Апр-13, 15:51 
> Речь о том, что при определённых условиях B-Tree в BTRFS _вырождается_, когда
> балансировка уходит не в ту сторону, т.е. появляется множество неоптимально заполненных
> узлов и само дерево соотв. аномально растёт. Т.е. место тратится не
> непосредственно полезными (мета)данными - место просто уходит В НИКУДА.

А подробности можно услышать? Где именно вырождается, как это влияет на размер дерева(в коэффициентах, абсолютных значениях или попугаях, плиз), при каких именно условиях. Воспроизводимость, шаблон?


> Превед двоченикам, прогуливавшим фундаментальные алгоритмы и структуры данных, ну и оболваненым
> monkey-тестерам =)

Ну, автор поста, похоже, не прогуливал? И сейчас даст всем прикурить.

Ответить | Правка | Наверх | Cообщить модератору

37. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +2 +/
Сообщение от z (??), 27-Апр-13, 15:54 
>А подробности можно услышать? Где именно вырождается, как это влияет на размер дерева(в коэффициентах, абсолютных значениях или попугаях, плиз), при каких именно условиях. Воспроизводимость, шаблон?

https://lkml.org/lkml/2010/6/18/144

Ответить | Правка | Наверх | Cообщить модератору

38. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +3 +/
Сообщение от z (??), 27-Апр-13, 16:07 
Хорошо сказал, между прочим:

>If you decide to base your file system on some algorithms then please

use the original ones from proper academic papers. DO NOT modify the
algorithms in solitude: this is very fragile thing! All such
modifications must be reviewed by specialists in the theory of
algorithms. Such review can be done in various scientific magazines of
proper level.

Перевожу на русский: если вы решили создать вашу файловую систему на каких-то алгоритмах - тогда пожалуйста используйте оригинальные из соотв. научных работ. НЕ МОДИФИЦИРУЙТЕ алгоритмы самостоятельно: это очень хрупкая вещь! Все подобные модификации должны быть рассмотрены специалистами в теории алгоритмов. Подобные обзоры могут быть (уже) сделаны в различных научных журналах соотв. уровня

Перевожу на понятный для школьников русский: не понимаешь, как работает что-то сложное - не пытайся что-либо в этом менять, чтобы не было фейлов уровня дебиановского openssl

Ответить | Правка | Наверх | Cообщить модератору

42. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –1 +/
Сообщение от Bxemail (ok), 27-Апр-13, 17:35 
> Перевожу на понятный для школьников русский: не понимаешь, как работает что-то сложное
> - не пытайся что-либо в этом менять, чтобы не было фейлов
> уровня дебиановского openssl

Там другое, авто-проверки ругнулись на непонятные им данные, инициализцию и екнули.
Таки да, не двоечник и сам должен понять суть :) Вопрос-то теперь академический.

Ответить | Правка | Наверх | Cообщить модератору

39. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  +/
Сообщение от Bxemail (ok), 27-Апр-13, 16:49 
>>А подробности можно услышать? Где именно вырождается, как это влияет на размер дерева(в коэффициентах, абсолютных значениях или попугаях, плиз), при каких именно условиях. Воспроизводимость, шаблон?
> https://lkml.org/lkml/2010/6/18/144

Мде, пруф искать лень, что-то там про 640 килобайт тоже было, не 3 года, конечно, но... :)

>> # for i in $(seq 1000000); \
>> do dd if=/dev/zero of=/mnt/file_$i bs=2048 count=1; done
>> (terminated after getting "No space left on device" reports).
>>
>> # ls /mnt | wc -l
>> 59480

Воспроизвел, правда, 1М на 100К поменял
for i in $(seq 100000); do dd if=/dev/zero of=/mnt/0/file_$i bs=2048 count=1; done

Filesystem     1K-blocks   Used Available Use% Mounted on
/dev/loop1        674816 450664    220064  68% /mnt/0

System: total=4.00MB, used=8.00KB
Data+Metadata: total=655.00MB, used=440.09MB

691011584 Apr 27 16:33 btrfs.img

Сорри, забыл
ls /mnt/0/ | wc -l
100003

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

43. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –1 +/
Сообщение от nagualemail (ok), 27-Апр-13, 17:36 
>[оверквотинг удален]
>>> 59480
> Воспроизвел, правда, 1М на 100К поменял
> for i in $(seq 100000); do dd if=/dev/zero of=/mnt/0/file_$i bs=2048 count=1; done
> Filesystem     1K-blocks   Used Available Use% Mounted
> on
> /dev/loop1        674816 450664  
>  220064  68% /mnt/0
> System: total=4.00MB, used=8.00KB
> Data+Metadata: total=655.00MB, used=440.09MB
> 691011584 Apr 27 16:33 btrfs.img

И что не нравится ? Трата места на метаданные ? Повторите этот же тест с разделом в 100 раз больше и сравните результаты.

Ответить | Правка | Наверх | Cообщить модератору

44. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –1 +/
Сообщение от Bxemail (ok), 27-Апр-13, 17:46 
> И что не нравится ? Трата места на метаданные ? Повторите этот
> же тест с разделом в 100 раз больше и сравните результаты.

Я, как-бы, защитник btrfs :) Потрудитесь почитать линк, на который я отвечал.

Ответить | Правка | Наверх | Cообщить модератору

45. "Хостинг-оператор Anchor протестировал Btrfs на готовность к ..."  –1 +/
Сообщение от Аноним (-), 27-Апр-13, 18:21 
> Речь о том, что при определённых условиях B-Tree в BTRFS _вырождается_, когда
> балансировка уходит не в ту сторону, т.е. появляется множество неоптимально заполненных
> узлов и само дерево соотв. аномально растёт.

И чем это так уж отличается от иных вырожденных случаев, типа забития тома нулевыми файлами? Где оценки масштаба эффекта в реальных применениях? Том на 600 метров забитый мелочью - откровенная синтетика. Я даже предложил доразвитие идеи до логичного финала :)

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

48. "Хостинг-оператор Anchor протестировал Btrfs на..."  +/
Сообщение от arisu (ok), 27-Апр-13, 18:36 
в дискуссии, вообще-то, ссылку приводили. отличается это тем, что авторы btrfs при помощи кувалды и некоей матери напрочь поломали b-tree, начав пихать туда что попало разных размеров. этого с b-tree делать *нельзя*. от слова «вообще». b-tree от этого деградирует с дурной скоростью, напрочь убивая смысл использования сей няшной структуры.

и если бы это было единственное, что они решили «улучшить»… на вскидку — использование crc как хэш-функции: это тоже очень круто. настолько круто, что просто обнять и плакать.

Ответить | Правка | Наверх | Cообщить модератору

51. "Хостинг-оператор Anchor протестировал Btrfs на..."  –2 +/
Сообщение от Аноним (-), 27-Апр-13, 22:24 
> на вскидку — использование crc как хэш-функции: это тоже очень круто. настолько круто, что просто обнять и плакать.

А что тут такого нехорошего?

Ответить | Правка | Наверх | Cообщить модератору

56. "Хостинг-оператор Anchor протестировал Btrfs на..."  +3 +/
Сообщение от arisu (ok), 27-Апр-13, 23:44 
>> на вскидку — использование crc как хэш-функции: это тоже очень круто. настолько круто, что просто обнять и плакать.
> А что тут такого нехорошего?

просто никогда не пиши реализацию хэш-таблиц, хорошо? воспользуйся готовой из стандартной библиотеки какого-нибудь языка: с вероятностью, близкой к 100%, она будет лучше того, что ты напишешь. потому что пользоваться гуглем — судя по этому вопросу — ты не способен.

Ответить | Правка | Наверх | Cообщить модератору
Часть нити удалена модератором

66. "Хостинг-оператор Anchor протестировал Btrfs на..."  +/
Сообщение от arisu (ok), 28-Апр-13, 00:59 
больше заискивающих смайликов, больше.
Ответить | Правка | Наверх | Cообщить модератору

103. "Хостинг-оператор Anchor протестировал Btrfs на..."  +1 +/
Сообщение от Michael Shigorinemail (ok), 29-Апр-13, 18:01 
> больше заискивающих смайликов, больше.

Сдаётся мне, это опять демагог debugger.  Порешил.

Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

68. "Хостинг-оператор Anchor протестировал Btrfs на..."  –1 +/
Сообщение от Аноним (-), 28-Апр-13, 01:36 
> в дискуссии, вообще-то, ссылку приводили. отличается это тем, что авторы btrfs при
> помощи кувалды и некоей матери напрочь поломали b-tree, начав пихать туда
> что попало разных размеров. этого с b-tree делать *нельзя*.

Если уж на то пошло, у очень многих алгоритмов применяемых нынче в софте "средний" случай и "наихучший" очень сильно варьируются. Можно вспомнить например волну атак на хэш таблицы где подбором данных можно выпасть далеко за пределы O(1) который они обеспечивают "в среднем" :).


> от слова «вообще». b-tree от этого деградирует с дурной скоростью, напрочь убивая смысл
> использования сей няшной структуры.

Ну и где анализ типового поведения их модифицированных деревьев? Шишкин лицо предвзятое и юзкейс выдернул крайне синтетический для показательной порки.

> и если бы это было единственное, что они решили «улучшить»… на вскидку
> — использование crc как хэш-функции: это тоже очень круто. настолько круто,
> что просто обнять и плакать.

Да вообще-то это обычная практика. А то что особо хитрый хакер может специальным образом файлы создавать - так я тебе твой же пример с хакером и солонками в столовой и приведу, хренли ты хотел? Прикольно же долбануть Кэпа его собственным вооружением в качестве легкого сарказма :)

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

107. "Хостинг-оператор Anchor протестировал Btrfs на..."  –1 +/
Сообщение от linux must _RIP_ (?), 29-Апр-13, 19:29 
> Ну и где анализ типового поведения их модифицированных деревьев? Шишкин лицо предвзятое и юзкейс выдернул крайне синтетический для показательной порки.

В новостях пробегало - достаточно создать всего 64 файла что бы убить  btrfs.. вот так..

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру