The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Применение асинхронной буферизированной записи на базе io_uring до 80 раз снизило задержки в XFS

26.06.2022 18:41

Опубликована серия патчей для включения в ядро Linux 5.20, добавляющая поддержку асинхронной буферизированной записи в файловую систему XFS при помощи механизма io_uring. Предварительные тесты производительности, проведённые при помощи инструментария fio (1 поток, размер блока 4кб, 600 секунд, последовательная запись), показывают увеличение числа операций ввода/вывода в секунду (IOPS) с 77k до 209k, скорости передачи данных – с 314MB/s до 854MB/s, и падения задержек с 9600ns до 120ns (80 раз).


                 sequential writes:
                 without patch           with patch      libaio     psync
  iops:              77k                    209k          195K       233K
  bw:               314MB/s                 854MB/s       790MB/s    953MB/s
  clat:            9600ns                   120ns         540ns     3000ns

Для интересующихся состоянием io_uring на середину 2022 года, рекомендуется ознакомиться со слайдами и видеозаписью доклада с Kernel Recipes 2022. Обзорно упоминаются изменения уже вошедшие в ядро и планируемые, например можно отметить поддержку:

  • множественного (multi-shot) accept().
  • множественного (multi-shot) recv() - по тестам прирост 6-8% - от 1150000 до 1200000 RPS.
  • обновление и исправления в библиотеке liburing, добавление документации и тестов.

В контексте переносимости io_uring на слайдах упоминается значительная схожесть с "I/O Rings", используемой в подсистеме Direct Storage в Windows 11, а также возможность реализации кроссплатформенной работы, но из других платформ на слайде автора упомянута только FreeBSD со знаком вопроса.



 
  1. Главная ссылка к новости (https://www.phoronix.com/scan....)
  2. OpenNews: Уязвимость в подсистеме io_uring ядра Linux, позволяющая поднять свои привилегии
  3. OpenNews: Оценка эффективности работы fsck на гигантских разделах XFS и Ext4
  4. OpenNews: Уязвимость в XFS, позволяющая читать сырые данные блочного устройства
Автор новости: Роман
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/57412-io_uring
Ключевые слова: io_uring, xfs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (159) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 22:47, 26/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • +28 +/
    Оказывается, если данные на диск не записывать, то "запись" будет быстрее. А что с надёжностью?
     
     
  • 2.4, Catwoolfii (ok), 22:57, 26/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –20 +/
    XFS - это не про надежность
     
     
  • 3.5, microsoft (?), 22:59, 26/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +5 +/
    Твои варианты? А, да, их нет.
     
     
  • 4.19, Аноним (19), 00:20, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • –9 +/
    ZFS
     
     
  • 5.27, d (??), 02:51, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +15 +/
    Только не допускайте этого онанима до прода.
     
     
  • 6.64, Аноним (64), 11:09, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +2 +/
    Уже допустили. Начиная с 2020 года ZFS работает очень даже неплохо. Особенно после фикса тонны багов с read-range-locks. А снэпшоты - вещь которая продаётся как отдельная услуга.
    Но вот лично вам я разрешаю и дальше плеваться и фыркать на анонимов и ZFS.
     
     
  • 7.65, Аноним (65), 11:12, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    О а вот еще один фикситиль багов на проде.  
     
  • 7.69, d (??), 11:32, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +4 +/
    > Особенно после фикса тонны багов с read-range-locks.

    Ну всё, теперь можно в прод.

     
     
  • 8.111, Аноним (64), 19:01, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    5 лет в проде ... текст свёрнут, показать
     
  • 7.97, zfsixpert (?), 17:32, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    только оперативы нужо 30% от размера хранилища
     
     
  • 8.110, Аноним (64), 19:01, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Нет не нужно Размер ARC-кеша настраивается А вы, батенька, как я вижу - экспер... текст свёрнут, показать
     
  • 7.145, keydon (ok), 05:39, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    С 2017 года, полёт нормальный. А критики могут и дальше ничего не использовать.
     
  • 6.165, bOOster (ok), 18:39, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    Сочувствую компаниям которых плюсующие этого поста админят..  
     
     
  • 7.168, tty0 (?), 23:00, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Вообще-то прод - это не место, где резвятся обезьянки. Обычно там настроили, запустили и фиксы только самого необходимого.
    Фиксы ФС - это для талантливых!
     
  • 5.152, pda (ok), 11:46, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Ты бы ещё BtrFS посоветовал.
     
     
  • 6.194, Аноним (194), 21:23, 01/07/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –1 +/
    бтрфс кстати очень годна для /

    Пакует опять же, нет танцев с монтированием/импортом как zfs, а глагне - работает (с холодными кешами) быстрее. Раз в 10 -- чем zfs и чуть быстрее - чем ехт4. Тестировал тупо чтение всех файлов с рутового раздела с холодными кешами.

    Снапшоты опять же делаются юниксвейно а не через отдельный анус, приштопанный сбоку, как в zfs.

    Главное -- не юзать бтрфс для образов диска вирт машин, вот там оно тормозииит... Ну и раид5/6 ни в коем случае в бтрфс не делать, бо сломано официально уже лет 10. И чинить никто не чешется.

     
     
  • 7.198, Michael Shigorin (ok), 22:05, 03/07/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Один из здешних завсегдатаев упоминал http://lore.kernel.org/linux-btrfs/20200520013255.GD10769@hungrycats.org
     
  • 6.196, rationalseed (?), 20:57, 03/07/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    BRTFS - рулёз!
     
  • 2.12, Dzen Python (ok), 23:46, 26/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    Ну как с надежностью - буфер пролюбили и ВСЁ!
     
     
  • 3.17, Alladin (?), 00:14, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    Да, с этим вечно сталкивался.
     
  • 2.70, Аноним (70), 12:12, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +2 +/
    Я еще под досом ставил SmartDrv в режим кэширования записи. Девачка, чето хотевшая скопировать на дискету и по привычке выдернувшая дискетку сразу после завершения записи, ушла в итоге ни с чем.
     
     
  • 3.101, Аноним (-), 18:19, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Сейчас видите ли журналирование научились делать немного лучше, а юзеров - строить "безопасным извлечением". Хотя подобную траблу конечно можно отхватить и сейчас.

    Собссно лампочки HDD/флопиков/флешек/... придумали не просто так.

     
  • 3.115, commiethebeastie (ok), 20:19, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    Так дискеты дергать с горящей лампочкой нельзя. Дефачке видимо это никто не объяснял.
     
     
  • 4.117, Аноним (117), 21:11, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Так со smartdrv лампочка, то и не горит!
    Она потом, через несколько секунд загорится. А дискеты уже то и нет.
     
  • 3.153, pda (ok), 11:49, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    А на кой хер ты на дисководы кеширование записи разрешал? В этом же не было никакого смысла? Дискеты уже тогда использовались исключительно в режиме "записал, вынул и ушёл".
     
     
  • 4.166, Аноним (166), 19:14, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Над девочкой постебаться же. Что за админ, если над юзером не поизмывался?
     
     
  • 5.170, Аноним (170), 01:59, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +4 +/
    Крайне хреновый админ, очевидно. Юзеров надо любить, беречь и всячески упрощать их жизнь, а не чесать об них своё воспалённое эго. А чмудаков, начитавшихся bofh.txt и не распарсивших юмор обычно долго на должности не держат. А то и вовсе могут лицо отформатировать.
     
  • 5.175, pda (ok), 12:32, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Над девочкой постебаться же. Что за админ, если над юзером не поизмывался?

    Здравствуйте, "Наш BOFH"...

     
  • 5.182, Аноним (-), 17:52, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    > Над девочкой постебаться же. Что за админ, если над юзером не поизмывался?

    Сейчас флешки и получше стебаться умеют. Вынули без размонтирования? А вот вам слетевший транслтор, нелохи, если что-то с флешки надо - добро пожаловать в тематичную лабу.

     
  • 2.108, anonymous (??), 18:37, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +1 +/
    udp же
     

  • 1.2, achtosluchilos (ok), 22:47, 26/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • –4 +/
    Ничего не понятно за счет чего получаются такие результаты. Автор новости пиши для орков, не для эльфов. Эльфы они в Шотландии.
     
     
  • 2.8, Аноним (8), 23:10, 26/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +7 +/
    в Шотландии леприконы, а в Англии рептилоиды, запомни.
     
     
  • 3.68, PnD (??), 11:21, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +2 +/
    Лепр*е*коны же! ИЧСХ, в Ирландии.
    https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&cad=rja&uact=8&

    В Шотландии — хаггисы (не подгузники) и пуки всякие. А, ну и Несси в одном из местных лохов.

     
     
  • 4.151, Аноним (-), 10:53, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    Для тех кто не понял. "Лох" в переводе с шотладского означает "озеро".
     
     
  • 5.157, другие анонимы (?), 14:42, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    Да поняли мы, поняли - те, другие лохи - они в Несси, а не наоборот.

     
  • 2.13, Dzen Python (ok), 23:51, 26/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +5 +/
    Блин, чувак, в чем твоя проблема?

    Пролистать гримуар Иртегова по ОС - не так уж сложно, он тонкий. И писан он рунами понятными простым смертным. И даже дух OS/2 оттуда почти не воет, а Призрачный Пингвин приходит всего лишь раз в год, при осознанном вызове, что бы тебе там не говорили гоблины. Для вникания нужно всего лишь 250мл. крови девственной эльфийки - разве это цена, а? Всего три золотых стоит, у нас это на поток уже поставлено. Даже душу продавать уже не надо, как в случае с томом призыва демона Тание н'Баума. Какие только отмазки не придумают эти смерды, лишь бы не образовываться.

    Заодно не будешь спрашивать глупых вопросов.

     
     
  • 3.50, пох. (?), 09:09, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    > Заодно не будешь спрашивать глупых вопросов.

    Конечно не будет. Сожрет его демон.

    А защитное построение из трех золотых не сделаешь.

     
  • 3.121, Аноним (-), 23:28, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • –1 +/
    Ты читал резюме Иртегова Хрен с горы, который программированием занимался после... большой текст свёрнут, показать
     
     
  • 4.124, Dzen Python (ok), 23:52, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Во-воу, полехче. У нас тут и так глобальное потепление намечается, так ты еще и сверху добавляешь температуры.

    1. Ну читал, представь себе. Сравнивал. Иртегова могу с лёгким сердцем рекомендовать новичку - вместо мутных статей на лурке от vovan223, мутных правок в педивикии от Hren Sgorovitch'а и настолько же мутных статей от копирайтеров на нонеймовых ресурсах.

    2. Ты серьёзно? Гадать по резюме? Нет, стоп, т.е. ты всерьёз так считаешь?

     
     
  • 5.147, пох. (?), 09:39, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Сравнивал

    Ну так и в чем принципиальная разница?

    Ну не бывает, не бывает бюджетной магии. Кольцо продолбали, судя по тому что в эфиопии произошло.  Пентакли не делают из булыжников. Там если не золото, то изумруды, то топазы, то вообще вырезанный из цельного брильянта подавай (понятно, такое только у самого демона и можно выменять...а на что - сам догадайся).

    P.S. а вообще, наверное, и правда нет уже давно хороших книг. modern operating systems были not-so-modern уже когда книжка писалась.

     
     
  • 6.169, Dzen Python (ok), 23:11, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    От осины не родятся апельсины, а от дуба - армяны.

    Принципиальная разница?

    Легкий и понятный язык, без нудных занудствований с жонглированиям терминами, жонглирующими терминами. С примерами реального кода, а не миниксового, который где-то как-то, должен вроде бы как работать. Сравни те же главы про конкурентный доступ к ресурсам у Танненбаума и у Иртегова. Написано одно и то же, в принципе, лайвлок, дедлок, та же теорема о трех философах, только у нашего...проще? понятнее? интуитивнее?, чем у Таниенбаума.

     
     
  • 7.193, tmplsr (?), 18:49, 01/07/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Арпачи-Дюссо, "Операционные системы: 3 простых элемента" ("Книга Кометы") тоже довольно неплохая, есть перевод от изд-ва ДМК.
     
  • 2.15, Alladin (?), 00:04, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Реально глупый каммент, сказано же начали использовать асинхронные вычисления вместо синхронных...

    Это значит что вместо блокировок которые предоставляет ядро линукса и многопоток линукса сводится к фиксированному количеству потоков (реальных ядер) и отсутствию синхронных блокировок тоесть даже в однопотоке поток задач бесконечный без переключения контекста..

     
     
  • 3.18, Alladin (?), 00:14, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    со стороны линукса.
     
  • 3.132, pavlinux (ok), 01:58, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > асинхронные вычисления

    Это как? Вместо (a+b)^2 , распердоливают на три проца a^2, 2ab и b^2 и потом два раза +?
    Ну так се оптимизашка.

     
     
  • 4.148, пох. (?), 09:42, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Это как? Вместо (a+b)^2 , распердоливают на три проца a^2, 2ab и b^2

    а учитывая что речь о записи на носитель, у которого "проц" ровно один, очередь одна, iglesia una...ой, не в то окно, то как про машинистку - "такая фигня, такая фигня получается на диске"

    Одна надежда остается - что memory devices вынесут всю эту братию на свалку истории в ближайшем будущем.

     

  • 1.3, Шарп (ok), 22:48, 26/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +1 +/
    Лучше 12309 почините. Позавчера словил при копировании с одного ssd на другой. Сначала выдал скорость 1.7 гбайт/с, а потом комп повис.
     
     
  • 2.6, Аноним (6), 23:04, 26/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    так ты, поди, и на репозитарных ядрах сидишь.
     
     
  • 3.55, Аноним (55), 09:24, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Так в рекламных целях Windows устроено? 😊
     
     
  • 4.87, Аноним (87), 15:24, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Только реклама это ты. Потому что для рекламы не важен контекст, важно постоянное напоминание.  
     
  • 2.7, maximnik0 (?), 23:09, 26/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +4 +/
    >выдал скорость 1.7 гбайт/с, а потом комп повис

    Так 12309 это не зависание а жуткие тормоза с дерганьем мышки ,заикаием звука и т.д Оказался програмно-аппаратной проблеммой,из-за чего долго искали причину.И до сих пор идиотские ошибки всплывают-до пустим 1-2 порты Sata включены в режиме совместимости с ide а 3-4 в ahci.И можно оказываеться словить у многих производителей глюки если диски сидят на 1 и 4 портах и между ними идет обмен.Или комбинация жесткого диска и флэш диска на sata при этом включен Trim.А у меня на ноутбуке при долгом фоновом копирование с внешнего диска и не активности пользователя ноутбук переходил в энергосберегающий режим и внешний юсб диск отключал.

     
     
  • 3.16, Alladin (?), 00:13, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • –4 +/
    Что-то у вас накручено и перекручено..

    Если у вас глючит аппарат то ищите обновление биоса, думаю новая прошивка решит этот вопрос.

    Далее, режим совместимости IDE, а он реально нужен?

     
     
  • 4.33, maximnik0 (?), 04:41, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Если у вас глючит аппарат то ищите обновление биоса, думаю новая прошивка

    Этот баг поправили-теперь если нет активности на внешнем диске -отсылает команду перейти в экономный режим,если не переходит отключает питание.

    > Далее, режим совместимости IDE, а он реально нужен?

    Сложно сказать но 10 и linux операционки не заканчиваються,вдруг у кого то специфическое оборудование и операционка а драйверов sata нет, режим совместимости спасет.Вон 2 года назат я сперва удевлялся и смеялся,но человеку понадобилось ставить 98 винду на современное железо (дуалбутчик).И к моему стыду человеку подсказали современную материнскую плату с isa портом(сделано через юсб адаптер на уровне биуса)-оказываеться любителями написаны драйвера к pci-e,usb3.


     
     
  • 5.35, john_erohin (?), 06:05, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > любителями написаны драйвера к pci-e,usb3.

    для NT4 где-то были такие драйвера (для SATA тоже).
    но пользоваться ими я не рискнул.
    лучше ретрожелезо.

     
     
  • 6.59, maximnik0 (?), 10:18, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Ну драйвер к pci-e это скорее затычка,потому что ставилась задача что бы на програмном уровне более менее совместимость была с "старой" pci.А для sata были драйвера от производителей-помню по колледжу с оффициальной лицензионной виндой NT4 sp6a,билд был какой то странный,жалею что копию не снял-интегрирован ie5 с нормальным проводником.Понимала fat32, но дефрагментатора не было,был модернизирован ntfs -совместим от 2000,ставились юсб драйвера для клав,мышек и каких то принтеров и сканеров.Были sata драйвера от intel,sis,via совсем небольшой набор-но видились как scsi диски.
     
  • 5.43, X86 (ok), 07:41, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Назат удевлялся биуса оказываеться!!!)
    Заканьчиваться пужалуста!!!
     
  • 3.22, Аноним (22), 00:35, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +3 +/
    добавь это в /etc/sysctl.conf и 12309 больше тебя не побеспокоит


    # This fix enoumous big diry bytes (16 gb system vm.dirty_background_bytes 3.2 Gb ??? )
    # 64  mb - when system starts writing to disk  64*1024*1024
    # 256 mb - when system limits io to device speed 256*1024*1024
    # Guys from SUSE recommends keep this in proportion 1:2 - 1:4
    # Ubuntu guys recommends to set this even lower 16 and 42 Mb but well...
    # This emulates near 1 gb ram default behaviour

    #let only 64 mb of pages in ram before writing to disk on background
    vm.dirty_bytes = 67108864
    #let only 256 mb of pages in ram before blocking i/o to write to disk
    vm.dirty_background_bytes = 268435456

    ## use this on low ram machile (32 and 64 mb)
    #vm.dirty_bytes = 33554432
    #vm.dirty_background_bytes = 67108864

     
     
  • 4.28, leap42 (ok), 03:46, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Два чаю этому анониму!

    Ещё можно вот это добавить чтобы данные НЕ терялись (в большинстве случаев, но не всегда конечно) при потере питания:

    vm.dirty_expire_centisecs = 1000
    vm.dirty_writeback_centisecs = 250

     
     
  • 5.133, Аноним (-), 01:59, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    У многих ФС еще настраивается время "барьеров записи". Это время когда форсировано скидывается на диск и фиксируется состояние. Чем реже barrier-ы, тем эффективнее но тем больше данных может быть профакано при слете питания и т.п..
     
  • 4.80, Аноним (80), 14:21, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    А почему дистростроители так не поставляют изначально?
     
     
  • 5.142, leap42 (ok), 03:06, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > А почему дистростроители так не поставляют изначально?

    Во-первых, дистростроители имеют в виду серверы, где производительность дисковой подсистемы может просесть.
    Во-вторых, на системах с маленьким количеством памяти может быть странное (впски, микроплатники и т.д.)

     
  • 4.93, Аноним (93), 16:27, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +/
    А вы, часом, не перепутали значения для dirty_bytes с dirty_background_bytes?
     
     
  • 5.98, Аноним (98), 17:38, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Я вот тоже думаю, у меня

    vm.dirty_ratio = 10
    vm.dirty_background_ratio = 5

    ну и kernel.io_delay_type=3, какие ещё делеи?

     
  • 4.134, pavlinux (ok), 02:02, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > добавь это в /etc/sysctl.conf и 12309 больше тебя не побеспокоит

    Предлагаю за копипасту баянов 10-летней давности вводить пожизненный расстрел.

     
     
  • 5.186, Аноним (-), 22:13, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Предлагаю за копипасту баянов 10-летней давности вводить пожизненный расстрел.

    Что, ты тоже в курсе что у них эвристика для тормозных сторажей это сама уже давно делает, а для быстрых это только продолб скорости записи зазря? :)

     
  • 3.23, Аноним (22), 00:43, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +3 +/
    Беда в том что по умолчанию линукс задает размер дискового кэша в % от всей доступной памяти. Когда в ядре это прописывали память измерялась мегабайтами... Сейчаас памяти много, намного больше, кэш получается огромен.
    В итоге перед реальной записью на диск куча данных пишется в память а потом система пытается всю эту память скинуть на диск... кэш размерами в пару гигабайт... на медленный диск с приоритетом ядра... естественно все начинает тормозить.
     
     
  • 4.39, борланд (?), 06:53, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > Беда в том что по умолчанию линукс задает размер дискового кэша в
    > % от всей доступной памяти. Когда в ядре это прописывали память
    > измерялась мегабайтами... Сейчаас памяти много, намного больше, кэш получается огромен.
    > В итоге перед реальной записью на диск куча данных пишется в память
    > а потом система пытается всю эту память скинуть на диск... кэш
    > размерами в пару гигабайт... на медленный диск с приоритетом ядра... естественно
    > все начинает тормозить.

    Чому во фре таких пооблем нет и не было? Вся память под кеш юзается тоже.

     
     
  • 5.49, Анонимленьлогиниться (?), 08:58, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Вам про кэш записи (точнее dirty buffers), а в про кэш чтения ))

    Под чтение и в линуксе всегда все свободное используется...

     
  • 5.51, пох. (?), 09:12, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Чому во фре таких пооблем нет и не было?

    тому что у нее вообще нет толком кэширования на запись.
    vmstat -z
    и убедись.

    > Вся память под кеш юзается тоже.

    Тоже нет. Под мусор разновсяческий - это не под кэш.

     
  • 5.181, Аноним (-), 17:48, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Чому во фре таких пооблем нет и не было? Вся память под кеш юзается тоже.

    Ее юзеры для десктопных задач в винду дуалбутятся, вот у них и "нет проблем".

     
  • 4.60, another_one (ok), 10:51, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > Беда в том что по умолчанию линукс задает размер дискового кэша в % от всей доступной памяти. Когда в ядре это прописывали память измерялась мегабайтами... Сейчаас памяти много, намного больше, кэш получается огромен.

    Чем-то напомнило досовский смартдрайв, который начинал безбожно тормозить, если под кеш выделялось больше 8мб.

     
  • 4.71, пох. (?), 13:08, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Беда в том, что с 2.6.13 проблемы не было. А с 2.6.32 на той же, с-ка доступной памяти - откуда-то взялась.

     
     
  • 5.122, Ананоним (?), 23:30, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Всё это сказки про кэши. Ошибка в архитектуре. Если бы ядро с X11 дружили бы крепко, то при дисковых операциях никакого глобального лока не было бы, от которого курсор мыши тормозит, а всё работало бы и далее плавно, кроме самого дискового ввода-вывода. Для обработки событий мыши или клавиатуры операции с диском не нужны. И нефиг скидывать в своп системные страницы памяти, задействованные в этом механизме. Выровнять архитектуру просто никому не хочется. Ибо рак щука и лебедь.
     
     
  • 6.123, Ананоним (?), 23:33, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Могу ещё добавить, что и механизм повышения приоретета для процесса активного окна был бы хорош. Может он есть? Но я сильно сомневаюсь. У меня на 100 процентной загрузке всех 8 потоков видео в браузере тормозит и звук даже заикается. Даже если нагрузку давать через nice.
     
     
  • 7.139, pavlinux (ok), 02:14, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > У меня на 100 процентной загрузке всех 8 потоков видео в браузере тормозит и звук даже заикается.

    Странно, что не на 146%

     
     
  • 8.183, Аноним (-), 17:53, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Если на load average смотреть, там и 500 можно получить при достаточном рвении ... текст свёрнут, показать
     
  • 4.138, pavlinux (ok), 02:11, 28/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    > Беда в том что по умолчанию линукс задает размер дискового кэша

    В Linux НЕТ ДИСКОВОГО КЭША. Да и дисков уже нет (у нормальных)...  

     
  • 3.57, Аноним (55), 09:26, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Даже пуповину не обрезаем?
     
  • 2.25, Анончик (?), 01:17, 27/06/2022 [^] [^^] [^^^] [ответить]  [] []     [к модератору]
  • +4 +/
    я так на usb2 флэшку копирую данные со скоростью в пару гигабит. Потом еще еще 2 часа жду когда оно из буфера скинет на диск ))
     
     
  • 3.155, Ананоним (?), 13:07, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Открой для себя команду sync. Может не придётся 2 часа ждать.
     
     
  • 4.163, Анончик (?), 18:36, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Открой для себя команду sync. Может не придётся 2 часа ждать.

    волшебная комманда которая заставит флэшку быстро работать, супер, спасибо.


     
  • 4.187, Аноним (187), 22:17, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    > Открой для себя команду sync. Может не придётся 2 часа ждать.

    Никогда не видел sync отвисший на 15 минут в именно вот том сисколе? А надо было всего то тормозную флеху с старым кернелом поюзать. Сейчас в новых ядрах так не получится, оно видит что стораж тормоз и лимитирует размер буферов для него. Вместо этого caller начинает ограничиваться в скорости записи, зато не приводит к выжирону всей памяти на буфер и тупняку когда оно кому-то потребовалось а ядро ее м-е-д-л-е-н-н-о в-ы-ж-и-м-а-е-т пока юзер бесится.

     
  • 2.29, Аноним (29), 03:47, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Попробуй https://www.linux.org.ru/forum/general/16334308/page6
     
  • 2.40, Фальсификатор (?), 06:59, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Не хочешь 12309 тогда переходи если это убунта на пониженную версию стабле , а их более новых всего две это 20.04 и 21.04
     
  • 2.140, topin89 (ok), 02:14, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Уверен, что это был именно 12309? У нас регулярно были ситуации, когда по SFTP перекидывались файлы на пару сотен метров, скорость около 20 МБ/с сжатым потоком. И всё висло так сильно, что alt+PrintScreen+B не срабатывало. Залечили отключением режимов сна для NVMe.
     

  • 1.11, Dzen Python (ok), 23:45, 26/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +/
    90% просадок в скорости на ФС дают транзакции и журналирование записи - вообще все то, что делает durty bit если не бессмысленным, то всего лишь некритичным флагом для fsutil пройтись по журналу и поправить ссылки/создать список цепочек блоков в lost+found.

    Интересно, а ребята тестировали только на грязной стабильной работе, без обработок внештатных ситуаций?

    Мне вот интересно, как будут восстановлены данные из буфера при некорректном выключении (никак же, да, буфер не сохраняется? Т.е. детская болезнь времен ДОСа возвращается?)

     
     
  • 2.14, Аноним (14), 00:04, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Из буфера памяти? Никак.
    Иначе какой в нём вообще смысл?
     
  • 2.36, Аноним (36), 06:07, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    как глубока твоя нора, крол?
     
  • 2.76, Аноним (87), 13:38, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Этим должен заниматься рейд контроллер в одно лицо.  
     

  • 1.20, Аноним (20), 00:28, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +2 +/
    Пояснительная бригада, теперь XFS лучшая ФС или еще нет?
     

     ....большая нить свёрнута, показать (41)

  • 1.52, Аноним (52), 09:17, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +/
    и сделало 80 каких-нить уязвимостей которые найдут через пять лет
     
     
  • 2.56, пох. (?), 09:24, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    Вот видишь - целых пять лет твоя дыра - в безопастности!
     

  • 1.61, Аноним (61), 11:01, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • –1 +/
    Херасе они кэш изобрели!!! Срочная новость "Виндекапец близко"
     
     
  • 2.106, Аноним (-), 18:33, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Ты тормоз, Вася.
     

  • 1.72, freehck (ok), 13:15, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +/
    > Предварительные тесты производительности, проведённые при помощи инструментария fio (1 поток, размер блока 4кб, 600 секунд, последовательная запись), показывают увеличение числа операция ввода/вывода в секунду (IOPS) от 77k до 209k, скорости передачи данных от 314MB/s до 854MB/s и падения задержек от 9600ns до 120ns (80 раз).

    Ну если это всё правда, то тогда надо сделать новые бенчмарки для сравнения с ext4. Если раньше ext4 отставала процентов на 5-8 в разных тестах, то с этими данными, вероятно, у нас появится новая дефолтная ФС.

     
     
  • 2.73, Аноним (87), 13:35, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +3 +/
    XFS итак дефолтная файловая система кое-где.  
     
  • 2.78, Роман (??), 13:41, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    Ext4 вроде на очереди на поддержку io_uring
     
     
  • 3.82, ананоша (?), 14:51, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Btrfs
     
  • 3.107, Аноним (-), 18:34, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Всех живых на него наверное перетянут. А кто не перелезет станет постепенно считаться легаси. Приветы шишкинфсам, игнорьте новые клевые апи дальше, так из ядра и улетите.
     
     
  • 4.116, Аноним (114), 20:25, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • –1 +/
    Reiser5 с большой вероятностью это io_uring задействует. А в ядро она и так не попадёт, впрочем, как и ZFS.
     
     
  • 5.129, Аноним (-), 01:43, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Агаблин, зная их методики - они это сделают когда в ядре дропнут к хренам легаси апи (и всех кто не раздуплился перейти на новое внутриядерное апи, ибо трупы надо иногда выносить). Через полгодика кодинга в режиме "подгорело - фс не работает". Майнтайнеры линуха догаываются о таких соотношениях еще на подлете и ключевая причина почему ее там не будет на самом деле - вот эта.
     
     
  • 6.176, Аноним (176), 12:51, 29/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Тебе мысли излагать научиться бы.
     
     
  • 7.197, rationalseed (?), 21:04, 03/07/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    А где тут видна мысль? Какой-то шум дождя....
     
  • 2.89, Аноним (93), 15:34, 27/06/2022 [^] [^^] [^^^] [ответить]  []     [к модератору]
  • +/
    У ext4 проблемы иного характера - с масштабирование.
     

  • 1.83, Аноним (-), 14:52, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +1 +/
    А на чём проверяли Cкорости которые описаны похожи на скорсти от NVMe Это рам... большой текст свёрнут, показать
     
     
  • 2.91, Аноним (-), 15:56, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Забыл у KDiskMark ограничение в настройках для SEQ, нет варианта для SEQ ниже 1МиБ. Ладно fio через консоль.
     
  • 2.118, Аноним (-), 22:36, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    1333МHz
     
  • 2.119, Аноним (-), 22:50, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Я не правильно написал. Не 1333Мгц, а 667Мгц.

    Стандартное название  | Частота памяти, МГц | Время цикла, нс | Эффективная скорость, млн передач/с | Название модуля | Пиковая скорость передачи данных при 64-битной шине данных в одноканальном режиме, МБайт/с

    DDR3‑800 100 10,00 400 800 PC3‑6400 6400
    DDR3‑1066 133 7,50 533 1066 PC3‑8500 8533
    DDR3‑1333 166 6,00 667 1333 PC3‑10600 10667
    DDR3‑1600 200 5,00 800 1600 PC3‑12800 12800
    DDR3‑1866 233 4,29 933 1866 PC3‑14900 14933
    DDR3‑2133 266 3,75 1066 2133 PC3‑17000 17066
    DDR3‑2400 300 3,33 1200 2400 PC3‑19200 19200

     
     
  • 3.120, Аноним (-), 22:55, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Пропустил название Частота шины, МГц для
    400    
    533    
    667    
    800    
    933    
    1066    
    1200    
     
  • 3.162, Анонним (?), 18:21, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Посмотрим как это в виртуальной машине будет работать с хостом Windows. Я посмотрю, мне это надо.
     

  • 1.88, Аноним (93), 15:32, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • +/
    Я правильно понимаю, они sync-write делают async?
     
     
  • 2.158, zensey (ok), 16:09, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Нет, просто добавили поддерку API io_uring. В этом API есть средства синхронизации.
     

  • 1.109, Аноним (109), 18:49, 27/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  [] []     [к модератору]
  • –3 +/
    XFS же deprecated. Разве нет?
     
     
  • 2.113, anonymous (??), 19:49, 27/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +1 +/
    хороший наброс, годный
     
     
  • 3.130, Аноним (-), 01:46, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Вообще, есть и deprecated версия оного. Они новую версию запилили, при том - не совместимо со старой. И без конверсии онлайн. Офигенно просто. Про старую кернел трындит что в 2030 будет дропнуто, чтобы не расслаблялись, ага. А единственным способом конверсии является "заново пересоздать" походу. Можно оценить все прелести менеджмента файлух в стиле редгада.
     
     
  • 4.154, pda (ok), 11:57, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Если до 2030, то и конвертацию могут запилить.
     
     
  • 5.156, Попандопала (?), 14:10, 28/06/2022 [^] [^^] [^^^] [ответить]      [к модератору]
  • +/
    Никто этого не будет теперь делать и никто не оплатит энтузиастов если такие найдутся. Дропнули обозвав легаси в стиле Айпони  и на этом можно успокоиться. Третий рейзер тоже собрались к 2025 году выкинуть. Кругом печалька. На УФС2 перебираться буду когда отважусь к 2025.D ЗФС для хомячкого локалхоста излишен.
     

  • 1.172, vitalif (ok), 02:21, 29/06/2022 [ответить] [﹢﹢﹢] [ · · · ]  []     [к модератору]
  • +3 +/
    Новость из серии "учёный изнасиловал журналиста".

    Поддержка асинхронной буферизированной записи в io_uring для XFS уже была, и для ext4 уже была. Её для XFS просто ускорили - добавили "fast path".

    99% приложений это ни холодно, ни жарко, ибо те, кто морочится об асинхронной записи, в основном работают без буферизации, с O_DIRECT, в частности, потому, что в linux aio асинхронная запись просто не работает без O_DIRECT - она превращается в синхронную. В io_uring вот работает, да, но кто ж его поддержал-то...

    Кроме того, если пройти по ссылке на первоисточник, там видно, что и большой прирост в довольно специфическом кейсе...

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2025 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру