The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Компания Huawei предложила новую ФС EROFS для ядра Linux

01.06.2018 11:15

Гао Сян (Gao Xiang) из компании Huawei представил в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable Read-Only File System), разработанную для использования на разделах, доступных в режиме только для чтения. В Huawei ФС EROFS рассчитывают использовать на разделах в платформе Android, монтируемых в режиме только для чтения.

Мотивом для создания новой ФС стала низкая эффективность работы существующих решений для read-only разделов. По сравнению с Ext4 новая ФС демонстрирует примерно идентичную производительность при выполнении операций последовательного чтения, но в разы обгоняет Ext4 при случайном доступе к данным. Например, при уровне сжатия 4 и тестировании на сервере с жестким диском ФС EROFS обогнала Ext4 в операциях случайного чтения более чем в шесть раз, а при использовании Android-смартфона с Flash почти в три раза. При увеличении уровня сжатия разрыв уменьшается, но характеристики выравниваются только к уровням порядка сжатия в 100 раз.

Как и в других read-only ФС структура EROFS существенно упрощена за счёт отбрасывания при реализации некоторых областей метаданных, таких как битовая карта свободных блоков. Основные отличия сводятся к оптимизациям, нацеленным больше на обеспечение высокой производительности, чем на максимальной экономии свободного пространства. EROFS поддерживает хранение данных в сжатом виде, но использует иной подход для хранения сжатых блоков.

В традиционных ФС на основе неупакованных блоков фиксированного размера формируются сжатые блоки, имеющие непредсказуемый произвольный размер. Так как доступ к данным на носителе осуществляется на уровне фиксированных блоков (кластеров), то при чтении сжатых блоков помимо основных данных приходится читать и данные с остаточным заполнением до границ кластера. Проблема частично решается применением дополнительной буферизации, но в этом случае увеличивается нагрузка на память и, так как сжатые блоки не используются напрямую и требуют распаковки, не ясно когда именно каждый сжатый блок может потребоваться. Из-за этого буферизация сжатых данных эффективна только при последовательном чтении и приводит к существенному провалу производительности при случайном доступе к данным, который представляет типовую нагрузку в реальных системах.

Для ускорения операций случайного доступа в EROFS реализовано несколько идей:

  • Применяются блоки страничного размера, которые могут сохраняться без остаточного заполнения и не требуют буферизации;
  • Небольшие данные и расширенные атрибуты (xattr) могут читаться одновременно с метаданными inode;
  • Реализованы области совместно используемых расширенных атрибутов (xattr), в которых могут храниться типовые атрибуты, такие как метки SELinux, или слишком большие xattr, не вмещающиеся в inline-блок;
  • Метаданные и данные могут смешиваться при хранении;
  • При сжатии используется метод, формирующий выходные блоки фиксированного размера (в существующих ФС разбивка на блоки фиксированного размера ведётся до сжатия, а после сжатия на выходе получаются блоки разного размера), что позволяет избавиться от траты ресурсов на чтение остаточного заполнения;
  • В кластере может сохраняться один или несколько блоков со сжатыми данными. Хранимые данные размещаются в блоках фиксированного размера, но распаковываются в цепочки произвольной длины.

    1. Главная ссылка к новости (https://lkml.org/lkml/2018/5/3...)
    2. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
    3. OpenNews: В состав ядра Linux принят код файловой системы OrangeFS
    4. OpenNews: Первый выпуск файловой системы Zbox
    5. OpenNews: Инженеры из Google представили глобальную файловую систему Upspin
    6. OpenNews: Значительное обновление файловой системы Bcachefs
    Лицензия: CC-BY
    Тип: Программы
    Ключевые слова: erofs, fs, linux, kernel
    При перепечатке указание ссылки на opennet.ru обязательно
    Обсуждение (49) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Fracta1L (ok), 12:21, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +21 +/
    Make love (EroFS), no war (BtrFS)!
     
     
  • 2.20, Аноним (-), 13:39, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +14 +/
    Good morning (POHMELFS)!
     
     
  • 3.90, Аноним (-), 08:28, 04/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    DEVICEFUCKFS
     
     
  • 4.92, Аноним (-), 08:32, 04/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    не, лучше

    EroFS - для академических исследований
    FuckFS - для практического применения


     
  • 2.37, 0x0 (?), 16:20, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А чё? Со встроенной системой распознавания хранимых объектов, можно даже на майнинг криптолибидо располагать ‿
     
     
  • 3.47, Andrey Mitrofanov (?), 18:27, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >можно даже на майнинг
    > криптолибидо

    Ээээ... это про любовь к халяве, я, извините, не распарсил?  </риторический вопрос, не отвечать!>

    ---"Каптёр, чужое. Взять-взять!"(ДМБ)

     
     
  • 4.91, Аноним (-), 08:30, 04/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ДМБ еще смотрят?
     
     
  • 5.93, Your Mama (?), 10:27, 04/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Конеш, на репите.
     

  • 1.4, DerRoteBaron (?), 12:26, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь тем, кто желает что-то менять в этих RO-разделах (например, /system или в новом a-b формате чуть ли не весь /).
    И это довольно неплохо сочетается с вот этой новостью https://www.opennet.ru/opennews/art.shtml?num=48674
     
     
  • 2.6, Аноним (-), 12:34, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Основное достоинство ext4 в Android, что его можно перемонтировать в rw-режиме.
     
     
  • 3.9, DerRoteBaron (?), 12:47, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Именно. А тут, вероятно, придётся ребилдить весь раздел ради того, чтобы исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунга.
     
     
  • 4.11, Аноним (-), 12:49, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • –8 +/
    > исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунга

    простите, что?

     
     
  • 5.23, Аноним (-), 14:10, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Удалить встроенное неотключаемое приложение
     
     
  • 6.71, AnonPlus (?), 20:06, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Модификация /system лишает OTA-обновлений.

    Чтобы не трогать /system, посмотрите на Magisk.

     
  • 5.78, Аноним (-), 22:13, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Проблемы в переключении режимов камеры, например.
     
  • 4.19, нах (?), 13:39, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    как бы не пришлось пзуху перепаивать :-(

    И да, у меня никаких сомнений, что плохой дорогой не ограничится - "промышленность с радостью перейдет на новый стандарт".

     
  • 4.24, Аноним (-), 14:12, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Там будет лежать зашифрованный подписанный "раздел", ни ребилдить ни поменять никакой возможности не будет, и всё это конечно по просьбам трудящихся.
     
  • 2.22, Аноним (-), 14:10, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Так это и нужно для того что-бы сделать кастомизацию максимально сложной. Постепенно системы становятся всё более огороженными и, со временем, судя по всему, начнётся жёсткая привязка к своей "марке" с арендной моделью использования.
     
     
  • 3.32, X86 (ok), 15:35, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • –4 +/
    И в итоге все перейдут на китайские телефоны с разблокированными процессорами и прошивками.
     
     
  • 4.33, Аноним (-), 16:03, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +7 +/
    На минуточку, Huawei — самая что ни на есть китайская компания, которая на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах. Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют этому примеру
     
     
  • 5.73, AnonPlus (?), 20:07, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > На минуточку, Huawei — самая что ни на есть китайская компания, которая
    > на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах.
    > Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют
    > этому примеру

    Дядюшка Ляо изначально не предусматривает блокировку загрузчика, в отличие от Huawei, которая предусматривает, но отказывает в разблокировке.

     
  • 2.28, Аноним (-), 15:00, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь
    > тем, кто желает что-то менять в этих RO-разделах (например, /system или
    > в новом a-b формате чуть ли не весь /).
    > И это довольно неплохо сочетается с вот этой новостью https://www.opennet.ru/opennews/art.shtml?num=48674

    Вряд-ли ибо как его потом обновлять заплатками.

     
     
  • 3.29, DerRoteBaron (?), 15:20, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Так же, как это происходит сейчас: патчи на образ для минорных обновлений и полностью новый - для мажорных
     

  • 1.5, Аноним (-), 12:33, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Если корень сделать с этой фс, программы бысрее будут грузится?
     
     
  • 2.14, Ее (?), 12:57, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    На глаз этого кто.
     
  • 2.16, Аноним (-), 13:12, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Система - возможно. Программы - возможно предустановленные, до первого обновления.
     

  • 1.7, Аноним (-), 12:42, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    ErrorFS
     
  • 1.8, Andrey Mitrofanov (?), 12:46, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > Гао Сян (Gao Xiang) из компании  Huawei представил
    >в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable

    Когда прекращение https://www.opennet.ru/opennews/art.shtml?num=48674 предоставления?

    Huawei прекращает предоставление средств для разблокировки з...
    > Read-Only File System), разработанную для использования на разделах, доступных в режиме
    > только для чтения. В Huawei ФС EROFS

     
  • 1.10, Аноним (-), 12:48, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    и ни слова про сравнение со squashFS
     
     
  • 2.44, Anon3 (?), 17:46, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Тоже сначала подумал, может заменить squashFS на сабж у своих применениях.
    Но, если подумать, область применения squashFS - почти безкомпромистное уменьшение размера посредством LZMA в ущерб скорости. У Huawei интеререс другой - размер хранилища они контролируют (смартфон то ихний), а от увеличения скорости фс повышается отзывчивость, а значит usability.
    Иными словами имеет смысл бодаться с RO разделами EROSFS только если хочется повысить скорость чтения случайных данных с использованием уровня сжатия 4 EROSFS.
    Т.е. usecase довольно узкий и сравнивать, думаю, не имеет особого смысла.
    Умозрительно, если EROSFS рвет EXT4 на случайном доступе и это важно для холодных данных, то и squashFS очевидно плохое решение.
    Если кэш FS ядра прогрелся, то думаю разницы большой не будет
     
     
  • 3.67, Аноний (?), 19:43, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    squashfs можно юзать без сжатия
     
  • 3.95, edo (ok), 17:49, 17/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > У Huawei интеререс другой - размер хранилища они контролируют (смартфон то ихний)

    Почему именно смартфон? Основной бизнес Huawei — всё-таки операторские железки (это такой монстр, который пытается закрыть, пожалуй, всё ниши железа для интернет- и GSM-провайдеров, включая абонентское оборудование).

     
  • 2.94, edo (ok), 17:41, 17/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    По ссылке есть
    we once tried to use squashfs on our products with
    different block sizes several years ago, it behaves
    unacceptable in the low free memory scenario besides its
    performance

    Честно говоря, я не очень понял, о чем речь )

     

  • 1.12, Аноним (-), 12:51, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +17 +/
    > Компания Huawei

    Это та которая закрывает прошивки и лишает гарантии при попытке разлочить рута? НЕНУЖНО.

     
     
  • 2.38, Аноним (-), 16:28, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А всё потому, что кто-то не хочет GPLv3.
     

  • 1.13, Аноним (-), 12:52, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    К чему эти полумеры, Huawei? Если вы так не желаете, чтобы пользователь вашего продукта разблокировал загрузчик или удалял ваш блоатварь, предлагаю при обнаружении root\несовпадении контрольной суммы загрузчика\вмешательстве в системные разделы удалённо подрывать или сжигать аккумулятор.
     
     
  • 2.17, Аноним (-), 13:19, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Это убыточно для экономики Китайской Народной Республики: пользователь нужен живым и здоровым, чтобы новый телефон купил у них же.
     
     
  • 3.25, Аноним (-), 14:14, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А куда он денется?
    Да и гарантия при разблокировке снимается :)
     
  • 3.69, Аноним (-), 19:59, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Это убыточно для экономики Китайской Народной Республики: пользователь нужен живым и здоровым,
    > чтобы новый телефон купил у них же.

    Мазь от ожогов тоже товар. Сочтут выгодным - диверсифицируют бизнес, откроют Хуавей Бёрн энд Вунд Медикалз, Лтд.

     
  • 2.21, ryoken (ok), 14:02, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > подрывать или сжигать аккумулятор.

    Это к гнусмасам. Не подскажет кто, они (гнусмасы) уже в характеристиках тротиловый ээквивалент публикуют?

     
     
  • 3.36, Аноним (-), 16:08, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Эти-то просто ошиблись в разработке. А Хуавей могут и реально дойти до чего-то такого
     
     
  • 4.49, Andrey Mitrofanov (?), 18:29, 01/06/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >А Хуавей могут и реально дойти до
    > чего-то такого

    Хойвей: "А чего?!  Им можно??"

     

  • 1.52, Аноним (-), 18:36, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    ext4 давно ли сжатию научился?
     
     
  • 2.87, Аноним (-), 17:33, 02/06/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Через подсистему блочного устройства redhat, ищи на гитаре репу  VDO
     

  • 1.59, Аноним (-), 19:11, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > При увеличении уровня сжатия разрыв уменьшается

    Это точно EroFS, 100%

     
  • 1.74, Аноним (-), 21:00, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А стирать можно будет УФ-лампой?
     
  • 1.77, Аноним (-), 22:05, 01/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Народу эта файловая система явно не нравится, а кто его вообще спрашивает.
    А раз так, то зачем будоражить общественность?
    Делайте всё втихую. -
    Всякие нелепые файловые системы, прошивки со "случайными ошибками", которые случайно находятся, которыми могут воспользоваться злоумышленники (когда о них становится известно), а до тех пор пока неизвестно ими пользуются исключительно порядочные и честные люди.
    П.С. Я против негодяев, но такие меры...
     
  • 1.89, Аноним (-), 21:10, 03/06/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На SSD/Flash выигрыш по скорости совсем несущественный.
     
  • 1.96, Dmitry (??), 12:10, 05/09/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Эмм, собственно нечего не понял, но стоит ли обновлять? 3гига обнова, а из описания изменений одна эта фикса(EROFS)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру