The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

01.06.2018 11:15  Компания Huawei предложила новую ФС EROFS для ядра Linux

Гао Сян (Gao Xiang) из компании Huawei представил в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable Read-Only File System), разработанную для использования на разделах, доступных в режиме только для чтения. В Huawei ФС EROFS рассчитывают использовать на разделах в платформе Android, монтируемых в режиме только для чтения.

Мотивом для создания новой ФС стала низкая эффективность работы существующих решений для read-only разделов. По сравнению с Ext4 новая ФС демонстрирует примерно идентичную производительность при выполнении операций последовательного чтения, но в разы обгоняет Ext4 при случайном доступе к данным. Например, при уровне сжатия 4 и тестировании на сервере с жестким диском ФС EROFS обогнала Ext4 в операциях случайного чтения более чем в шесть раз, а при использовании Android-смартфона с Flash почти в три раза. При увеличении уровня сжатия разрыв уменьшается, но характеристики выравниваются только к уровням порядка сжатия в 100 раз.

Как и в других read-only ФС структура EROFS существенно упрощена за счёт отбрасывания при реализации некоторых областей метаданных, таких как битовая карта свободных блоков. Основные отличия сводятся к оптимизациям, нацеленным больше на обеспечение высокой производительности, чем на максимальной экономии свободного пространства. EROFS поддерживает хранение данных в сжатом виде, но использует иной подход для хранения сжатых блоков.

В традиционных ФС на основе неупакованных блоков фиксированного размера формируются сжатые блоки, имеющие непредсказуемый произвольный размер. Так как доступ к данным на носителе осуществляется на уровне фиксированных блоков (кластеров), то при чтении сжатых блоков помимо основных данных приходится читать и данные с остаточным заполнением до границ кластера. Проблема частично решается применением дополнительной буферизации, но в этом случае увеличивается нагрузка на память и, так как сжатые блоки не используются напрямую и требуют распаковки, не ясно когда именно каждый сжатый блок может потребоваться. Из-за этого буферизация сжатых данных эффективна только при последовательном чтении и приводит к существенному провалу производительности при случайном доступе к данным, который представляет типовую нагрузку в реальных системах.

Для ускорения операций случайного доступа в EROFS реализовано несколько идей:

  • Применяются блоки страничного размера, которые могут сохраняться без остаточного заполнения и не требуют буферизации;
  • Небольшие данные и расширенные атрибуты (xattr) могут читаться одновременно с метаданными inode;
  • Реализованы области совместно используемых расширенных атрибутов (xattr), в которых могут храниться типовые атрибуты, такие как метки SELinux, или слишком большие xattr, не вмещающиеся в inline-блок;
  • Метаданные и данные могут смешиваться при хранении;
  • При сжатии используется метод, формирующий выходные блоки фиксированного размера (в существующих ФС разбивка на блоки фиксированного размера ведётся до сжатия, а после сжатия на выходе получаются блоки разного размера), что позволяет избавиться от траты ресурсов на чтение остаточного заполнения;
  • В кластере может сохраняться один или несколько блоков со сжатыми данными. Хранимые данные размещаются в блоках фиксированного размера, но распаковываются в цепочки произвольной длины.

    1. Главная ссылка к новости (https://lkml.org/lkml/2018/5/3...)
    2. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
    3. OpenNews: В состав ядра Linux принят код файловой системы OrangeFS
    4. OpenNews: Первый выпуск файловой системы Zbox
    5. OpenNews: Инженеры из Google представили глобальную файловую систему Upspin
    6. OpenNews: Значительное обновление файловой системы Bcachefs
    Лицензия: CC-BY
    Тип: Программы
    Ключевые слова: erofs, fs, linux, kernel
    При перепечатке указание ссылки на opennet.ru обязательно
    Обсуждение Ajax/Линейный | Показать все | RSS
     
  • 1.1, Fracta1L, 12:21, 01/06/2018 [ответить] [смотреть все]    [к модератору]
  • +21 +/
    Make love (EroFS), no war (BtrFS)!
     
     
  • 2.20, Аноним, 13:39, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]
  • +13 +/
    Good morning (POHMELFS)!
     
     
  • 3.90, Аноним, 08:28, 04/06/2018 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    DEVICEFUCKFS
     
     
  • 4.92, Аноним, 08:32, 04/06/2018 [^] [ответить] [смотреть все]     [к модератору]
  • +/
    не, лучше EroFS - для академических исследований FuckFS - для практического прим... весь текст скрыт [показать]
     
  • 2.37, 0x0, 16:20, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    А чё Со встроенной системой распознавания хранимых объектов, можно даже на майн... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.47, Andrey Mitrofanov, 18:27, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Ээээ это про любовь к халяве, я, извините, не распарсил риторический вопр... весь текст скрыт [показать]
     
     
  • 4.91, Аноним, 08:30, 04/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    ДМБ еще смотрят?
     
     
  • 5.93, Your Mama, 10:27, 04/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Конеш, на репите.
     
  • 1.4, DerRoteBaron, 12:26, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +6 +/
    Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь тем, кто желает что-то менять в этих RO-разделах (например, /system или в новом a-b формате чуть ли не весь /).
    И это довольно неплохо сочетается с вот этой новостью https://www.opennet.ru/opennews/art.shtml?num=48674
     
     
  • 2.6, Аноним, 12:34, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +5 +/
    Основное достоинство ext4 в Android, что его можно перемонтировать в rw-режиме.
     
     
  • 3.9, DerRoteBaron, 12:47, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Именно А тут, вероятно, придётся ребилдить весь раздел ради того, чтобы исправи... весь текст скрыт [показать]
     
     
  • 4.11, Аноним, 12:49, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –8 +/
    простите, что ... весь текст скрыт [показать]
     
     
  • 5.23, Аноним, 14:10, 01/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Удалить встроенное неотключаемое приложение
     
     
  • 6.71, AnonPlus, 20:06, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Модификация system лишает OTA-обновлений Чтобы не трогать system, посмотрите ... весь текст скрыт [показать]
     
  • 5.78, Аноним, 22:13, 01/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Проблемы в переключении режимов камеры, например.
     
  • 4.19, нах, 13:39, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    как бы не пришлось пзуху перепаивать - И да, у меня никаких сомнений, что плох... весь текст скрыт [показать]
     
  • 4.24, Аноним, 14:12, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Там будет лежать зашифрованный подписанный раздел , ни ребилдить ни поменять ни... весь текст скрыт [показать]
     
  • 2.22, Аноним, 14:10, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Так это и нужно для того что-бы сделать кастомизацию максимально сложной Постеп... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.32, X86, 15:35, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –4 +/
    И в итоге все перейдут на китайские телефоны с разблокированными процессорами и ... весь текст скрыт [показать]
     
     
  • 4.33, Аноним, 16:03, 01/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +7 +/
    На минуточку, Huawei — самая что ни на есть китайская компания, которая на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах. Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют этому примеру
     
     
  • 5.73, AnonPlus, 20:07, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Дядюшка Ляо изначально не предусматривает блокировку загрузчика, в отличие от Hu... весь текст скрыт [показать]
     
  • 2.28, Аноним, 15:00, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Вряд-ли ибо как его потом обновлять заплатками ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.29, DerRoteBaron, 15:20, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Так же, как это происходит сейчас патчи на образ для минорных обновлений и полн... весь текст скрыт [показать]
     
  • 1.5, Аноним, 12:33, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • –2 +/
    Если корень сделать с этой фс, программы бысрее будут грузится?
     
     
  • 2.14, Ее, 12:57, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    На глаз этого кто.
     
  • 2.16, Аноним, 13:12, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Система - возможно Программы - возможно предустановленные, до первого обновлени... весь текст скрыт [показать] [показать ветку]
     
  • 1.7, Аноним, 12:42, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +3 +/
    ErrorFS
     
  • 1.8, Andrey Mitrofanov, 12:46, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +3 +/
    > Гао Сян (Gao Xiang) из компании  Huawei представил
    >в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable

    Когда прекращение https://www.opennet.ru/opennews/art.shtml?num=48674 предоставления?

    Huawei прекращает предоставление средств для разблокировки з...
    > Read-Only File System), разработанную для использования на разделах, доступных в режиме
    > только для чтения. В Huawei ФС EROFS

     
  • 1.10, Аноним, 12:48, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +6 +/
    и ни слова про сравнение со squashFS
     
     
  • 2.44, Anon3, 17:46, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    Тоже сначала подумал, может заменить squashFS на сабж у своих применениях Но, е... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.67, Аноний, 19:43, 01/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    squashfs можно юзать без сжатия
     
  • 3.95, edo, 17:49, 17/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    > У Huawei интеререс другой - размер хранилища они контролируют (смартфон то ихний)

    Почему именно смартфон? Основной бизнес Huawei — всё-таки операторские железки (это такой монстр, который пытается закрыть, пожалуй, всё ниши железа для интернет- и GSM-провайдеров, включая абонентское оборудование).

     
  • 2.94, edo, 17:41, 17/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    По ссылке есть
    we once tried to use squashfs on our products with
    different block sizes several years ago, it behaves
    unacceptable in the low free memory scenario besides its
    performance

    Честно говоря, я не очень понял, о чем речь )

     
  • 1.12, Аноним, 12:51, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +17 +/
    > Компания Huawei

    Это та которая закрывает прошивки и лишает гарантии при попытке разлочить рута? НЕНУЖНО.

     
     
  • 2.38, Аноним, 16:28, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    А всё потому, что кто-то не хочет GPLv3.
     
  • 1.13, Аноним, 12:52, 01/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    К чему эти полумеры, Huawei Если вы так не желаете, чтобы пользователь вашего п... весь текст скрыт [показать]
     
     
  • 2.17, Аноним, 13:19, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Это убыточно для экономики Китайской Народной Республики пользователь нужен жив... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.25, Аноним, 14:14, 01/06/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    А куда он денется?
    Да и гарантия при разблокировке снимается :)
     
  • 3.69, Аноним, 19:59, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +4 +/
    Мазь от ожогов тоже товар Сочтут выгодным - диверсифицируют бизнес, откроют Хуа... весь текст скрыт [показать]
     
  • 2.21, ryoken, 14:02, 01/06/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +1 +/
    Это к гнусмасам Не подскажет кто, они гнусмасы уже в характеристиках тротилов... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.36, Аноним, 16:08, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Эти-то просто ошиблись в разработке А Хуавей могут и реально дойти до чего-то т... весь текст скрыт [показать]
     
     
  • 4.49, Andrey Mitrofanov, 18:29, 01/06/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Хойвей А чего Им можно ... весь текст скрыт [показать]
     
  • 1.52, Аноним, 18:36, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    ext4 давно ли сжатию научился?
     
     
  • 2.87, Аноним, 17:33, 02/06/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • –2 +/
    Через подсистему блочного устройства redhat, ищи на гитаре репу  VDO
     
  • 1.59, Аноним, 19:11, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    > При увеличении уровня сжатия разрыв уменьшается

    Это точно EroFS, 100%

     
  • 1.74, Аноним, 21:00, 01/06/2018 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    А стирать можно будет УФ-лампой?
     
  • 1.77, Аноним, 22:05, 01/06/2018 [ответить] [смотреть все]     [к модератору]  
  • +/
    Народу эта файловая система явно не нравится, а кто его вообще спрашивает А раз... весь текст скрыт [показать]
     
  • 1.89, Аноним, 21:10, 03/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    На SSD/Flash выигрыш по скорости совсем несущественный.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor