The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы
правила/FAQ
поиск
регистрация
вход
слежка
RSS


Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск архиватора RAR 7.0, opennews (??), 28-Фев-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


193. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от zk (?), 29-Фев-24, 10:27 
Компрессор, не компрессор, отношение хуже-лучше - а сжимает он гораздо лучше. Пробуйте -9 уровень.
Ответить | Правка | К родителю #186 | Наверх | Cообщить модератору

196. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 29-Фев-24, 10:35 
> Компрессор, не компрессор, отношение хуже-лучше - а сжимает он гораздо лучше. Пробуйте
> -9 уровень.

Медленно, не лучше. Если уж пользоваться xz -9, то только в lrzip, но в lrzip есть zpaq, сжимающий на треть лучше. При этом, zstd-23 сжимает не хуже xz -9, но значительно быстрее (и особенно распаковка) и окно до 2гб, за счёт чего повторяющиеся данные вообще места занимать не будут.

Ответить | Правка | Наверх | Cообщить модератору

230. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Вася (??), 29-Фев-24, 13:34 
>> Компрессор, не компрессор, отношение хуже-лучше - а сжимает он гораздо лучше. Пробуйте
>> -9 уровень.
> Медленно, не лучше. Если уж пользоваться xz -9, то только в lrzip,
> но в lrzip есть zpaq, сжимающий на треть лучше. При этом,
> zstd-23 сжимает не хуже xz -9, но значительно быстрее (и особенно
> распаковка) и окно до 2гб, за счёт чего повторяющиеся данные вообще
> места занимать не будут.

xz это не про скорость, а уж если стоит задача СЖАТЬ, то -9 глупо не использовать - оно время так и так потратит, а место сохранит. Для холодных данных минусы есть?

Ответить | Правка | Наверх | Cообщить модератору

238. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 29-Фев-24, 13:57 
О чём я и говорю, использовать xz вообще глупо, а уж тем более максимальный. Если стоит цель сжать тарбол и есть возможность предварительно сохранить его на диске, то только lzip, и то, можно и deflate вместо lzma взять, всё равно получится лучше.
Ответить | Правка | Наверх | Cообщить модератору

246. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (46), 29-Фев-24, 14:43 
> в lrzip есть zpaq, сжимающий на треть лучше.

Лол. Любопытства ради сравнил сейчас на своём слабеньком ноуте степень сжатия и время создания архива с помощью zstd и lrzip с ключом -z (zpaq). Сжимал папку system32 размером 3 ГиБ из дистрибутива винды (удобно для тестирования архиваторов). В первом случае на создание архива объемом 1.4 ГиБ ушло примерно 23 секунды (с ключом -Т0 ещё меньше -- 16 секунд); во втором случае создание архива объёмом 1.3 ГиБ заняло больше 27 минут (!). Не, друзья, спасибо, но такая экономия мне не нужна ))

Ответить | Правка | К родителю #196 | Наверх | Cообщить модератору

255. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 29-Фев-24, 15:05 
Зависит от характера данных. Бинарные данные в принципе не сжимаются, тот же рар скипает (или применяет фильтры и всё же сжимает, те же картинки). И lrzip может скипать, если lz4 не показывает сжатия, однако дедупликацию он всё равно применит. Zstd надо сравнивать с --ultra -22 -T0 --long=31 ты просто не умеешь ими пользоваться.
Ответить | Правка | Наверх | Cообщить модератору

256. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (46), 29-Фев-24, 15:11 
> Zstd надо сравнивать с --ultra -22 -T0 --long=31 ты просто не умеешь ими пользоваться.

Это как-то ускорит zpaq?

Ответить | Правка | Наверх | Cообщить модератору

259. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 29-Фев-24, 15:21 
Это поставит zstd на один уровень с 7z. Zpaq должен применяться только к сжимаемым данным, и помимо этого данным необходима ещё предварительная обработка и упорядочивание. Я сжимаю в основном документы, разница очевидна.
Ответить | Правка | Наверх | Cообщить модератору

262. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (46), 29-Фев-24, 15:28 
> Это поставит zstd на один уровень с 7z

На один уровень в чём? Так-то zstd меня и так всем устраивает...

Ответить | Правка | Наверх | Cообщить модератору

263. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 29-Фев-24, 15:34 
О, я рад, что ты спросил. В степени сжатия и возможностях дедупликации. В частности, я использую zstd -3 с расширенным окном, меня устраивает больше 7z благодаря дедупликации в более широких пределах и приемлемой скорости извлечения.
Ответить | Правка | Наверх | Cообщить модератору

317. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (-), 01-Мрт-24, 02:33 
> Зависит от характера данных. Бинарные данные в принципе не сжимаются, тот же
> рар скипает (или применяет фильтры и всё же сжимает,

Экспертиза опеннета она такая. А как же тогда исполняемые файлы жмутся раза в 2-3? :)

Ответить | Правка | К родителю #255 | Наверх | Cообщить модератору

318. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 02:59 
В исполняемых файлах много текста, нулей, и просто повторяющихся данных. Да, вот прямо берут lzma и сжимают. Что сказать хотел?
Ответить | Правка | Наверх | Cообщить модератору

334. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (27), 01-Мрт-24, 06:49 
А что такое «бинарные данные»?
Ответить | Правка | Наверх | Cообщить модератору

339. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (-), 01-Мрт-24, 07:25 
> В исполняемых файлах много текста, нулей, и просто повторяющихся данных. Да, вот
> прямо берут lzma и сжимают. Что сказать хотел?

То что это, внезапно, бинарные файлы. Не текстовые же, в самом деле?!

Ответить | Правка | К родителю #318 | Наверх | Cообщить модератору

354. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 01-Мрт-24, 09:07 
Может быть, он намекал, что не надо путать LZMA с RLE, а стоит почитать хотя бы про Хаффмана?
Ответить | Правка | К родителю #318 | Наверх | Cообщить модератору

366. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 13:52 
А кому он намекал на это? Или, ты полагаешь, он намекал тебе? Ну, обсуждение открытое, конечно, но ты немного перецениваешь собственную значимосить -- мир-то не крутится вокруг тебя. У lzma действительно есть поддержка кодирования исполняемых файлов. Те самые фильтры. В пакерах тоже используется lzma. И если можно реорганизовать данные без потерь и эффективно их пожать, то почему бы этим не воспользоваться? Даже на выравниваниях и пустых структурах можно сэкономить немало. Но это всё же не те данные, которые имеет смысл обсуждать. В гигабайтных исполняемых файлах большую часть будут занимать ресурсы, и они уже пожаты каким-нибудь deflate. А бинарные данные, как известно, не уменьшаются в размере, и, тем более, при повторном сжатии.
Ответить | Правка | Наверх | Cообщить модератору

371. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 01-Мрт-24, 15:12 
Очевидно, что намекал он тебе, как автору бредового заявления "бинарные данные в принципе не сжимаются" - ты зациклен на нулях и повторяющихся данных, значит не имеешь понятия об иных вариантах избыточности.

Ты, кстати, напрасно так возбудится, иди ответь на остальные вопросы выше.

Ответить | Правка | Наверх | Cообщить модератору

372. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 15:35 
Не на что там отвечать, и ничего бредового в этом нет. Может быть, твоё недостаточное образование не позволяет понять эту истину. Можно поксорить эксешник и что-то сжатие уже к увеличению размера приводит, хотя данные вроде всё те же. Я уж не говорю пройтись примитивным шифром. В исполняемых файлах сжимается как правило отладочная информация и текст, больше там нечего сжимать. В файлах с данными такой роскоши нет и сжимаются именно бесполезные пустоты.
Ответить | Правка | Наверх | Cообщить модератору

373. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 01-Мрт-24, 15:37 
Алгоритм Хаффмана - это уровень лабораторной работы. Если ты не осилил даже прочитать его и понять, лучше не пиши ничего по теме.
Ответить | Правка | Наверх | Cообщить модератору

374. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 15:47 
Я очень рад за тебя, что ты даже знаешь, что это такое. Поражён такой эрудированностью. Но толку от твоих теорий? На практике картина совершенно другая и типичные бинарные данные _не сжимаются_, у них слишком высокая энтропия. Это не то, как данные кодируются. И без применения фильтров именно что нечего сжимать.
Ответить | Правка | К родителю #373 | Наверх | Cообщить модератору

376. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 01-Мрт-24, 15:58 
Скажи, а ты не тот "юрист", кто оспаривал возможность перепродажи GPL-программ в соседней теме? По уровню бредовости совпадает с твоим "Бинарные данные в принципе не сжимаются" из #255.
Ответить | Правка | К родителю #374 | Наверх | Cообщить модератору

379. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 16:24 
Ну, для таких как ты, действительно стоит добавлять очевидные вещи, что типичные бинарные данные с высокой степенью энтропии сжимать бесполезно -- это максимально неэффективно и сжатие приведёт только к их увеличению. Я не знаю, с чем там проблема с перепродажей программ под ГПЛ, но, скорее всего, ты просто не осознаёшь очевидное. Всё зависит от того, кто автор и у кого права. Потому что только владелец прав может поменять лицензию, например. Такие права вполне могут быть переданы вместе с кодом.

Но, в общем случае, когда авторство принадлежит куче неизвестных, чтобы перепродавать чужие наработки под копилефтной лицензией, придётся предложить, помимо чужого труда, нечто значимое и от себя. Например, собрать копилефтные компоненты в готовый конечный продукт и объяснить заинтересованным покупателям, почему необходимо выбрать именно это решение. У оригинальных авторов может не быть ни интереса, ни желания, ни возможностей, поэтому созданием и сопровождением продукта могут заниматься другие люди.

А, чтобы препятствовать дальнейшим свободным распространению и перепродаже копилефтного продукта (как минимум, копилефтным его частям), придётся накладывать дополнительные дурнопахнущие ограничения, ну вот вроде как поступали авторы grsecurity. Это всё в отрыве от торговых марок и лицензированных проприетарных ресурсов, конечно, на них лицензия кода никак не распространяется.

Таким образом, нельзя просто взять и перепродать копилефтную программу. Это ещё не говоря о тех случаях, когда у её авторов могут быть лицензионные соглашения с держателями патентов. Для начала придётся её очистить от чужой интеллектуальной собственности, на которую прав нет, и урегулировать вопросы лицензий. И только тогда продавать. Это всё зависит от особенностей локального законодательства, конечно, вот в некоторых государствах гпл никак не признаётся официально, следовательно и обязательств перед потербителем никаких не возникает.

Ответить | Правка | К родителю #376 | Наверх | Cообщить модератору

382. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 01-Мрт-24, 19:37 
Ты пока даже определение "бинарных данных" дать не смог. Про энтропию тебе тем более рано говорить, твоей причастности к секте её друзей не достаточно.
Ответить | Правка | К родителю #379 | Наверх | Cообщить модератору

384. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 01-Мрт-24, 20:09 
Я разве обещал его дать? По-моему, это очевидное понятие. Небольшой ликбез. Текст -- это тоже бинарные данные, только байты в нём это субсет возможных значений с большим числом повторений для одних, и не таким большим для других, это слова и пунктуация натурального языка, они подчиняются вполне определённым правилам. Тут можно хорошо сэкономить. А в бинарных "бинарных данных" (в противовес текстовым "бинарным данным") вся экономия от пустот, повторений, и оставленного мусора, такое разве что в исполняемых файлах найдётся. А всё потому, что они либо уже пожаты чем-то, либо не содержат "пустот" и совершенно не поддаются сжатию -- даже если в них можно найти что-либо сжимаемое, окружающий мусор сделать этого не даст. Есть замечательные примеры, когда бинарные ресурсы тех же игр сжимаются в 15 раз. Но это достаточно нетипичные и плохо организованные данные. Только и тут нужна эвристика, позволяющая исключить несжимаемые данные, иначе файл просто раздувается и время тратится впустую. Имеется несколько подходов к решению этой проблемы. Один из них, это переупорядочивание и тестовое сжатие каким-нибудь быстрым алгоритмом имеющихся "блоков" данных, с отсеиванием "лишнего". Другой, это полное преобразование в другой, более компактный формат, иногда даже без возможности восстановить оригинальные данные (т.е. пересжатие без потерь, но не bitperfect), таким образом например, можно сконвертировать обычный jpeg в процент от оригинального размера (в некоторых случаях, это окажется 1 процент), но, если такой файл попытаться просто сжать, ничего не получится.
Ответить | Правка | К родителю #382 | Наверх | Cообщить модератору

390. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от n00by (ok), 02-Мрт-24, 10:39 
Для тебя не очевидное, раз ты додумался заявлять, что они _в_принципе_ не сжимаются.

Ответить | Правка | К родителю #384 | Наверх | Cообщить модератору

392. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (-), 02-Мрт-24, 10:55 
> Я очень рад за тебя, что ты даже знаешь, что это такое.
> Поражён такой эрудированностью. Но толку от твоих теорий? На практике картина
> совершенно другая и типичные бинарные данные _не сжимаются_, у них слишком
> высокая энтропия. Это не то, как данные кодируются. И без применения
> фильтров именно что нечего сжимать.

Совершенно типичный бинарник исполняемого файла - отлично сжимается, и энтропия у него не особо высокая. А вы имеете в виду уже сжатые файлы, очевидно. Они, конечно, входят в множество бинарных файлов, но не единственная составляющая в нем.

Ответить | Правка | К родителю #374 | Наверх | Cообщить модератору

393. "Выпуск архиватора RAR 7.0"  +/–
Сообщение от Аноним (178), 02-Мрт-24, 11:30 
В любом случае, исполняемый файл -- это не "типипичный бинарник", и исполняемый код -- не то, что сжимают. Там есть, что сжать, тот же upx не на пустом месте родился. Подобное сжатие работает только когда файл 1 и когда все данные в окне в него помещаются, а сжатие файлов по-отдельности куда менее эффективно. Поэтому, это задача для архиватора. Обычные бинарные файлы это тоже сотни-тысячи мегабайт, в которых не найти достаточно повторений, а поточные компрессоры и не ищут -- у них окно единицы мегабайт. При архивации в дело идут другие приёмы, различные эвристики с попыткой угадать характер данных.
Ответить | Правка | К родителю #392 | Наверх | Cообщить модератору

394. Скрыто модератором  +/–
Сообщение от Аноним (394), 02-Мрт-24, 16:59 
Ответить | Правка | К родителю #393 | Наверх | Cообщить модератору

395. Скрыто модератором  +/–
Сообщение от Аноним (178), 02-Мрт-24, 17:19 
Ответить | Правка | К родителю #394 | Наверх | Cообщить модератору

416. "Выпуск архиватора RAR 7.0"  –1 +/–
Сообщение от Аноним (-), 04-Мрт-24, 10:02 
> В любом случае, исполняемый файл -- это не "типипичный бинарник",

А какой же он?! Вся система ими забита. Достаточно типичные для того чтобы САБЖ а также 7z/xz и еще несколько даже сделали префильтры для улучшения их сжатия. И даже бывают выделенные "упаковщики исполняемых файлов" навроде UPX (этот с исходниками и жрет чертову кучу форматов).

> и исполняемый код -- не то, что сжимают.

Это не соответствует действительности, начиная с kernel/initrd допустим. А в мелких девайсах плотно сжатый squashfs вообще их все. Да и в обычной системе сжатие бинарей может ускорить загрузку системы. Если алгоритм распаковки быстрый (LZO, LZ4, ZSTD на медленных накопителях).

> Там есть, что сжать, тот же upx не на пустом месте родился.

А, то-есть вы еще и в курсе что так бывает но все равно признать неправоту не смогли?!

> Подобное сжатие работает только когда файл 1 и когда все данные в окне в него
> помещаются, а сжатие файлов по-отдельности куда менее эффективно.

Подобное сжатие позволяет запускать программу как если бы она сжата не была - небольшой депакер распаковывает прогу и делает вид что никакого сжатия (с точки зрения программы) не было.

> Поэтому, это задача для архиватора.

У solid сжатия есть опредеденные проблемы. Например с рандомным доступом к данным. А также с разрушением всего что за битым блоком. Это накладывает лимиты на его применение как в целях резервного копирования, так и рандомного доступа. Скажем zip можно грубо говоря "смонтировать" и юзать сжатые файлы как будто они не сжатые. Некоторые гамесы и проги примерно так и делают, правда иногда с кастомным форматом архива, но порой и zip бывает. А вот с сабжем этот номер уже не катит - в том числе и из-за solid сжатия. Это другой кейс.

> Обычные бинарные файлы это тоже сотни-тысячи мегабайт, в которых
> не найти достаточно повторений,

Кто вас уполномочил решать какие файлы обычные? Более того - это в любом случае лишь частный случай бинарных файлов. Для тех кто не понял еще раз: бинарные файлы могут быть как уже сжатые (с высокой энтропией), так и несжатые.

Ответить | Правка | К родителю #393 | Наверх | Cообщить модератору

420. "Выпуск архиватора RAR 7.0"  –1 +/–
Сообщение от Аноним (178), 04-Мрт-24, 10:13 
Глупости. Когда говорят "бинарный", подразумевают мультимедиа.
Ответить | Правка | К родителю #416 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру