The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от opennews (??) on 10-Май-15, 14:52 
Представлен новый выпуск rmlint 2.2.0 (https://github.com/sahib/rmlint), утилиты для чистки файловой системы, выявляющей дубликаты файлов и директорий, исполняемые файлы с отладочной информацией, повреждённые символические ссылки, пустые файлы, файлы с некорректными идентификаторами владельца и группы. Кроме штатного режима сравнения по контрольным суммам, доступен режим побайтового сопоставления. Программа отличается высокой производительностью, поддержкой различных форматов вывода (отчёт в JSON, shell-сценарий чистки), возможностью проверки только новых файлов. Код написан на языке Си и распространяется под лицензией GPLv3.

URL: http://www.reddit.com/r/linux/comments/35g1hy/rmlint_220_rel.../
Новость: http://www.opennet.ru/opennews/art.shtml?num=42200

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +14 +/
Сообщение от Аноним (??) on 10-Май-15, 14:52 
> Код написан на языке Си и распространяется под лицензией GPLv3.

Годнота.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

38. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 15:53 
> Годнота.

А как оно относится с JSON и shell-скриптами к всяким креативно оформленным путям?

Ну там например в /home/username создать субдиру " subdir" (с пробелом в начале). Что там у нас скрипт потрет? :)

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от KOT040188 on 10-Май-15, 15:03 
Вот только недавно искал нечто подобное.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

46. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Michael Shigorin email(ok) on 11-Май-15, 22:36 
> Вот только недавно искал нечто подобное.

Их довольно много, сходу вспомнилось findd.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +5 +/
Сообщение от Аноним (??) on 10-Май-15, 15:17 
Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

26. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от ячс (??) on 11-Май-15, 00:52 
> Уф... на С, слава Богу, а то я уж подумал, что очередной бинарь на 20Мб

Угу, на ц оно само работает ведь

-I/usr/include/at-spi2-atk/2.0
18    -I/usr/include/gtk-3.0
19    -I/usr/include/gio-unix-2.0/
20    -I/usr/include/cairo
21    -I/usr/include/pango-1.0
22    -I/usr/include/atk-1.0
23    -I/usr/include/cairo
24    -I/usr/include/pixman-1
25    -I/usr/include/freetype2
26    -I/usr/include/libpng16
27    -I/usr/include/harfbuzz
28    -I/usr/include/freetype2
29    -I/usr/include/harfbuzz
30    -I/usr/include/libdrm
31    -I/usr/include/libpng16
32    -I/usr/include/gdk-pixbuf-2.0
33    -I/usr/include/libpng16
34    -I/usr/include/glib-2.0

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

29. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +3 +/
Сообщение от Crazy Alex (ok) on 11-Май-15, 02:52 
Понятие "shared libraries" знакомо, надеюсь?
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

36. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 12:58 
Эти либы написаны на си и их использует всё, включая go и python. Проблема низкой производительности и большого потребления памяти приложений на том же python не в них.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

37. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 15:44 
И где ты в зависимостях этой программы нашел эти либы, интересно?
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

4. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +8 +/
Сообщение от Аноним (??) on 10-Май-15, 15:42 
А реестр она не чистит?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –15 +/
Сообщение от cmp (ok) on 10-Май-15, 16:14 
Ага мне вот тоже интересно как можно пользоваться линуксом и при этом не научится элементарным правилам, чтобы засрать фс, чтобы этим пользоваться
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

11. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +18 +/
Сообщение от YetAnotherOnanym (ok) on 10-Май-15, 16:45 
Разные ситуации бывают, не спешите осуждать.
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

34. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +2 +/
Сообщение от Омномним on 11-Май-15, 11:00 
Нет, поддержка systemd пока не реализована.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

5. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –1 +/
Сообщение от Аноним (??) on 10-Май-15, 15:52 
код на си но для убунта питон3 необходим
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от grayich (ok) on 10-Май-15, 15:58 
кто пользовал, как она относительно fdupes ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

43. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от ононимус on 11-Май-15, 16:27 
rmlint намного быстрее. fdupes сравнивает по контрольным суммам, но побайтовый режим часто быстрее. Например, если нужно сравнить два файла по 4Gb и они отличаются в первом байте, то побайтовое сравнение считает с диска только первый блок из каждого файла, а сравнение по контрольным суммам прочитает оба файла полностью. А из-за кеширования в Linux как правило файлы много раз считывать заново не придется, поэтому преимущество от контрольных сумм теряется. Но быстрее всех rdfind, там еще хитрые оптимизации с сортировкой файлов по inode.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

44. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от grayich (ok) on 11-Май-15, 16:45 
возможно ошибаюсь, но вроде где-то читал,
что fdupes сначала по размерам сравнивает, потом(если размеры совпали) по crc, а потом по md5 или sha
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

13. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Xasd (ok) on 10-Май-15, 17:41 
нужно ещё чтобы эта программа находила бы и исправляла бы системные ошибки в операционной системе!


;)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от anonimko on 10-Май-15, 19:33 
единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от pp on 10-Май-15, 20:36 
причем тут истерия, когда быстро надо что то наклепать питон самое то. например в саблиме плагины пишутся на питоне, и я за 15 минут написал плагин который создает файл для gdb с вписанным именем файлом и строкой для бряков (по строкам которые я отметил в саблиме), которые автоматом потом загружается при дебаге. просто разные задачи у языков
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

21. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +2 +/
Сообщение от Аноним (??) on 10-Май-15, 21:56 
Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для массового пользователя, как делается в убунте - это зло. И немногие это осознают.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

25. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –1 +/
Сообщение от ячс (??) on 11-Май-15, 00:50 
> Никто и не спорит, если питон применяется по назначению, например быстро написать себе скрипт, это даже хорошо. Но писать ПО на питоне для  массового пользователя

Быстро написать для себя - хорошо, но быстро написать для других - это зло. Логично.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

27. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +2 +/
Сообщение от Аноним (??) on 11-Май-15, 01:01 
Логично. Когда время создания делится на множество пользователей, может появится смысл затратить больше времени, чтобы сделать более качественно.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

32. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от Аноним (??) on 11-Май-15, 10:54 
Быстро написать для себя - хорошо, но быстро написать тормозящее приложение, жрущее оперативку и требующее более 200 мегабайт зависимостей, которым будут пользоваться миллионы пользователей потом и очень долго - это больше чем зло.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

42. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 16:03 
> Быстро написать для себя - хорошо, но быстро написать для других -
> это зло. Логично.

Поэтому я для себя написал прожку, которая жует... в первом приближении то что выдает fdupes. Но после моего просмотра. И фигачит unlink() на это. Быстро и сердито, на си. Потому что совсем не прикольно пытаться накормить шелскрипты теми путями которые у меня на дисках встречаются (с неправильными кодировками и прочая). Шелл таким макаром в два счета вынесет полдиска с его разбором wildcard и прочая :)

Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

45. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –2 +/
Сообщение от Xasd (ok) on 11-Май-15, 18:45 
> Hint: в именах файлов может быть "*", "?", " ", и другие веселые символы. Что очень доставляет при попытке автоматизировать обработку.

hint: такая проблема есть только у bash (и ну ни как не у Python) .. и именно поэтому не рекомендуется писать код на bash размером более чем три короткие строчки :-)

Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

47. "(offtopic) кто, если не Це"  +/
Сообщение от Michael Shigorin email(ok) on 11-Май-15, 22:43 
> .. и именно поэтому не рекомендуется писать код на
> bash размером более чем три короткие строчки :-)

Это если четыре штанины.  А так-то http://docs.altlinux.org/archive/2.2/master/devel-html/ch03....

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

52. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 12-Май-15, 09:09 
Луче перефразировать более корректно: Быстро написать для себя - хорошо, но быстро написать тормозное, тяжелое и непортируемое по для других - это зло.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

23. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от gvr on 10-Май-15, 23:26 
Питон старше тебя, лол.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

28. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от Аноним (??) on 11-Май-15, 01:03 
Как будто возраст — это что-то хорошее. Особенно для ЯП.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

49. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от _KUL (ok) on 12-Май-15, 01:45 
А как же явный пример между С++ и --E ??? Через десяток лет и --Е станет крутым. Возраст - важный аспект для оттестирования всего вся в языке.
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

51. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 12-Май-15, 09:08 
В случае питона с возрастом растет его размер, тормознутость и жручесть оперативки. И работа по улучшению в этих направлениях не ведется, поскольку они не являются задачами данного языка.
Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

33. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 10:55 
Всмысле питон - старперский язык?
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

39. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 15:56 
> единичные герои, неподдающиеся python истерии, когда-нибудь спасут мир

Нынче у хипстоты мода на go. Вон в соседней новости - "pwd с некоторыми ограничениями" :)

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 10-Май-15, 19:46 
Нашла в хомяке гиг хлама
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +4 +/
Сообщение от Куяврег on 10-Май-15, 20:16 
звучит как "одел очки, оказывается пока ел обляпался"
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

40. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Аноним (??) on 11-Май-15, 15:57 
> Нашла в хомяке гиг хлама

Запустил fdupes. Убил 100Гб дряни. Учись, студент! :P

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

16. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Анончик on 10-Май-15, 20:02 
Непорядок. Должно быть написано на Go.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

24. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Anonim (??) on 10-Май-15, 23:43 
>Непорядок. Должно быть написано на Go.

Нет. На Javascript

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

30. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +1 +/
Сообщение от Анончег on 11-Май-15, 05:39 
> Нет. На Javascript

При чём в браузере, иначе не труЪ!

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

31. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –1 +/
Сообщение от Аноним (??) on 11-Май-15, 06:01 
одобряю, щас к себе в архив, и даже буду пользоватся.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от vn971 (ok) on 11-Май-15, 12:15 
По этой теме ещё похожую утилиту упомяну: `hardlink`.
Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов и неизменяемых файлов типа видео/аудио.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  –3 +/
Сообщение от Аноним (??) on 11-Май-15, 15:59 
> Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов

Особенно когда под файлом вылезет бэд. Тогда вы наконец поймете шутку про нортон командер, два диска цэ и "а зачем мне их два?!"


Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

48. "Выпуск rmlint 2.2.0, инструмента для выявления дубликатов фа..."  +/
Сообщение от Michael Shigorin email(ok) on 11-Май-15, 22:44 
>> Ищет дубликаты файлов и позволяет их между собой захардлинкать, полезно для бэкапов
> Особенно когда под файлом вылезет бэд.

Хламовник бэкапнику не замена.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру