The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  правила/FAQ  поиск  регистрация  вход/выход  слежка  RSS
"индекс файлов"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Мониторинг, логи / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"индекс файлов"  +/
Сообщение от Happy_demon email(ok) on 28-Сен-17, 17:21 
Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы. В каждом файле есть ключевые строки. Допустим по этим строкам я хочу найти нужный мне файл. Но файлов реально много и find -f . * | xargs  и т.д. будет реально отрабатывать долго. С помощью чего можно составить типа индекс файл, который будет обновляться при появлении новых файлов, бинарный и искать уже в нем? perl/python/bash etc. Заранее спасибо.
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "индекс файлов"  +/
Сообщение от Andrey Mitrofanov on 28-Сен-17, 18:12 
> Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы.
> В каждом файле есть ключевые строки. Допустим по этим строкам я
> хочу найти нужный мне файл. Но файлов реально много и find
> -f . * | xargs  и т.д. будет реально отрабатывать
> долго. С помощью чего можно составить типа индекс файл, который будет
> обновляться при появлении новых файлов, бинарный и искать уже в нем?
> perl/python/bash etc. Заранее спасибо.

Xapian https://ru.wikipedia.org/wiki/Xapian

На нём, например, сделан
  + почтовый клиент notmuch  https://notmuchmail.org/
  + Recoll http://www.lesbonscomptes.com/recoll/ is a desktop full-text search tool.

Продолжение осмотра
  -> https://ru.wikipedia.org/wiki/%D0%9B%D0%...
  -> https://ru.wikipedia.org/wiki/%D0%9F%D0%...
  -> https://en.wikipedia.org/wiki/List_of_information_retrieval_...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "индекс файлов"  +/
Сообщение от _ (??) on 28-Сен-17, 22:24 
> Но файлов реально много и find -f . * | xargs  и т.д. будет реально отрабатывать долго.

Silver searcher тебе в зубы :)  Правдо оно без индексов ...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "индекс файлов"  +/
Сообщение от Аноним (??) on 01-Окт-17, 12:06 
> Доброе время. Допустим есть большой каталог, где регулярно появляются текстовые файлы.
> В каждом файле есть ключевые строки. Допустим по этим строкам я
> хочу найти нужный мне файл. Но файлов реально много и find
> -f . * | xargs  и т.д. будет реально отрабатывать
> долго. С помощью чего можно составить типа индекс файл, который будет
> обновляться при появлении новых файлов, бинарный и искать уже в нем?
> perl/python/bash etc. Заранее спасибо.

man rgrep и не благодарите.
После первого прохода файлы отвиснут в кэше и следующие прогоны будут гораздо быстрее. Без всяких индексов.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "индекс файлов"  +/
Сообщение от ALex_hha (ok) on 02-Окт-17, 14:03 
> man rgrep и не благодарите.
> После первого прохода файлы отвиснут в кэше и следующие прогоны будут гораздо
> быстрее. Без всяких индексов.

вот прям все 10-100кк файлов? о_О


Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру