The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Каталогизатор домашней библиотеки MyLibrary 1.0, opennews (??), 20-Дек-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


4. "Каталогизатор домашней библиотеки MyLibrary 1.0"  –1 +/
Сообщение от Аноним (4), 20-Дек-22, 13:49 
> Реализован поиск книг по различным критериям (фамилия, имя, отчество автора, название книги, серия, жанр) и их чтение через программу

У меня 100 тысяч источников. Сколько же времени я базу заполнять буду?

Ответить | Правка | Наверх | Cообщить модератору

6. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +1 +/
Сообщение от Аноним (5), 20-Дек-22, 13:52 
А сколько нужно тебе времени чтобы прочитать про форматы умеющие хранить метаданные?
Ответить | Правка | Наверх | Cообщить модератору

175. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от Аноним (1), 24-Дек-22, 11:23 
Метаданные вида Unknown Author -- Unknown Book (unknown year) ?
Ответить | Правка | Наверх | Cообщить модератору

8. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +2 +/
Сообщение от Stanislavvv (?), 20-Дек-22, 13:55 
Если fb2 заполнялся аккуратно изначально - не очень долго. ~500к fb2 в архивах на дохлой orange pi обрабатывается порядка дня (правда, у меня своё, ибо не десктоп, а домашний типа-сервер с opds и вебмордой)
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

179. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 26-Дек-22, 08:55 
На чем реализован OPDS?
Ответить | Правка | Наверх | Cообщить модератору

181. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от Stanislavvv (?), 26-Дек-22, 13:07 
> На чем реализован OPDS?

При помощи питона и какой-то матери. Вообще, если бы нашел нормально работающую на том хранилище вебморду, которая умеет работать поверх кучки .zip, получаемых извне - писать не стал бы.
Но большинство - либо не умеют в кучку .zip, либо тормозят так, что обработка кучки зипов идёт сильно больше суток.

Ответить | Правка | Наверх | Cообщить модератору

186. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 27-Дек-22, 04:35 
А можно полапать? Сейчас у себя кручу срез флибусты на sopds (sopds.ru), но он банально устарел и как бы я не пинал автора, он все не может найти время на доработку проекта под свежие версии приложений. Пока сам костыли прикручиваю, но надолго ли?
Если можно, с краткой редмишкой. Мне как раз гуя и веб-морда не нужна, лишь только возможность отдавать через opds на устройства через сеть
Ответить | Правка | Наверх | Cообщить модератору

187. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +1 +/
Сообщение от Stanislavvv (?), 27-Дек-22, 08:13 
> А можно полапать? Сейчас у себя кручу срез флибусты на sopds (sopds.ru),
> но он банально устарел и как бы я не пинал автора,
> он все не может найти время на доработку проекта под свежие
> версии приложений. Пока сам костыли прикручиваю, но надолго ли?
> Если можно, с краткой редмишкой. Мне как раз гуя и веб-морда не
> нужна, лишь только возможность отдавать через opds на устройства через сеть

Пока ещё не выложил на гитхаб, дома забываю постоянно. В принципе, доступна предыдущая версия, где таки используется база, но её я вряд ли буду дорабатывать за неиспользованием: https://github.com/stanislavvv/fb2_srv
Заранее предупреждаю: не программист, а админ, соответственно, из всей красоты кода - прогон через flake8.
Вебморда, кстати, есть. Представляет собой трансляцию opds в html. Делалась для отладки, выглядит соответственно.
На Orange PI 3 LTS с данными на hdd, воткнутом в usb3, версия с базой значительно медленнее, чем версия с кучей файлов. Если вспомню - выложу в соседней репе на этой неделе.

Ответить | Правка | Наверх | Cообщить модератору

188. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 27-Дек-22, 12:59 
Благодарю, буду на праздниках пробовать
Ответить | Правка | Наверх | Cообщить модератору

191. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 28-Дек-22, 11:19 
Старая версия с гитхаба, как оказалось:
Не видит файлы вне архивов
Вообще не любит кириллические имена файлов.
И как-то странно работает. Свой архив с именем файла 12345.fb2 пихаю - на просмотр книгу открывает, на попытку скачать устраивает истерику TypeError: send_file() got an unexpected keyword argument 'attachment_filename'.
С другой стороны из флибустовского архива вроде нормально открываются и скачиваются.
К сожалению, не программист, докумекать что и куда не в силах. Но и на том спасибо!
Если что-то повкуснее появится - буду признателен

Ответить | Правка | К родителю #187 | Наверх | Cообщить модератору

192. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от Stanislavvv (?), 28-Дек-22, 12:07 
> Старая версия с гитхаба, как оказалось:
> Не видит файлы вне архивов

Так и задумывал. У меня диск с архивами хоть и большой, но всё ж далеко не бесконечный.

> Вообще не любит кириллические имена файлов.

В .zip их вообще никто не любит - там хрен поймёшь, какая кодировка.

> И как-то странно работает. Свой архив с именем файла 12345.fb2 пихаю -

А можно его зааттачить к багу на гитхабе?
Не скажу, что сделаю в версии с sqlite, но, как минимум, проверю в той версии, что у меня не тормозит.

> на просмотр книгу открывает, на попытку скачать устраивает истерику TypeError: send_file()
> got an unexpected keyword argument 'attachment_filename'.

Странно... Впрочем, надо будет подумать на предмет virtualenv с указанием версий библиотек.
У меня сиё запускается под Debian 10 и Debian 11, причём библиотеки ставятся из дебиановского репозитория, так что версии не те же, что будут через pip3 install

> С другой стороны из флибустовского архива вроде нормально открываются и скачиваются.
> К сожалению, не программист, докумекать что и куда не в силах. Но
> и на том спасибо!
> Если что-то повкуснее появится - буду признателен

Ответить | Правка | Наверх | Cообщить модератору

193. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 29-Дек-22, 05:28 
> А можно его зааттачить к багу на гитхабе?

Начал оформлять багу, но потом перепроверил на дебиане (10) - вроде бы нормально. Баг проявился на gentoo, но тут еще обновляться и наблюдать. Поэтому, будем считать, что это мой косяк.
> В .zip их вообще никто не любит - там хрен поймёшь, какая кодировка.

Понял
> Странно... Впрочем, надо будет подумать на предмет virtualenv с указанием версий библиотек.

Тоже об этом подумал. На новогодних праздниках более вдумчиво потыкаю проект, пока все на бегу, толком и не проверить

Ответить | Правка | Наверх | Cообщить модератору

194. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +1 +/
Сообщение от Stanislavvv (?), 30-Дек-22, 23:08 
Дошли руки выложить ту версию, которая у меня сейчас работает:
https://github.com/stanislavvv/fb2_srv_pseudostatic

По форматам данных несовместима, добавляет несколько ГБ индексов в json/jsonl вместо базы, но на дохлом Orange Pi не тормозит до 502 в отличие от.
Рекомендую потыкать это, там достаточно сильно переделаны не только индексы.

Ответить | Правка | Наверх | Cообщить модератору

195. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 04-Янв-23, 16:45 
> Дошли руки выложить ту версию, которая у меня сейчас работает:
> https://github.com/stanislavvv/fb2_srv_pseudostatic
> По форматам данных несовместима, добавляет несколько ГБ индексов в json/jsonl вместо базы,
> но на дохлом Orange Pi не тормозит до 502 в отличие
> от.
> Рекомендую потыкать это, там достаточно сильно переделаны не только индексы.

Вот спасибо! Вот подарок!
А я наконец-то дождался от китайцев б/у хлам и мигрировал "сервачок" с Core2Duo e4500 2Gb DDR2 на Core i5-3570 16Gb DDR3. Как раз заканчиваю индексы добивать. Но, раз такая пьянка - все на переделку)
По прежней версии - да, косяк с разными версиями библиотек. На стационарнике у меня sid, на сервере 11.2 стоит. На 11.2 вылетела ошибка, при обработке одного архива, так скачал на стационарный - там идеально прошло, поэтому не стал оформлять как баг. Вобщем, мелочи.
Ну теперь попробуем что повкуснее, а то sopds окончательно меня огорчил, став запинаться на свежих архивах. В поле названия книги какой-то чудак иероглиф впихнул и обработчик на том стал вылетать. Решение вроде как есть (https://sebhastian.com/mysql-incorrect-string-value/), но чот я психанул и забил.
Ну а раз под одноплатники - так у меня апельсинки где-то лежали, как раз в дело пустить можно.

Ответить | Правка | Наверх | Cообщить модератору

196. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 06-Янв-23, 10:45 
> Дошли руки выложить ту версию, которая у меня сейчас работает:
> https://github.com/stanislavvv/fb2_srv_pseudostatic
> По форматам данных несовместима, добавляет несколько ГБ индексов в json/jsonl вместо базы,
> но на дохлом Orange Pi не тормозит до 502 в отличие
> от.
> Рекомендую потыкать это, там достаточно сильно переделаны не только индексы.

Великолепно!
Все как по часикам отсканировалось и заработало!

Ответить | Правка | К родителю #194 | Наверх | Cообщить модератору

197. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от PalachMB (ok), 26-Окт-23, 13:06 
Приветствую!
Мануальчик бы по настройке и разворачиванию fb2_srv_pg
Чтоб не методом тыка :)
Ответить | Правка | К родителю #194 | Наверх | Cообщить модератору

198. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от Stanislavvv (?), 26-Окт-23, 13:42 
> Приветствую!
> Мануальчик бы по настройке и разворачиванию fb2_srv_pg
> Чтоб не методом тыка :)

Лучше тикет создай... Так-то из разворачивания - создал базу, дал права, вписал в конфиг.

Ответить | Правка | Наверх | Cообщить модератору

11. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от ProfessorNavigator (ok), 20-Дек-22, 14:20 
> У меня 100 тысяч источников. Сколько же времени я базу заполнять буду?

Каталог с больше, чем 300 ГБ zip архивов с fb2 файлами (больше 500 тысяч книг), у меня добавил в базу где-то часов за 5. Процессор intel i5 и жёсткий диск HDD (для понимания скорости чтения).

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

151. "Каталогизатор домашней библиотеки MyLibrary 1.0"  +/
Сообщение от _kp (ok), 21-Дек-22, 14:10 
Пока кофе попьёте, и заполнится база. Ну не вручную же заполнять собираетесь?  

В каталоге с книгой файл типа назнание.conf, в файле автор, название, ключевые слова...
И в самой книге, тоже есть подобная информация, но у conf приоритет.
Далее скрипт просматривает обновленные файлы и вносит изменения в базу, или перестраивает дерево симлинков.


PS:
~500 тысяч книг, за 5 ==> 36 mS книгу.
или 28 добавлений в секунду. Для 1 потока слабо, а для 4х плохо.
HDD тут не сильно влияет, в отличии от объёма ОЗУ и алгоритма.
Впрочем.. если добавление архива в базу заведомо не частая операция, для дома то, то и мудрить с софтом не оправданно, если работает правильно, то более чем годно.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру