The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск поискового сервера Xapiand 0.9

13.02.2019 21:47

Доступен выпуск поискового сервера Xapiand 0.9, предназначенного для хранения, индексации и поиска большой коллекции документов. Сервер является надстройкой над библиотекой для создания поисковых систем Xapian. Для асинхронной обработки запросов применяется библиотека libev. Код Xapiand написан на C++ и поставляется под лицензией MIT. Для упрощения развёртывания предоставляется готовый образ для системы Docker (dubalu/xapiand).

Обращение к серверу производится через HTTP RESTful API. Документы могут представлять собой любые данные в форматах JSON или MessagePack. Определение схемы хранения не требуется, выборка осуществляется при помощи полнотекстовых поисковых запросов. Поддерживается создание специализированных индексов для определённых типов данных и прикрепление более одного индекса. В том числе имеется встроенная поддержка индексации геопространственных данных, позволяющая комбинировать данные о местоположении с операциями полнотекстового поиска. Поддерживаются различные форматы хранения координат и иерархические пространственные индексы HTM (Hierarchical Triangular Mesh).

Сервер отличается высокой производительностью, низким потреблением памяти и возможностью создания распределённых и отказоустойчивых систем, в которых индексы разделены (на каждом узле своя часть индекса и в выполнение запроса вовлекается несколько узлов) или реплицированы (на каждом узле копия полного индекса и возможна балансировка нагрузки) на несколько узлов кластера. Заявляется производительность операций поиска близкая к обработке запросов в режиме реального времени. Индексы могут включать в себя файлы и полные исходные данные, что позволяет использовать Xapiand в качестве хранилища с функцией полнотекстового поиска.

Новый выпуск примечателен переходом на движок Xapian 1.5.0, существенным увеличением производительности и стабилизацией средств для обработки геопространственных данных. Кроме того, представлена поддержка языка запросов QueryDSL, позволяющего формировать запросы в формате JSON. Например, можно применять логические операторы, фильтровать вывод по определённым значениям полей в документах, учитывать вес и число совпадений, преобразовывать значения полей из одного формата в другой, отсеивать документы в зависимости от пространств имён (вложенных полей, например, для хранения тегов).

  1. Главная ссылка к новости (https://kronuz.io/Xapiand/news...)
  2. OpenNews: Релиз поискового движка Elasticsearch 1.0.0
  3. OpenNews: Открыт исходный код поискового движка Gigablast
  4. OpenNews: Поисковый движок Searchdaimon переведён в разряд свободных проектов
  5. OpenNews: Wikimedia работает над созданием собственной поисковой системы
  6. OpenNews: Европейский Фонд СПО представил децентрализованную поисковую систему YaCy 1.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: xapiand, search
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (31) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:44, 13/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Замена Lucene, что ли?
     
     
  • 2.10, лютый жабист__ (?), 06:02, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Замена Lucene, что ли?

    Lucene невозможно заменить :) т.к. это шикарная реактивная встраиваемая в жабопрожки либа, которая сейчас в каждом третьем проекте используется и не жужит.

    На базе lucene был слеплен ElasticSearch, тормозной и глючный. Со спорным велосипедным протоколом выборов. Если его заменят, я не против. Но на практике, у сишников принято бету с 20% функционала выставлять как полную и безоговорочную победу над силами жабы. Что там с морфологией? Что с терабайтными базами? Мультимастер есть?

     
     
  • 3.20, Michael Shigorin (ok), 11:39, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Что там с морфологией? Что с терабайтными базами?

    В соседнем #2 есть слова "словоформами" и "gmane".

    > Мультимастер есть?

    А если найду?..

     
     
  • 4.27, лютый жабист__ (?), 12:47, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >"словоформами" и "gmane".

    Русская морфология, Миша, русская.

    >А если найду?

    Найди, мне не жалко. Хотя, лучше документацию им найди и сайт.
    Пока проект похож на поделку гика-одиночки.

     
     
  • 5.28, Michael Shigorin (ok), 12:50, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >> "[B]словоформами[/B]" и "gmane".
    > Русская морфология, Миша, русская.

    Выделил.  Если недостаточно -- к учительнице!

    > Пока проект похож на поделку гика-одиночки.

    Даже под сабжем подписались минимум _три_ таких "одиночки", чудо :)

     
     
  • 6.31, лютый жабист__ (?), 07:14, 19/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Выделил.

    На заборе много чего пишут.

    Поднял. Ничерта непонятно, почти все разделы на сайте "This section is a work in progress…"
    Нормальной документации вообще нет.
    В инете обсуждений нет.

    curl -X PUT -d '{"name":"coolrecord1", "data" : "васяня"}' 'localhost:8880/idx1'
    curl -X PUT -d '{"name":"coolrecord2", "data" : "мишаня"}' 'localhost:8880/idx1'

    вторая команда уже перезаписывает первую.
    По крайней мере

    curl -X GET 'localhost:8880/idx1'

    возвращает последнюю.

    У тебя есть последний шанс аргументировать, что xapiand не гиковая гогноподелка.

     
  • 3.25, Георгий (??), 12:25, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Надо думать, они выкладывают те 20%, на которые затрачено 80% времени, но подождите ка. Разве обычно 80% времени не тратится на доработки?
     

  • 1.2, Michael Shigorin (ok), 23:56, 13/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Сам по себе xapian -- отличная штука (кто помнит gmane, так вот там поиск на нём и был).  Пощупать-оценить может быть удобно с помощью recoll.

    А на omega как-то делал индексатор интранетных ресурсов -- bugzilla вместе с аттачами, mediawiki, логи жаберных конференций... жаль, не выложил никуда те наработки с web.t-soft, сочтя уж слишком узкоспециализированными.  Хорошо работало, шустро и со словоформами.

    PS: но без crawler'а.

     
     
  • 2.7, Аноним (7), 04:21, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Минус тебе за то что не выложил!
     
     
  • 3.9, Аноним (9), 05:08, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Да он просто один из этих - пилит проприетарщинку на свободных либах. Знаем-знаем.
     
     
  • 4.14, Аноним (1), 09:34, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Столлман покусал?
     
  • 3.21, Michael Shigorin (ok), 11:40, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Минус тебе за то что не выложил!

    Не то слово, самому бы сейчас и пригодилось.

    PS: дурак из #9 забавный :)

     
     
  • 4.26, Аноним (26), 12:43, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >PS: дурак из #9 забавный :)

    А может это очень умный человек прикидывающийся дураком?
    Настолько умный, что даже глупый.

     
  • 2.32, лютый жабист__ (?), 07:16, 19/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Сам по себе xapian

    Мишаня, так xapian или xapiand?
    Я понимаю, что ты ламер, но не настолько же.

     

  • 1.3, Аноним (3), 00:11, 14/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Создатель сфинкса периодически на конференциях поливает его гуано, хотя справедливости ради, он там много кого поливает.
     
     
  • 2.22, Michael Shigorin (ok), 11:41, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Обычно такие поливают в первую очередь себя...
     

  • 1.4, Анонимный селебрити (?), 01:09, 14/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ничесе, кресты в сервере, пусть и поисковом. А где же js и go?
     
     
  • 2.6, ГвидоБеглец (?), 04:14, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    libev часть nodejs
     
     
  • 3.13, Аноним (13), 08:30, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Первый публичный релиз Libev появился в 2007 году, когда ни Node.js ни Chromium ещё не существовало. Кроме Node.js Libev ещё много где используется, но это независимый проект.
     
  • 3.15, xm333 (?), 09:49, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Разве libuv как-то связана с libev?
     
     
  • 4.30, Аноним (30), 17:19, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Обе библиотеки, обе написаны на C, у обеих названия начинаются на "lib".
     
  • 3.16, Аноним (16), 09:49, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ложь! libuv часть nodejs
     

  • 1.8, Аноним (8), 05:01, 14/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    И как оно в сравнении с эластиком?
     
  • 1.11, BrainFucker (ok), 08:04, 14/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оно используется в дебиянах для локального поиска по пакетам, я бы не сказал что оно быстрое. Оно там правда не в режиме сервера работает.
     
     
  • 2.12, Аноним (13), 08:22, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Оно используется в дебиянах для локального поиска по пакетам, я бы не
    > сказал что оно быстрое. Оно там правда не в режиме сервера
    > работает.

    Вы путайте Xapian и Xapiand, Xapian просто библиотека для встраивания функциональности поиска в свои приложения.

     
     
  • 3.17, BrainFucker (ok), 10:06, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Одна фигня, библиотека та же, движок тот же.
     
     
  • 4.23, Michael Shigorin (ok), 11:42, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Время инициализации разное, поскольку применение разное?
     
     
  • 5.24, BrainFucker (ok), 11:55, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Время инициализации разное

    Я это учёл.

     
  • 2.29, Аноним (29), 13:18, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Оно в дебиянах так используется, что лучше бы его вообще на свете не существовало. Это из-за него вывод apt-cache похож на бред сумасшедшего.
     

  • 1.18, vitalif (ok), 10:20, 14/02/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Уу, оно еще живо!

    Ул.Люсиновская получше все таки

     
     
  • 2.19, vitalif (ok), 10:21, 14/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Хотя хз, надо потестить, вдруг оно крутое стало
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру