The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Релиз поискового движка Apache Nutch 2.0

10.07.2012 23:43

Организация Apache Software Foundation представила релиз Apache Nutch 2.0 - модульного фреймворка для построения поисковых систем, написанного на языке Java и основанного на технологиях Lucene, Solr, Tika, Hadoop и Gora, адаптированных для специфики поиска в Web (например, поддерживается crawler, база ссылочной связи, парсинг HTML и других форматов). Архитектура Nutch позволяет разработчикам легко создавать плагины для обработки нового медиа-контента, получения данных через нестандартные каналы, для формирования типовых запросов или организации поискового кластера.

В новой версии представлен ряд новых средств для построения высокомасштабируемых систем индексации, абстрагированных от типа хранилища, что позволяет использовать как хранилища для больших объемов данных, такие как Apache Accumulo, Apache Avro, Apache Cassandra, Apache HBase и HDFS, так и SQL-базы и размещаемые в памяти NoSQL БД. На базе Nutch 2.0, запущенного поверх 34-узлового Hadoop-кластера, построен поисковый сервис компании Kalooga, в индексе которого находится более миллиарда страниц.

  1. Главная ссылка к новости (https://blogs.apache.org/found...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, nutch, search
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (14) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.7, ононим (?), 00:56, 11/07/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    есть какие опен-сорс решения для замены локального яндекс поиска? он крив и убог, и с 2010 года не поддерживается.

    искать надо по локальным PDF документам и doc файлам.

     
     
  • 2.8, KDED (?), 01:22, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > есть какие опен-сорс решения для замены локального яндекс поиска? он крив и
    > убог, и с 2010 года не поддерживается.
    > искать надо по локальным PDF документам и doc файлам.

    NEPOMUK

     
     
  • 3.10, ононим (?), 02:11, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    желательно чтобы работал через веб.
     
     
  • 4.22, filosofem (ok), 02:27, 12/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    xapian-omega
     
  • 2.13, Аноним (-), 09:15, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А, собственно, Nutch/Solr чем не устраивают?
     
  • 2.23, Axel (??), 17:35, 12/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > искать надо по локальным PDF документам и doc файлам.

    Solr + Tika

     

  • 1.14, A.Stahl (?), 09:25, 11/07/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    >Java

    <troll mode>
    Беда в том, что кроссплатформенная жаба работает нормально только под винду.
    Да и вообще проприетарщина во все поля.
    Я бы может и согласился с целесообразностью  поддержки старого жабо-кода, но совсем не понимаю зачем новый код писать на языке, направление которому задаёт Оракл. О что такое Оракл? Это современный Apple и будущий SCO (зомби-версия).

    </troll mode>

     
     
  • 2.15, edwin3d (?), 10:00, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Беда в том, что кроссплатформенная жаба работает нормально только под винду.
    > Да и вообще проприетарщина во все поля.

    Думается Вы просто решили подразнить читателей.
    Потому как это явное передергивание.
    Реальные проблемы с переносимостью Java приложений имеют место быть:
    1) Скомпилировали в одном JDK, а запускаем в другом.
    (к слову чаще всего именно в этом кроются большиство проблем с корпоративными
    приложениями ... сейчас, когда допилили OpenJRE, стало не так и плохо, а вот раньше да - дружили далеко не всегда)
    Отношение к ОС не имеет никакого, да и ситуация в этой сфере уже стала намного лучше.
    2) JavaFX ... - это да, но без этого можно жить аж бегом, потому как уже очень специфическа штучка.
    3) Есть нюансы с Java Applet. Я сам видет апплет, написаный быдлокодерами, который работал только под WinXP SP2 с IE6.0 и в JVM 1.4.x .

    В остальном .... есть вагон и малая тележка Java приложений, которые прекрастно работают как под Win так и Linux.
    Таковых большиство ...

    > направление которому задаёт Оракл

    Спорить не буду.
    Задам простой вопрос: Будте так любезны. порекомендуйте ка мне язык, на котором я бы смог так же, как на Java писать кроссплатформенные серверные приложение, ориентированные на высокую нагрузку ?
    У которого все хорошо с многопоточностью и т.д. ?
      

     
     
  • 3.16, super anonim (?), 10:24, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    да не корми его =))
     
  • 3.17, Аноним (-), 10:32, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Задам простой вопрос: Будте так любезны. порекомендуйте ка мне язык, на котором я бы смог так же, как на Java писать кроссплатформенные серверные приложение, ориентированные на высокую нагрузку ?
    > У которого все хорошо с многопоточностью и т.д. ?

    Erlang.
    И у него с перечисленными вами пунктами все даже лучше.
    И сама система гораздо более качественная.

     
  • 3.18, A.Stahl (?), 11:07, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Я честный тролль и от ответов стараюсь не уходить.
    >писать кроссплатформенные серверные приложение, ориентированные на высокую нагрузку ?

    C/C++
    Только жаба-подход "собрал единожды -- запускается везде" меняется на "написал единожды -- компилируется везде".

    Многопоточные серверы писать на плюсах одно удовольствие.

    >Отношение к ОС не имеет никакого, да и ситуация в этой сфере уже стала намного лучше.

    Не люблю троллить на базе слухов, но сейчас лень искать подтверждение. Была какая-то возня с тем, что Оракл очень не хотел видеть openJDK в линуксовых дистрибутивах... Или наоборот свой проприетарный бинариник? Не помню точно, но факт такой, что Оракл вставляет палки в кросплатформенность джавы. Причём целенаправленно.

     
     
  • 4.19, кверти (?), 11:56, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Была какая-то возня с тем, что Оракл очень не хотел видеть openJDK в линуксовых дистрибутивах... Или наоборот свой проприетарный бинариник?

    http://www.opennet.ru/opennews/art.shtml?num=31622

     
  • 4.21, Аноним (-), 13:07, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Я честный тролль

    Насмищил, содомит.

     
  • 3.20, samm (ok), 13:06, 11/07/2012 [^] [^^] [^^^] [ответить]  
  • +/
    по моему опыту - огромный кусок проблем это jni, который быдлокодеры юзают к месту и нет. Или использование из жабы криптопровайдеров специфичных для ОС (например, windows crypto API, который юзает аплет моего банка). Вины языка тут нет, но простой пользователь, естественно, этого не понимает.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру