The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

10.07.2012 23:43  Релиз поискового движка Apache Nutch 2.0

Организация Apache Software Foundation представила релиз Apache Nutch 2.0 - модульного фреймворка для построения поисковых систем, написанного на языке Java и основанного на технологиях Lucene, Solr, Tika, Hadoop и Gora, адаптированных для специфики поиска в Web (например, поддерживается crawler, база ссылочной связи, парсинг HTML и других форматов). Архитектура Nutch позволяет разработчикам легко создавать плагины для обработки нового медиа-контента, получения данных через нестандартные каналы, для формирования типовых запросов или организации поискового кластера.

В новой версии представлен ряд новых средств для построения высокомасштабируемых систем индексации, абстрагированных от типа хранилища, что позволяет использовать как хранилища для больших объемов данных, такие как Apache Accumulo, Apache Avro, Apache Cassandra, Apache HBase и HDFS, так и SQL-базы и размещаемые в памяти NoSQL БД. На базе Nutch 2.0, запущенного поверх 34-узлового Hadoop-кластера, построен поисковый сервис компании Kalooga, в индексе которого находится более миллиарда страниц.

  1. Главная ссылка к новости (https://blogs.apache.org/found...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, nutch, search
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.7, ононим (?), 00:56, 11/07/2012 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    есть какие опен-сорс решения для замены локального яндекс поиска? он крив и убог, и с 2010 года не поддерживается.

    искать надо по локальным PDF документам и doc файлам.

     
     
  • 2.8, KDED (?), 01:22, 11/07/2012 [^] [ответить]    [к модератору]
  • +/
    > есть какие опен-сорс решения для замены локального яндекс поиска? он крив и
    > убог, и с 2010 года не поддерживается.
    > искать надо по локальным PDF документам и doc файлам.

    NEPOMUK

     
     
  • 3.10, ононим (?), 02:11, 11/07/2012 [^] [ответить]    [к модератору]
  • +/
    желательно чтобы работал через веб.
     
     
  • 4.22, filosofem (ok), 02:27, 12/07/2012 [^] [ответить]    [к модератору]
  • +/
    xapian-omega
     
  • 2.13, Аноним (-), 09:15, 11/07/2012 [^] [ответить]    [к модератору]
  • +/
    А, собственно, Nutch/Solr чем не устраивают?
     
  • 2.23, Axel (??), 17:35, 12/07/2012 [^] [ответить]    [к модератору]  
  • +/
    > искать надо по локальным PDF документам и doc файлам.

    Solr + Tika

     
  • 1.14, A.Stahl (?), 09:25, 11/07/2012 [ответить] [показать ветку] [···]     [к модератору]  
  • –5 +/
    troll mode Беда в том, что кроссплатформенная жаба работает нормально только п... весь текст скрыт [показать]
     
     
  • 2.15, edwin3d (?), 10:00, 11/07/2012 [^] [ответить]    [к модератору]  
  • +5 +/
    > Беда в том, что кроссплатформенная жаба работает нормально только под винду.
    > Да и вообще проприетарщина во все поля.

    Думается Вы просто решили подразнить читателей.
    Потому как это явное передергивание.
    Реальные проблемы с переносимостью Java приложений имеют место быть:
    1) Скомпилировали в одном JDK, а запускаем в другом.
    (к слову чаще всего именно в этом кроются большиство проблем с корпоративными
    приложениями ... сейчас, когда допилили OpenJRE, стало не так и плохо, а вот раньше да - дружили далеко не всегда)
    Отношение к ОС не имеет никакого, да и ситуация в этой сфере уже стала намного лучше.
    2) JavaFX ... - это да, но без этого можно жить аж бегом, потому как уже очень специфическа штучка.
    3) Есть нюансы с Java Applet. Я сам видет апплет, написаный быдлокодерами, который работал только под WinXP SP2 с IE6.0 и в JVM 1.4.x .

    В остальном .... есть вагон и малая тележка Java приложений, которые прекрастно работают как под Win так и Linux.
    Таковых большиство ...

    > направление которому задаёт Оракл

    Спорить не буду.
    Задам простой вопрос: Будте так любезны. порекомендуйте ка мне язык, на котором я бы смог так же, как на Java писать кроссплатформенные серверные приложение, ориентированные на высокую нагрузку ?
    У которого все хорошо с многопоточностью и т.д. ?
      

     
     
  • 3.16, super anonim (?), 10:24, 11/07/2012 [^] [ответить]    [к модератору]  
  • +/
    да не корми его =))
     
  • 3.17, Аноним (-), 10:32, 11/07/2012 [^] [ответить]     [к модератору]  
  • +3 +/
    Erlang И у него с перечисленными вами пунктами все даже лучше И сама система г... весь текст скрыт [показать]
     
  • 3.18, A.Stahl (?), 11:07, 11/07/2012 [^] [ответить]    [к модератору]  
  • +/
    Я честный тролль и от ответов стараюсь не уходить.
    >писать кроссплатформенные серверные приложение, ориентированные на высокую нагрузку ?

    C/C++
    Только жаба-подход "собрал единожды -- запускается везде" меняется на "написал единожды -- компилируется везде".

    Многопоточные серверы писать на плюсах одно удовольствие.

    >Отношение к ОС не имеет никакого, да и ситуация в этой сфере уже стала намного лучше.

    Не люблю троллить на базе слухов, но сейчас лень искать подтверждение. Была какая-то возня с тем, что Оракл очень не хотел видеть openJDK в линуксовых дистрибутивах... Или наоборот свой проприетарный бинариник? Не помню точно, но факт такой, что Оракл вставляет палки в кросплатформенность джавы. Причём целенаправленно.

     
     
  • 4.19, кверти (?), 11:56, 11/07/2012 [^] [ответить]    [к модератору]  
  • +/
    >Была какая-то возня с тем, что Оракл очень не хотел видеть openJDK в линуксовых дистрибутивах... Или наоборот свой проприетарный бинариник?

    http://www.opennet.ru/opennews/art.shtml?num=31622

     
  • 4.21, Аноним (-), 13:07, 11/07/2012 [^] [ответить]    [к модератору]  
  • +/
    >Я честный тролль

    Насмищил, содомит.

     
  • 3.20, samm (ok), 13:06, 11/07/2012 [^] [ответить]    [к модератору]  
  • +/
    по моему опыту - огромный кусок проблем это jni, который быдлокодеры юзают к месту и нет. Или использование из жабы криптопровайдеров специфичных для ОС (например, windows crypto API, который юзает аплет моего банка). Вины языка тут нет, но простой пользователь, естественно, этого не понимает.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor