The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Cloudera готова изменить мнение о сложности развертывания Apache Hadoop

18.03.2009 21:50

Компания Cloudera, образованная в прошлом году бывшими сотрудниками Google, Yahoo, Oracle и Facebook, выпустила в свет преконфигурированный дистрибутив Apache Hadoop. Это событие призвано придать дополнительный импульс более широкому распространению платформы, так как, по мнению многих пользователей, основная проблема развертывания и обслуживания Hadoop — это высокая сложность его конфигурирования.

Hadoop представляет собой распределенную среду выполнения приложений, построенную по кластерной схеме на базе широко распространенных компьютеров х86 архитектуры. В основе ее работы лежит технология Map/Reduce, когда приложение разбивается на множество маленьких фрагментов, каждый из которых может быть запущен на любом из узлов кластера. В дополнение к этому, Hadoop для хранения данных использует распределенную файловую систему HDFS, в результате чего значительно повышается показатель суммарной пропускной способности кластера. Hadoop и HDFS оптимизированы для работы с очень большими объемами данных и разработаны таким образом, что на любой сбой система реагирует автоматически, обеспечивая высокую надежность и сохранность данных.

Дистрибутив Cloudera собран на последнем стабильном ядре Hadoop, в которое внесены некоторые исправления, направленные на упрощение конфигурации, а также содержит набор дополнительных утилит, значительно упрощающих жизнь системному администратору. В настоящее время продукт доступен виде rpm-пакетов только для Red Hat Enterprise Linux и совместимых дистрибутивов и свободно распространяется под лицензией Apache 2.

  1. Главная ссылка к новости (http://www.pcworld.com/article...)
  2. OpenNews: Yahoo способствует созданию открытых средств для распределенных вычислений
  3. OpenNews: Открыты исходные тексты кластерной БД, напоминающей Google BigTable
  4. OpenNews: Установка платформы для распределенных вычислений Hadoop на одну Linux машину
  5. OpenNews: LiveCD на базе OpenSolaris со встроенной Hadoop инфраструктурой
  6. OpenNews: Увидела свет открытая система обработки терабайтных массивов информации - CloudBase
Автор новости: blkdog
Тип: К сведению
Короткая ссылка: https://opennet.ru/20806-database
Ключевые слова: database, cluster, Hadoop, mapreduce
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (8) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 07:45, 19/03/2009 [ответить]  
  • +/
    Для очередного стартапа программеру проще попробовать в деле Google App Engine (www.googleappengine.ru), на идеях которого как раз и разрабатывался Hadoop. Текущий бесплатный лимит в 5 млн отображаемых web страниц должен с лихвой покрыть любые потребности на начальной стадии проекта.
     
     
  • 2.8, tn (?), 03:43, 20/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >Для очередного стартапа программеру проще попробовать в деле Google App Engine (w ww.googleappengine.ru),
    >на идеях которого как раз и разрабатывался Hadoop. Текущий бесплатный лимит
    >в 5 млн отображаемых web страниц должен с лихвой покрыть любые
    >потребности на начальной стадии проекта.

    Hadoop --- это свободная реализация goofle file system (http://labs.google.com/papers/gfs.html) и google map-reduce (http://labs.google.com/papers/mapreduce.html). А appengine, это платформа, да и выпущена она была позднее начала разработки хадупа.

    Да и применения хадупа пожалуй шире, чем у appengine. AppEngine, на сколько я помню, нельзя применять для фонового анализа большого количества данных, а hadoop в основном на это и нацелен.

     

  • 1.2, klalafuda (?), 08:48, 19/03/2009 [ответить]  
  • +/
    ммм.. 'на последнем стабильном ядре' - это pre-2.6.9 чтоль :-?

    // wbr

     
     
  • 2.3, Ыку (?), 09:13, 19/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >ммм.. 'на последнем стабильном ядре' - это pre-2.6.9 чтоль :-?
    >
    >// wbr

    Стабильное будет без pre и в конце четное.

     
     
  • 3.4, фук (?), 09:42, 19/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    стабильно без pre и четное во второй цифре!
     
  • 3.5, klalafuda (?), 10:38, 19/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    > Стабильное будет без pre и в конце четное.

    ну pre- не pre-, однако, нечетное .9 не помешало RedHat-у базировать ветку RHEL4 именно на нём. конечно, с тонной собственных патчей, но тем не менее.

    //w br

     
     
  • 4.6, User294 (ok), 21:04, 19/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    А .9 это вторая цифра с какой стороны?Пробовал считать с любой, но второй она что-то не получается как ни крути :).А вот .6 - вторая, да.Со всех сторон :)
     
  • 4.9, csa (??), 00:33, 30/03/2009 [^] [^^] [^^^] [ответить]  
  • +/
    так то было, ЕМНИП, до принятия решения о смене политики в нумерации
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру