The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Увидела свет открытая система обработки терабайтных массивов информации - CloudBase

22.11.2008 19:11

Разработчик CloudBase, высокопроизводительного менеджера данных с открытым исходным кодом, компания Business.com объявила о выходе под лицензией GPLv2 релиза CloudBase. Система спроектирована для работы на «обычном железе» и поддерживает распределенную сетевую архитектуру. Основное ее предназначение — это предоставление малобюджетным компаниям высокоэффективных сервисов бизнес анализа.

Построенная с использованием технологии Map-Reduce, CloudBase может обрабатывать терабайтные и петабайтные массивы информации, и позволяет составлять запросы к обычным плоским текстовым log-файлам в формате ANSI SQL. Текущая реализация алгоритма Map-Reduce основана на базе наработок проекта Apache Hadoop. CloudBase имеет в своем составе драйвер JDBC, что позволяет выбрать любую подходящую графическую оболочку, позволяющую формировать SQL-запросы.

Среди других возможностей заявлена поддержка следующих функций:

  • Возможность сохранения результатов выборок в СУБД.
  • Реализованы функции String, Date и Time как описано в спецификации JDBC.
  • В запросы с LIKE можно вставлять регулярные выражения.
  • Возможность использовать подзапросы и представления (VIEW).
  • Возможность использовать условные модификаторы Order by, Group By и Having.

Подобная открытая система в сегодняшних экономических условиях может оказаться востребованной как малыми интернет и e-commerce бизнесами, которые не могут себе позволить содержать сложные RDBMS системы, так и крупными провайдерами интернет сервисов. Существующие решения для бизнес анализа, использующие ANSI SQL могут начинать использовать CloudBase без необходимости внесения изменений в существующее ПО.

  1. Главная ссылка к новости (http://cloudcomputing.sys-con....)
  2. OpenNews: LiveCD на базе OpenSolaris со встроенной Hadoop инфраструктурой
  3. OpenNews: Intel, HP и Yahoo займутся крупномасштабными распределенными вычислениями
  4. OpenNews: Установка платформы для распределенных вычислений Hadoop на одну Linux машину
  5. OpenNews: Открыты исходные тексты кластерной БД, напоминающей Google BigTable
  6. OpenNews: Yahoo способствует созданию открытых средств для распределенных вычислений
Автор новости: blkdog
Тип: К сведению
Короткая ссылка: https://opennet.ru/19041-Hadoop
Ключевые слова: Hadoop, mapreduce, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (9) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, fedorovod (?), 20:01, 22/11/2008 [ответить]  
  • +/
    т.е. это всетаки база данных или фс ?
     
     
  • 2.5, Аноним (5), 07:54, 23/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Дело в том, что фс, со временем, все более и более приобретает черты СУБД. Я думаю, будущее за таким подходом. Или, по крайней мере, за специализированними фс, в которых сразу работаешь как в среде СУБД. Зачем, например, лишняя прослойка из ОС(которая тоже требует ресурсов), если от сервера требуются только функции СУБД?
     
     
  • 3.6, PereresusNeVlezaetBuggy (ok), 16:59, 23/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Даже если СУБД не размещает свои данные на собственном разделе, содержимым котор... большой текст свёрнут, показать
     

  • 1.3, Аноним (3), 20:47, 22/11/2008 [ответить]  
  • +/
    высокопроизводительный менеджер данных
     
  • 1.4, PereresusNeVlezaetBuggy (ok), 22:40, 22/11/2008 [ответить]  
  • +/
    "We developed CloudBase to drastically improve the speed and efficiency of transforming terabyte-scale web log files into actionable insights for improving user experience and business results," said Paul Dagum, Chief Scientist and Strategy Officer, R.H. Donnelley Interactive (RHDi).

    То есть главная и единственная задача - анализ лог-файлов??

     
     
  • 2.8, sabitov (??), 07:25, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А Вы действительно считаете, что это простая задача??? :)
    Ну, и если с анализом логов того же апача все и так ясно, то как Вам такая задача:
    прочесать _все_ логи со _всех_ серваков и просчитать корреляции событий, а по результатам вычленить, например, вяло текущий скан портов...
     
     
  • 3.9, Алхимик (??), 11:23, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Легко. HP Operations Manager ;)
     
  • 3.10, PereresusNeVlezaetBuggy (ok), 15:30, 24/11/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А Вы действительно считаете, что это простая задача??? :)
    >Ну, и если с анализом логов того же апача все и так
    >ясно, то как Вам такая задача:
    >прочесать _все_ логи со _всех_ серваков и просчитать корреляции событий, а по
    >результатам вычленить, например, вяло текущий скан портов...

    Я не говорил, что это простая или тем более ненужная задача, либо что её не надо автоматизировать:). Просто из новости сложилось ощущение, что это полноценное как-бы-СУБД, стало интересно (в качестве общего развития пока что, а там чем чёрт не шутит). Логи анализировать - задача намного более узкая, согласитесь:).

     

  • 1.7, enp (?), 21:05, 23/11/2008 [ответить]  
  • +/
    Новость вышла информативнее оригинальной статьи - там даже ссылки на сайт проекта не было ;) Гугл, конечно, помогает, но, опять-таки, с документацией там туго. Как его завести-то, как логи подкладывать и т.д.?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру