The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Распределенная БД Cassandra принята в число основных проектов Apache

23.02.2010 21:33

Член организации Apache Software Foundation (ASF) Мэтью Риу (Matthieu Riou) объявил о том, что распределённое хранилище данных Apache Cassandra отныне становится проектом первого уровня (Apache Top-Level Project, TLP), что знаменует окончание периода нахождения проекта в "инкубаторе".

Изначально проект Cassandra был разработан в недрах компании Facebook, открывшего исходные тексты проекта в июле 2008 года. Facebook также принимает участие в разработке некоторых других проектов Apache, включая Thrift, Hive и Apache Hadoop.

Cassandra, высоко масштабируемая распределенная база данных, объединяет в себе полностью распределенную hash-систему Dynamo и модель хранения данных на базе семейства столбцов (ColumnFamily, вложенные хэши), впервые реализованную в Google BigTable. Cassandra относится к категории хранилищ повышенно устойчивых к сбоям: помещаемые в БД данные автоматически реплицируются на несколько узлов распределенной сети или даже равномерно распределяются по нескольким дата-центрам. При сбое узла, его функции на лету подхватываются другими узлами. Добавление новых узлов в кластер Cassandra также производится на лету, без дополнительного ручного вмешательства и переконфигурирования других узлов.

Свежим релизом Cassandra является версия 0.5.0, предлагающая общее улучшенное распараллеливание запросов по сравнению с предыдущими версиями. Cassandra используется рядом крупных компаний, включая Rackspace, Digg, Facebook, Twitter, Cisco, Mahalo, Ooyala и д.р.. Код проекта написан на языке Java и выходит под второй версией лицензии Apache.

  1. Главная ссылка к новости (http://mail-archives.apache.or...)
  2. OpenNews: Проект Twitter представил раздел, посвященный своим открытым разработкам
  3. OpenNews: Социальная сеть Facebook вошла в число спонсоров Apache Software Foundation
  4. OpenNews: Устройство инфраструктуры проекта Facebook
  5. OpenNews: Pivot стал первичным проектом Apache Foundation
  6. OpenNews: Subversion влился в число первичных проектов Apache
Автор новости: JT
Источник: h-online.com
Тип: К сведению
Короткая ссылка: https://opennet.ru/25539-Cassandra
Ключевые слова: Cassandra, database, apache
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (19) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, uZver (??), 01:03, 24/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Клево. Вроде еще и на кошерной Java все работает =)

    PS как я понимаю Кассандра работает поверх HBase, что есть реализация BigTable поверх Hadoop.

     
     
  • 2.4, rstone (??), 09:04, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >PS как я понимаю Кассандра работает поверх HBase, что есть реализация BigTable
    >поверх Hadoop.

    Часть Hadoop это HDFS . Ее в кассандре нет . Нет вообще общей файловой системы .
    Каждый нод сам по себе и получает данные от "соседей" .
    Можно хранить несколько копий данных  . Можно настраивать как будет происходить репликация ( например в разные дата центры ) .

    Нет встроенного понятия map-reduce  .

    Глюк в 0.5 - невозможно удалить супер колумн .  Обещают починить .
    Глюк в thrift - генерирует java code  с ошибками ( констаны записывает как 0,1 , потом надо их кастить в нужное )

    А так 0.5 - работает  . Закончили dev и препрод циклы . Скоро в прод .

     
     
  • 3.5, rstone (??), 09:08, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Кстати , дата модель :
    5 уровней хеша  , ну то есть хеш внутри хеш внутри хеш и т.д .
    Для тех кто знаком с перл - ясно сразу .
     
     
  • 4.7, Аноним (-), 09:18, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Кстати , дата модель :
    >5 уровней хеша  , ну то есть хеш внутри хеш внутри
    >хеш и т.д .
    >Для тех кто знаком с перл - ясно сразу .

    А это же просто супер, а то для хранилищ ключ/значение приходится выдумывать разные хитрые комбинации для сериализации больших хэшей, чтобы лишние данные не дергать туда и обратно.

     
  • 3.13, uZver (??), 13:04, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Значит Кассандра имеет распределенную структуру, но является альтернативой HBase. Правильно?
     
     
  • 4.15, rstone (??), 17:57, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    В целом - да . Но есть ньюансы ;)
     
     
  • 5.16, uZver (??), 22:56, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем разница с HBase? вроде как обе системы распределенные с балансингом и защитой от сбоя. Обе хранят данные типа BigTable и обе "колоночные"...

    ?

     
  • 2.6, Аноним (-), 09:12, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Клево. Вроде еще и на кошерной Java все работает =)

    В интервью с главным разрабочиком Twitter http://nosql.mypopescu.com/post/407159447/cassandra-twitter-an-interview-with было написано, что они долго выбирали распределенную БД и в конце концов остановились на Cassandra.  Из вариантов они рассматривали HBase, Voldemort, MongoDB, MemcacheDB, Redis, Cassandra, HyperTable. Видимо надежность и простота управления оказались важнее потери скорости из-за использования Java.

     
     
  • 3.11, ДяДя (?), 10:44, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Железо обходится дешевле, чем люди и простои из-за людских ошибок.
     

  • 1.8, rstone (??), 09:20, 24/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Мы смотрели :

    Voldemort - java
    MongoDB  - по моему Erlang
    MemcacheDB  - C
    Redis - C

    Из всего этого только Voldemort сравним с Cassandra .
    MemcacheDB & Redis сами не распаралеливаются .

    MongoDB вроде да , но он на текст заточен , точнее если хранить в нем документы то получаешь много вкусностей .

     
     
  • 2.10, rstone (??), 09:25, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/

    Кстати , если не нужно паралелить , Redis - зверь ;)
    На скромном железе  я из него выжал 80,000 req/s  ( 1.5 кб даты за одну запись )


     
  • 2.14, Бизон (?), 13:46, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +1 +/
    MongoDB - С
    CouchDB - Erlang
     
     
  • 3.18, Basiley (ok), 09:37, 25/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Mnesia - Erlang.
    часть LYME-стэка.
     
  • 2.17, uZver (??), 22:58, 24/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    >Мы смотрели :
    >
    >Voldemort - java
    >MongoDB  - по моему Erlang
    >MemcacheDB  - C
    >Redis - C

    А чего HBase не смотрели?


     
     
  • 3.20, rstone (??), 11:47, 26/02/2010 [^] [^^] [^^^] [ответить]  
  • +/

    HDFS нам не нужен .
    map - reduce - не нужен .

    У нас здоровый  cache ,  надо  будет его расширять постоянно.
    С cassandra  мы просто добавляем еще железяку и все .

     
  • 2.19, rfc.1118 (?), 20:51, 25/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    > MongoDB вроде да, но он на текст заточен, точнее если хранить в нем документы то получаешь много вкусностей.

    Например? Полнотекстовый поиск из коробки там никакой, IIRC.

     
     
  • 3.21, rstone (??), 11:48, 26/02/2010 [^] [^^] [^^^] [ответить]  
  • +/

    >Например? Полнотекстовый поиск из коробки там никакой, IIRC.

    Сам факт что он там есть - это уже не тривиально .

     
     
  • 4.22, james (??), 07:57, 27/02/2010 [^] [^^] [^^^] [ответить]  
  • +/
    тривиально = просто
    Да он там есть... При чем тут "тривиально"? Говорят же - никакой он!
     

  • 1.12, Аноним (-), 12:19, 24/02/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Я бы не стал использовать нечто включающее "динамо". На всякий случай )
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру