The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

17.12.2016 23:09  Доступна открытая СУБД CrateDB 1.0

После трёх лет разработки состоялся релиз проекта CrateDB 1.0, в рамках которого развивается открытая, быстрая и масштабируемая СУБД с поддержкой выполнения SQL-запросов и встроенными возможностями полнотекстового поиска. Версия 1.0 позиционируется как первый выпуск, достигший должного уровня стабильности и пригодный для промышленного использования. Исходные тексты CrateDB написаны на языке Java и распространяются под лицензией Apache 2.0.

СУБД позволяет использовать SQL как для структурированных, так и для неструктурированных данных. Запросы могут выполняться распределённо, охватывая данные, хранящиеся на нескольких узлах, при этом для таких запросов обеспечивается производительность, близкая к обработке в реальном режиме времени. CrateDB оптимально подходит для хранения и формирования выборок для различных автоматически генерируемых данных, таких как логи, результаты периодического опроса датчиков и параметры сетевого трафика.

Особенности и возможности CrateDB:

  • Возможность подключения к СУБД с использованием бинарного протокола PostgreSQL. CrateDB на уровне протокола эмулирует PostgreSQL 9.5 и позволяет с некоторыми ограничениями (например, не поддерживаются транзакции) использовать написанное для PostgreSQL клиентское ПО;
  • Встроенный управляющий web-интерфейс (http://localhost:4200/admin/) и CLI-клиент crash;
  • Средства для обеспечения высокой доступности и масштабируемости - возможно распределённое хранение данных с шардингом на несколько узлов и хранением нескольких копий на разных узлах. Репликация выполняется автоматически, уровень дубликатов задаётся в конфигурации БД. В случае сбоя или вывода узла для обновления, хранимая на нём информация замещается данными с других узлов;
  • Хорошая масштабируемость - для расширения хранилища или увеличения производительности достаточно просто добавить в кластер СУБД дополнительные узлы и СУБД сама выполнит автоматическую ребалансировку данных. Для распараллеливания операций в CrateDB применяется архитектура без разделения ресурсов (shared-nothing - каждый узел независим и самодостаточен, не использует централизованную информацию о состоянии и не конкурирует с другими узлами);
  • Эффективная система кэширования полей, позволяющая выполнять запросы, в том числе с агрегатными функциями, слиянием таблиц и подзапросами, со скоростью обращения данным в оперативной памяти;
  • Высокая производительность операций добавления данных (INSERT). На типовом оборудовании обеспечивается производительность на уровне 40 тысяч операций INSERT в секунду на один узел в кластере. Запросы выполняются с предсказуемой производительностью за считанные миллисекунды, независимо от наличия активности на запись;
  • Интерфейсы для определения схемы хранения данных и структуры метаданнных. Поддержка как реляционных данных, так и вложенных документов JSON и блобов. Возможность обращения к атрибутам JSON из SQL и хранение в форме блобов изображений, видео и прочих бинарных данных;
  • Средства аналитики для выявления аномалий и тенденций во временных рядах. Для ускорения производительности и удобства работы поддерживается автоматическое партицирование данных за разные интервалы времени (каждый интервал представлен как виртуальная таблица);
  • CrateDB не поддерживает ACID-транзакции и обеспечивает непротиворечивость на уровне строк через использование модели "read-after-write" и оптимистическое управление параллельной обработкой данных (OCC - Optimistic Concurrency Control), в котором для выявления и разрешения конфликтов используется внутреннее версионирование;
  • Встроенные средства инкрементального резервного копирования БД, позволяющие сохранять снапшоты со срезом данных на текущий момент времени;
  • Наличие условных и математических функций, а также типов для задания местоположения (geo_point и geo_shape) и функций для вычисления расстояний, пересечений и вхождений областей;
  • Возможность создания узлов, доступных только на чтение;
  • Поддержка подзапросов (вложенные SELECT);
    
       select average_price from (
          select avg(price) as average_price
          from articles) as t
          order by average_price;
    
  • Поддержка внешних слияний (LEFT/RIGHT/FULL/CROSS JOIN);
    
        select e.name || ' ' || e.surname as employee, coalesce(d.name, '') as manager_of_department
           from employees e left join departments d
           on e.id = d.manager_id
           order by e.id;
    
  • Поддержка определения полуструктурированных схем хранения с динамически добавляемыми в процессе работы полями:
    
       create table demo (
           name string,
           obj object (dynamic) as (
               age int
           ),
           tags array (string));
    
       insert into demo (name, obj, tags) values
         ('Trillian',
         {age = 39, gender='female'}, // поле gender явно не определено в схеме и создаётся динамически
         ['mathematician', 'astrophysicist']);
    
       select * from demo where obj['gender'] = 'female';
    
    
  • Встроенные средства полнотекстового поиска на базе движка Lucene. Например, можно задавать вес для совпадений в определённых полях:
    
       select title from wikipedia where match((title 1.5, text 1.0), 'Test')
    


  1. Главная ссылка к новости (https://crate.io/releases/achi...)
  2. OpenNews: Релиз открытой СУБД VoltDB 3.0, развиваемой одним из основателей Ingres и PostgreSQL
  3. OpenNews: Открыты исходные тексты СУБД CitusDB
  4. OpenNews: Открыты исходные тексты СУБД TrailDB
  5. OpenNews: Представлена децентрализованная СУБД Noms, основанная на идеях Git
  6. OpenNews: Доступна СУБД InfluxDB 1.1
Лицензия: CC-BY
Тип: Программы
Ключевые слова: cratedb, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 01:19, 18/12/2016 [ответить] [смотреть все]
  • –7 +/
    > быстрая
    > на языке Java

    «Ява не тормозит»©

     
     
  • 2.2, Вареник, 01:51, 18/12/2016 [^] [ответить] [смотреть все] [показать ветку]
  • –1 +/
    Так она действительно не тормозит.
     
     
  • 3.5, Анонимус1, 02:29, 18/12/2016 [^] [ответить] [смотреть все]
  • +18 +/
    Только плашки оперативки подкидывай, подкидывай давай.. чего остановился?
     
     
  • 4.7, Аноним, 02:51, 18/12/2016 [^] [ответить] [смотреть все]
  • +/
    У Java тормозит только гуй Безгуйные приложения на Java сопоставимы с безгуйным... весь текст скрыт [показать]
     
     
  • 5.8, 101, 03:03, 18/12/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    >всего в полтора раза.

    полтора-два раза

     
     
  • 6.20, Аноним, 07:06, 18/12/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Может и 3 получиться А сборщик мусора может все надолго клинить Written once, ... весь текст скрыт [показать]
     
     
  • 7.33, Cpper, 13:33, 18/12/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Там есть разные реализации сборщика Он может работать параллельно и не тормозит... весь текст скрыт [показать]
     
     
  • 8.34, wwarlock, 15:13, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Да, к тому же он может вообще отключаться или даже выпиливаться из исходников JV... весь текст скрыт [показать]
     
  • 5.10, leap42, 03:15, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    всё немного сложнее тормозит запуск виртуальной машины, потом какое-то время ух... весь текст скрыт [показать]
     
     
  • 6.14, angra, 03:57, 18/12/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Запусти hello world на жаве через time и узнай сколько миллисекунд на самом деле... весь текст скрыт [показать]
     
     
  • 7.29, anonymous, 12:42, 18/12/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Допускаю, что скорость бывает даже соизмерима, но только в идеальных условиях - ... весь текст скрыт [показать]
     
     
  • 8.30, anonymous, 13:04, 18/12/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    Вдогонку Зачем они принялись писать на БД на Java Потому что проще, быстрее и ... весь текст скрыт [показать]
     
     
  • 9.42, лютый жабист__, 09:02, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Отличная аналитика, бро У людей, покупающих например IBM z13 за мегабакс на кру... весь текст скрыт [показать]
     
     
  • 10.43, Аноним, 13:10, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    На крутых сишников действительно нет денег, но просто там нужно 1000 таких что-... весь текст скрыт [показать]
     
  • 7.41, лютый жабист__, 06:53, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Все сишнеки знают, что GC в жабе тормозит проги с кучей на десятки гигабайт На... весь текст скрыт [показать]
     
     
  • 8.48, Аноним84701, 17:38, 19/12/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Дорогой собрат по разуму, пишу вам из параллельной вселенной 8211 увы, у нас ... весь текст скрыт [показать]
     
  • 6.24, Ubuntu, 11:36, 18/12/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    >> настольные приложения работают невыносимо медленно

    Приложения назовёте?

     
     
  • 7.27, leap42, 12:34, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Intel RAID Web Console 2 Utility пойдёт?
     
     
  • 8.40, Ubuntu, 21:01, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    >> Intel RAID Web Console 2 Utility пойдёт?

    Это десктоп приложение? Швайн?

     
     
  • 9.45, Аноним, 14:24, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Забавная штука, аналогично АМД пошли, те тоже сервис с вэб мордой на управление ... весь текст скрыт [показать]
     
  • 6.35, Анын, 16:19, 18/12/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Ну да, ну да.. Про проблемы с GC не забывайте.
     
  • 6.36, Анын, 16:21, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Посмотрите лучше бенчмарки ScyllaDB и Cassandra Все вопросы отпадут ... весь текст скрыт [показать]
     
  • 5.26, Игорь, 12:27, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Кто такой "безгуйный", и на каком языке это написано?
     
     
  • 6.32, Аноним, 13:10, 18/12/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Имеется ввиду соснольное аппликэйшен, сервис демон , етц Написано на языке тво... весь текст скрыт [показать]
     
  • 1.12, Аноним, 03:47, 18/12/2016 [ответить] [смотреть все]  
  • –1 +/
    Не понятно, как они разруливают конфликты двух параллельных модифицирующих запро... весь текст скрыт [показать]
     
     
  • 2.15, angra, 04:02, 18/12/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Элементарно - они на это забивают Данная БД предназначена для случаев, когда да... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.16, Аноним, 05:49, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    можно спокойно пренебречь всеми данными после сбоя данной субд
     
     
  • 4.19, Аноним, 06:59, 18/12/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Мне сложно представить ситуации, когда можно использовать такие базы Разве что ... весь текст скрыт [показать]
     
     
  • 5.23, A.Stahl, 11:06, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Кстати, часто вижу такую необычную форму записи Это какая-то шутка или обычная ... весь текст скрыт [показать]
     
     
  • 6.28, Аноним, 12:39, 18/12/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Это безграмотное бидуро.
     
  • 5.38, Crazy Alex, 16:59, 18/12/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Как раз со статистикой - в самый раз Не говорить, что отчётов не будет , а про... весь текст скрыт [показать]
     
  • 5.39, angra, 20:59, 18/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Посмотри use cases их сайте И речь идет не о крупной потере в результате сбоя, ... весь текст скрыт [показать]
     
     
  • 6.46, Аноним, 14:30, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Если у продукта А в БД вдруг стала цена от продукта Б да мало-ли человек в двух... весь текст скрыт [показать]
     
     
  • 7.50, angra, 02:44, 20/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Еще раз для танкистов, посмотри для чего ее применяют Подсказка, для магазинов ... весь текст скрыт [показать]
     
  • 2.31, arzeth, 13:07, 18/12/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    https crate io docs reference sql dml html updating-data Если данные будут мод... весь текст скрыт [показать] [показать ветку]
     
  • 2.44, fi, 13:55, 19/12/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вот тут собственно ответ Один источник - множество получателей И никаких кон... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.47, Аноним, 14:32, 19/12/2016 [^] [ответить] [смотреть все]  
  • +/
    А чем это плохо работает в текущих решениях Есть к примеру firebird ... весь текст скрыт [показать]
     
     
  • 4.51, angra, 02:49, 20/12/2016 [^] [ответить] [смотреть все]  
  • +/
    Скорость Поинтересуйся, сколько транзакций в секунду может firebird Хотя надо... весь текст скрыт [показать]
     
  • 1.22, Аноним, 10:46, 18/12/2016 [ответить] [смотреть все]  
  • +/
    На сколько я помню внутри elasticsearch живёт, почему в новости нет кпоминания о... весь текст скрыт [показать]
     
  • 1.25, anonymous, 11:39, 18/12/2016 [ответить] [смотреть все]  
  • +1 +/
    как тут с brainsplit? раз данные хранятся в виде нескольких копий значит менять эту копию нужно на сервере ответственном за запись, что будет при его падении? при его восстановлении? вообщем как тут под CAP теорему подстраиваются?
     
  • 1.49, ananim, 18:10, 19/12/2016 [ответить] [смотреть все]  
  • +/
    таки железо уже с сотнями гигабайт уже выпускают, да и терабайтом тож. base in memo
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList