The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

24.03.2016 23:06  Открыты исходные тексты СУБД CitusDB

Компания Citus Data объявила об открытии исходных текстов распределённой СУБД CitusDB. Ранее проект CitusDB развивался как форк PostgreSQL, но начиная с Citus 5.0 проект переработан в форму расширения к PostgreSQL, не требующего модификации кодовой базы и работающего поверх штатных выпусков PostgreSQL. Подобный подход позволяет использовать все появляющиеся в новых выпусках PostgreSQL новшества, такие как типы JSON/JSONB, операции UPSERT и работа без периодического выполнения "vacuum full" для больших БД. Код открыт под лицензией AGPLv3.

Citus обеспечивает горизонтальное масштабирование PostgreSQL в кластере на базе типового оборудования, с разнесением данных по узлам при помощи шардинга и репликации. Шардинг даёт возможность организовать хранилище для очень большого объема данных, суммарный размер которых существенно превышает локальные накопители каждого из узлов кластера. Дополнительное реплицирование данных на несколько узлов обеспечивает отказоустойчивость и позволяет сохранить работоспособность при выходе узлов из строя.

Для приложений кластер Citus выглядит как один большой сервер PostgreSQL, обладающий производительностью стоящих за ним узлов. Входящие запросы распараллеливаются по имеющимся серверам, позволяя добиться предсказуемого времени выполнения запроса к большим массивам данных, пополняемым в режиме реального времени. Например, благодаря распределению работы на все узлы кластера выполнение запроса в кластере из 20 серверов выполняется почти в 20 раз быстрее, чем на одном отдельном узле. Предлагается три планировщика выполнения запросов (router, real-time и task-tracker), позволяющий добиться оптимальных показателей при разном характере работы с данными (оперативная обработка (низкие задержки) или аналитика (пропускная способность)).

Типовыми областями использования Citus являются системы аналитики, разбор информации о случившихся событиях, архивирование больших наборов данных, генерация отчётов, анализ сеансов. Кластеры на базе CitusDB применяются в таких компаниях как CloudFlare (аналитика в реальном времени 100 Тб БД с данными 4 млн сайтов), MixRank (накопление и анализ статистики о B2B-продажах для поиска новых клиентов), Neustar (анализ миллиардов ежедневных событий в рекламной сети), Agari (обработка 6-8 Тб данных c электронной почтой).



  1. Главная ссылка к новости (https://www.citusdata.com/blog...)
  2. OpenNews: Открыт код шифрованной СУБД ZeroDB
  3. OpenNews: Первый выпуск PipelineDB, СУБД для непрерывной обработки потоков
  4. OpenNews: Представлена СУБД ArangoDB 2.4
  5. OpenNews: Релиз открытой СУБД VoltDB 3.0, развиваемой одним из основателей Ingres и PostgreSQL
  6. OpenNews: Новая свободная кластерная СУБД Postgres-XL
Лицензия: CC-BY
Тип: Программы
Ключевые слова: citus, postgresql
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 00:22, 25/03/2016 [ответить] [смотреть все]
  • –3 +/
    Не знал, что CloudFlare данные собирает и что-то в них анализирует Вот тебе и н... весь текст скрыт [показать]
     
     
  • 2.2, asavah, 01:02, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    корпорации добра, слышали, да
     
     
  • 3.23, Аноним, 13:57, 27/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А, вот почему они пользователям Tor капчу показывают Шпионаж плохо работает Эт... весь текст скрыт [показать]
     
  • 2.5, Тфьу, 09:48, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +3 +/
    Прямо, как Гугл Аналитикс А ещё они данные об отказе винчестеров публикуют ... весь текст скрыт [показать] [показать ветку]
     
  • 2.12, Аноним, 11:05, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Им как минимум нужно понимать к каким узлам нужно физически приблизить какие-то ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.13, Аноним, 11:32, 25/03/2016 [^] [ответить] [смотреть все]  
  • +/
    для этого не нужны системы оффлайновой аналитики, это штатная операция самой CDN... весь текст скрыт [показать]
     
     
  • 4.14, Andrey Mitrofanov, 11:38, 25/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Где здесь что-то про оффлайн-аналитику Вам привиделось ... весь текст скрыт [показать]
     
  • 2.15, А, 11:40, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вы уж их извините, что они с вами не посоветовались, как им своей системой управ... весь текст скрыт [показать] [показать ветку]
     
  • 2.16, Вареник, 17:49, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Любая BigData стоит денег, покупается и продается Конечно они ее собирают и сли... весь текст скрыт [показать] [показать ветку]
     
  • 2.29, Anony, 23:43, 18/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    https blog cloudflare com scaling-out-postgresql-for-cloudflare-analytics-usin... весь текст скрыт [показать] [показать ветку]
     
  • 1.3, Ананас, 07:41, 25/03/2016 [ответить] [смотреть все]  
  • –7 +/
    А как там с резервированием Если один узел упадет - упадет все Если есть запас... весь текст скрыт [показать]
     
     
  • 2.4, Аноним, 07:53, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +25 +/
    Это надстройка над "классическим" постгресом, выкидыватель мамкин.
     
     
  • 3.25, _, 00:15, 29/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Выкидыш же! :)
     
  • 3.28, Аноним, 01:21, 03/04/2016 [^] [ответить] [смотреть все]  
  • +/
    угу, примерно еще не кассандра или мнезия или еще более тяжелые распределенные... весь текст скрыт [показать]
     
  • 1.8, Александр, 10:41, 25/03/2016 [ответить] [смотреть все]  
  • +/
    Правильно ли я понимаю, что при таком шардинге всякие там уникальные индексы, внешние ключи и прочие РСУБДшные радости работать не будут?
     
     
  • 2.10, Andrey Mitrofanov, 10:54, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    > Правильно ли я понимаю,

    TMF ждёт.

     
  • 1.9, Аноним, 10:47, 25/03/2016 [ответить] [смотреть все]  
  • +/
    Можно ли шардить 1 таблицу на несколько машин и как с ней будет работать джойн?
     
     
  • 2.11, Andrey Mitrofanov, 10:55, 25/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    А Вас ждёт их отдел продаж С нетерпением ... весь текст скрыт [показать] [показать ветку]
     
  • 1.17, Нанобот, 19:26, 25/03/2016 [ответить] [смотреть все]  
  • +1 +/
    >начиная с Citus 5.0 проект переработан в форму расширения к PostgreSQL, не требующего модификации кодовой базы и работающего поверх штатных выпусков PostgreSQL

    пользуясь случаем, хочется передать превед разрабам 1С, которые так ниасилили

     
     
  • 2.19, leap42, 05:08, 26/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    Просто переделывать не хотят. Как я понял, 1ц заточен под хранимые процедуры, которые по мнению разрабов postgresql не нужны. Хотя, емнип, разрабы postgres так говорили и про мастер-мастер, и про синхронную реплику, так что нужно подождать, и проблема может решиться сама собой))
     
     
  • 3.21, sun28, 11:18, 26/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Какие хранимые процедуры, ты о чем, Вася?
    Сборка postgresql от 1C отличается переделанными блокировками и всё.
     
  • 3.22, Anonymous1, 15:24, 26/03/2016 [^] [ответить] [смотреть все]  
  • +/
    > Просто переделывать не хотят. Как я понял, 1ц заточен под хранимые процедуры,
    > которые по мнению разрабов postgresql не нужны. Хотя, емнип, разрабы postgres
    > так говорили и про мастер-мастер, и про синхронную реплику, так что
    > нужно подождать, и проблема может решиться сама собой))

    Не под хранимые процедуры же, а под блокировки (привет от MS SQL) и под регистронезависимость (привет Windows)
    Несколько неверно Вы поняли...

     
  • 3.26, _, 00:18, 29/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    >хранимые процедуры, которые по мнению разрабов postgresql не нужны

    Охъ! Аж пузо свело от ржачки, это адский трэщЪ! :))))))))

     
  • 2.27, Nellex, 02:30, 02/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Есть готовые сборки для 9.4, только не от 1С правда. http://www.postgrespro.ru/products/1c_build
     
  • 1.24, Владимир, 20:12, 27/03/2016 [ответить] [смотреть все]  
  • +/
    > и работа (http://rhaas.blogspot.ru/2016/03/no-more-full-table-vacuums.html)
    > без периодического выполнения "vacuum full" для больших БД.

    Это неточный перевод, речь про отсутствие необходимости выполнять VACUUM FREEZE на больших таблицах, эта фича попала в 9.6. А VACUUM FULL в postgres'е не надо запускать уже лет десять как.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor