The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск кластерной СУБД Postgres-XL 9.5

20.04.2016 08:53

Состоялся релиз СУБД Postgres-XL 9.5 R1, основанной на технологиях PostgreSQL и предназначенной для создания кластерных систем, хорошо подходящих как для обработки транзакций в реальном времени (OLTP), так и для создания крупных баз для анализа больших наборов данных (решения для бизнес-аналитики). Код СУБД Postgres-XL распространяется под свободной лицензией Mozilla Public License 2.0.

Кодовая база нового выпуска Postgres-XL полностью синхронизирована с PostgreSQL 9.5.2. Новая версия также примечательна улучшением средств обеспечения высокой доступности и полной поддержкой таких расширенных возможностей, как индексы BRIN и сжатие индексов JSONB и GIN. Предоставляемые в Postgres-XL средства массивной параллельной обработки данных (MPP, Massively Parallel Processing) позволяют добиться почти линейного увеличения масштабируемости при выполнении многих видов запросов.

Например, при решении задач бизнес-аналитики 16-узловой кластер на базе Postgres-XL демонстрирует в 16 раз более высокую производительность по сравнению с отдельным сервером PostgreSQL и при этом успешно проходит BI-тесты TPC-H. При оценке производительности обработки транзакций в реальном времени (OLTP) при помощи теста pgBench 4-узловая конфигурация Postgres-XL по сравнению с одним сервером на базе PostgreSQL продемонстрировала рост обработки транзакций в секунду на 230% при увеличении задержек в 70% для типовых запросов SELECT. Для запросов UPDATE скорость обработки возросла на 130% при росте задержек на 56%.

Некоторые особенности СУБД Postgres-XL:

  • Соответствие требованиям ACID (атомарность, согласованность, изолированность, надежность) на уровне всего кластера;
  • Поддержка механизма многоверсионности для обеспечения одновременного конкурентного доступа к БД (MVCC);
  • Распределённая модель хранения, при которой каждый узел хранит и обрабатывает отдельную порцию данных. При записи данные равномерно распределяются по разным узлам хранения, что позволяет более эффективно использовать кэширование и распределять нагрузку при чтении;
  • Расширенная модель разграничения доступа, позволяющая организовать в рамках одного кластера несколько виртуальных СУБД, закреплённых за разными арендаторами (Multi-tenant);
  • Поддержка большинства штатных возможностей PostgreSQL, в том числе средств работы с данными в формате JSON и hstore;
  • Высокая масштабируемость - при необходимости наращивания размера базы или при увеличении нагрузки достаточно подключить новые узлы в кластер;
  • Оптимизация кластера как для приложений с большой интенсивностью записи, так и для программ, в которых преобладают операции чтения;
  • Средства обеспечения отказоустойчивости через развёртывание запасных узлов (slave), которые примут нагрузку в случае выхода из строя основного узла.


  1. Главная ссылка к новости (http://www.postgresql.org/abou...)
  2. OpenNews: Релиз СУБД PostgreSQL 9.5
  3. OpenNews: В СУБД PostgreSQL добавлена поддержка распараллеливания запросов
  4. OpenNews: Представлена инфраструктура по организации параллельных вычислений в PostgreSQL
  5. OpenNews: Открыты исходные тексты распределённой СУБД CitusDB
  6. OpenNews: Новая свободная кластерная СУБД Postgres-XL
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/44278-postgres-xl
Ключевые слова: postgres-xl, postgresql
Поддержать дальнейшую публикацию новостей на OpenNET.


Обсуждение (48) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 09:45, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    И все так же под BSDL? круто
     
     
  • 2.19, Аноним (-), 19:00, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >Код СУБД Postgres-XL распространяется под свободной лицензией Mozilla Public License 2.0.

    Copyleft

     

  • 1.2, Shodan (ok), 10:27, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    интересно сравнить с галерой
     
     
  • 2.3, fvl (?), 10:45, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Тролль!
     
  • 2.5, Аноним (-), 11:09, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Лучше с CitusDB сравнить...
     
  • 2.45, Аноним (-), 11:18, 22/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда уж с greenplum
     

  • 1.4, Ан v4 (?), 11:08, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сравнительные характеристики как то не проливают свет на плюсы разработки. Хорошо бы, конечно,при таких сравнениях показатели делить на производительность машины.
     
  • 1.6, Онаним (?), 11:39, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Интересно, когда 1С научится с такой БД работать? И поможет ли ей это...
     
     
  • 2.41, Kodir (ok), 13:11, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Хм... а чему тут "учиться"? Клиентская либа есть, бери, да соединяйся! Если только с дури они процедур не понаписякали.
     
     
  • 3.44, Онаним (?), 16:10, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Именно "с дури написякали"...
    Постгре "из коробки" не работает с 1С... Только специально собранный с сайта 1С.
     

  • 1.7, Аноним (7), 11:53, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    В продакшене с версии 9.2, больше года. 4-х узловой кластер в связке с CEPH. Полет нормальный. Несколько раз ложился GTM. Ничего при этом не разваливалось. Производитльность не линейная, КПД ноды в пределах 60-70 процентов.
     
     
  • 2.8, AlexanderSp (?), 12:09, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Слушай, дай мануал по настройке такого кластера. А то у нас одмин только оффтопик знает.
     
     
  • 3.35, Аноним (-), 08:51, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://habrahabr.ru/post/253017/
     
  • 2.12, bOOster (ok), 14:18, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ждем хотябы патчи для Postgres…  

    Хотя что от Анонима можно ждать…

     
     
  • 3.21, Аноним (-), 19:50, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    То ли дело балабол-регистрант без постгреса, но с нечеловеческим гонором.
     
     
  • 4.32, bOOster (ok), 05:47, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > То ли дело балабол-регистрант без постгреса, но с нечеловеческим гонором.

    Вообще замечаю интересную вещь, анонимы весьма самокритичны, раз за разом себя описывают :)

    ПыСы. Уже, наверное, года 2-3 SQL 1C крутиться полностью под FreeBSD, причем не разу не падая. Heimdal аутентификация и авторизация из OpenLDAP.
    Пару раз останавливали для обновления.

     
  • 2.13, _KUL (ok), 14:43, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    1С ведь не использует силу логики SQL?! Они БД используют просто как пространство для хранения, а не связывания и обработки данных ...
     
     
  • 3.14, _KUL (ok), 14:44, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Промахнулся веткой
     
  • 3.16, AlexanderSp (?), 16:48, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ага... А всякие отчеты рисуют индусы карандашами. И обработка данных происходит специально обученными неграми...эээ...то есть афроамериканцами...
     
     
  • 4.27, _KUL (ok), 00:24, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Какие то глупости говорите. Рисует отчёты только обёртка 1с. В БД хранится мусор из метаданных. Приведите пример sql select'а для выбора документов созданных пользователем Иван. Гуглящие по данному вопросу будут вам благодарны в будущем.
     
     
  • 5.34, AlexanderSp (?), 08:46, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ух ты, отчеты обертка рисует.. а данные она откуда берет? из воздуха? В общем - не разбираетесь - не лезьте. Я мануал просил по настройке кластера.
    И да - запрос будет выглядить примерно так "SELECT Док.Ссылка FROM ДокументСсылка.<ТипДокумента> КАК Док ГДЕ Док.Пользователь=&Пользователь";
    И этот запрос 1С транслирует в SQL. Детский сад, ей богу... Или ты думаешь в SAP R3 все по другому?

     
  • 3.22, Аноним (-), 19:51, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > 1С ведь не использует силу логики SQL?! Они БД используют просто как
    > пространство для хранения, а не связывания и обработки данных ...

    чем трынеть заглянул бы в созданную одинесом базу в постгресе.

     
     
  • 4.26, _KUL (ok), 00:19, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Самое ужасное, что глядел. Там нет логики sql, там тупо одномерная связь безликих таблиц с матаданными. Т.е. невозможно оптимизировать скорость за счёт планирования sql запросов и структур.
     
     
  • 5.33, Андрей (??), 06:45, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Поддерживаю. Посему, платить за лицензию M$SQL/DB2 не вижу смысла... СУБД для 1Ски - этто всего лишь хранилище...
     
  • 2.23, Аноним (-), 21:05, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А CEPH зачем?
     
     
  • 3.31, bOOster (ok), 05:30, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ну CEPH то и выполняет задачи кластеризации. А поверх него тупо, торчат "ослиные уши" 4 обычных PostgreSQL. И этот колхоз, данный гражданин, кластером БД называет.
    Детский сад.
     
  • 2.49, Аноним (-), 16:45, 24/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    а серп-то  ему каким боком нужен вдруг? или ты дату на скрпе хранишь?
     

  • 1.9, Лютый жабист (?), 12:23, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Господа, а в сравнении с Монго как?
     
     
  • 2.10, Аноним (-), 13:27, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Плохо. Очень плохо. Ужасно. Невыносимо.

    Невыносимо плохо и ужасно читать такие комментарии, как тот, на который я сейчас ответил.

     
  • 2.17, Вареник (?), 17:02, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Монго разваливается и не собирается, при первом удобном случае. Не кластер, а головная боль админа.
     
     
  • 3.29, Лютый жабист (?), 05:25, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Господин, может ты четное количество нод поднял? 8)
     
     
  • 4.37, Аноним (-), 10:08, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Какой красивый риторический вопрос. Только не четное количество нод, а так да все верное.
     
  • 4.47, Вареник (?), 22:28, 23/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Причем здесь я? Это общий момент администрирования Mongo кластеров и ее стресс-тестов.

    У суровых кластерных практиков Mongo как вариант вообще не обсуждается:
    http://highscalability.com/all-posts/

     
  • 3.30, Лютый жабист (?), 05:30, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Из FAQа PG XL:

    In terms of automatic failover, it is currently not part of the core project, but Corosync/Pacemaker has been used for this purpose.

    Интересный расклад. С трудом верится, что оно может быть лучше Монго.

     
     
  • 4.38, Аноним (38), 10:24, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    С трудом верится, что оно может быть лучше ОДНОПОТОЧНОЙ Монго? ))
     
     
  • 5.46, Лютый жабист (?), 08:41, 23/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    У меня регулярно ест 800%
     
  • 4.48, Вареник (?), 22:43, 23/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Из FAQа PG XL:
    > In terms of automatic failover, it is currently not part of the
    > core project, but Corosync/Pacemaker has been used for this purpose.
    > Интересный расклад. С трудом верится, что оно может быть лучше Монго.

    Получается что на равных. Проблемы развала при шардинге данных одинаково можно поиметь и там и там. Только в случае постгреса кроме JSON документов имеем еще и true SQL.

     
     
  • 5.50, Лютый жабист (?), 10:00, 25/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    "true SQL" это конечно же ругательное слово? Тут в одном проекте в СУБД надо было дампить каталог в одного сайта, проникся schemaless-ностью NoSQL-ей. И скоростью (150-200 килоинсертов в сек при количестве записей за миллиард).
     
  • 2.20, Аноним (-), 19:10, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Господа все в париже
     
     
  • 3.39, Аноним (38), 10:26, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    ещё в брюсель много прибывает
     
  • 2.24, Аноним (-), 22:28, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Нужно с MsSQL Server сравнивать
     

  • 1.18, Аноним (-), 17:32, 20/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    и как оно понимает как данные распределять? по каким то ключам которые ей задавать? что происходит при добавлении сервера в кластер? при удалении сервера из кластера? перераспределение данных? данные доступны в это время?
    коннектится можно к любому серверу из кластера или только к какому то центральному?
     
     
  • 2.25, ъ (?), 22:52, 20/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    http://files.postgres-xl.org/documentation/tutorial-createcluster.html
     
     
  • 3.28, Йода (?), 04:01, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Оч сложно не осилил, картинки и бабы с bobs нужны на youtube.
     

  • 1.36, Аноним (7), 10:02, 21/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Насчет кластеризации которую обеспечивает CEPH это смешно даже как то и непонятно что вы под этим имеете ввиду. В моей ситуации 4 узла данных, к которым подключены блочные устройтсва из ceph по 10Тб. 3 координатора , 2 менеджера транзакций и 2 прокси. Отказоустойчивость обеспечивается наличием резервных виртуальных машин и конфигурацией pacemaker/corosync которая в случае выпадения одного узла перемонтирует блочное устройтсво. С координаторами все проще задачу балансировки выполняет haproxy в tcp режиме. для резервирования Gtm используется тот же pacemaker с собсвенным скриптов котороый делает промойшен о новом гтм. Система планировалась с учетом 5000 транзакций в секунду и годовым ростом данных до 100Тб. Для разворачивания всего этого хозяйства есть стейты для saltstack. По типу распределения таблиц можно посмотреть официальный мануал. Если есть вопросы с удовольствием отвечу.
     
     
  • 2.40, AlexanderSp (?), 12:55, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Чувствуется стиль хабра - "пришел, похвастался и ушол".. Люди, мануал дайте по поднятию такого чуда... Мануал, а не краткое описание того что сделано...
     
     
  • 3.43, Clickfreak (?), 15:19, 21/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Вполне нормально расписано. Или вы хотите покопипастить в консольку для достижения счастья? Потом такая база пойдёт в продашен, а через год организация будет искать нормальных специалистов за кучу бабла чтобы починить "копипаст"-кластер...
     

  • 1.42, Аноним (7), 15:09, 21/04/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Так а какой мануал, по официальной доке я все делал. на вопросы могу по скайпу или в почте ответить. + есть репозиторий с.deb пакетом с кастомным инит скриптом для запуска gtm proxy
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:
    При перепечатке указание ссылки на opennet.ru обязательно



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру