The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Релиз СУБД PostgreSQL 10

05.10.2017 17:25

После года разработки доступна новая стабильная ветка СУБД PostgreSQL 10. Обновления для новой ветки будут выходить в течение пяти лет до октября 2022 года. Выбор номера версии 10 вместо 9.7.0 связано с переходом проекта на новую нумерацию выпусков. Вместо трёхуровневневой нумерации (Major1.Major2.Minor) отныне будет применяться схема "Major.Minor", в которой "Major" указывает номер значительной ветки, а "Minor" - номер корректирующего обновления, не требующего перезаливки БД. Таким образом, первым корректирующим релизом PostgreSQL 10 станет 10.1, а следующей значительной версией PostgreSQL 11. Как и раньше значительные версии будут формироваться раз в год.

Основные новшества:

  • Режим логической репликации, позволяющий выборочно реплицировать только заданные таблицы или использовать репликацию в процессе обновления для организации перехода на новую значительную версию без остановки работы СУБД. Данный вид репликации манипулирует логическими изменениями на уровне выполняемых операций, в то время как традиционная репликация работает на очень низком уровне, перенося байтовые изменения в WAL-журнале;
  • Добавлены встроенные возможности партицирования таблиц по диапазонам значений и спискам - разбивка теперь может задаваться при помощи декларативного синтаксиса через выражения "PARTITION BY" и "PARTITION OF" в директиве "CREATE TABLE". Например:
    
       CREATE TABLE padre (
         id             serial not null,
         nombre         text not null,
         fch_creado     timestamptz not null
        )
       PARTITION BY RANGE ( id );
    
       CREATE TABLE hijo_0
          partition of padre (id, primary key (id), unique (nombre))
          for values from (unbounded) to (9);
    
       CREATE TABLE hijo_1
          partition of padre (id, primary key (id), unique (nombre))
          for values from (10) to (unbounded);
    
  • Обеспечено распараллеливание с задействованием нескольких ядер CPU таких операций, как сканирование индексов и битовых карт, выполнение запросов со слиянием таблиц (JOIN);
  • Возможность подтверждения коммитов на основе кворума для предотвращения потери данных после выхода из строя сразу нескольких синхронно реплицируемых узлов. Например, теперь можно указать, что коммит должен быть подтверждён любыми К из N запасных синхронно реплицируемых серверов, без жестко заданной последовательности проверки;
  • Поддержка отслеживания незавершённых коммитов - позволяет выяснить статус недавно запущенной транзакции для организации восстановления после краха или обрыва соединения;
  • Поддержка аутентификации SCRAM-SHA-256 (вместо MD5) для организации более безопасного доступа по паролю;
  • Многохостовый режим отказоустойчивости в libpq, при котором клиент соединяется с первым работающим хостом из заданного списка;
  • Добавлен параметр "target_session_attrs", позволяющий клиенту запросить хост, доступный на запись или чтение;
  • Для индексов типа Hash обеспечена поддержка репликации и повышена устойчивость к сбоям после крахов;
  • Добавлен новый тип полномочий, определяющий доступ к функциям мониторинга (pg_read_all_settings, pg_read_all_stats, pg_stat_scan_tables и pg_monitor);
  • Добавлено выражение XMLTABLE, позволяющее представить XML-документ в табличном формате, что существенно упрощает разбор XML-данных, хранимых в БД;
  • Поддержка полнотекстового поиска для типов JSON и JSONB;
  • Поддержка сжатия данных в журналах pg_receivewal;
  • В модуле file_fdw появилась возможность запуска внешних программ, например, можно импортировать данные в таблицу из сжатого файла, запустив gunzip для распаковки;
  • Добавлены средства для накопления статистики по корреляции данных в разных столбцах, которая может оказаться полезной для исключения выбора планировщиком некоторых ошибочных стратегий;
  • Добавлена независимая от операционной системы реализация свойства локали "Collation", позволяющего задавать правила сортировки и методы сопоставления с учётом смысла символов. Реализация основана на libicu и идентична для Linux и Windows;
  • Увеличена производительность функции SUM(), преобразования кодировок символов, выполнение выражений, группировки множеств и выполнения операций JOIN над уникальными столбцами. При выполнении аналитических запросов над большим числом строк наблюдается ускорение до 40%;
  • Из нарушающих совместимость изменений отмечается переименование "xlog" в "wal" в именах функций и файлов, прекращение поддержки устаревшего протокола FE/BE 1.0, изменение настроек по умолчанию для репликации и резервирования (pg_basebackup), прекращение поддержки значений времени (Timestamps) с плавающей запятой, удаление contrib/tsearch2 и прекращение поддержки в pg_dump баз данных от PostgreSQL 7.4 и более ранних выпусков;
  • Изменены применяемые по умолчанию параметры конфигурации: wal_level = replica, max_wal_senders = 10 и max_replication_slots = 10.

Дополнение: Опубликован пресс-релиз с анонсом PostgreSQL 10 на русском языке.

  1. Главная ссылка к новости (https://www.postgresql.org/abo...)
  2. OpenNews: Релиз СУБД PostgreSQL 9.6
  3. OpenNews: Релиз СУБД PostgreSQL 9.5
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/47337-postgresql
Ключевые слова: postgresql
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (116) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Iaaa (ok), 17:48, 05/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –10 +/
    Вот и до этих мода на симуляцию развития рисованием красивых цифр дошла (
     
     
  • 2.3, h31 (ok), 17:54, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +30 +/
    Ребята дело делают. Пофиг на циферки.
     
  • 2.6, KonstantinB (ok), 18:40, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +18 +/
    Наоборот, сменили нумерацию на более логичную. Бинарная несовместимость данных между версиями X.Y и X.Y+1 выглядит странно.
     
     
  • 3.18, фывфыв (?), 22:05, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ага, а потом опять дойдут до версий 50 и решат что слишком много и вернуться обратно.
    Не они первые, не они последние.
     
     
  • 4.20, Аноним (-), 00:32, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    less и systemd возвращаться не собираются
     
     
  • 5.45, Аноним (-), 09:10, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Правильно, вот и пусть systemd идёт как можно дальше в less :)
     
     
  • 6.81, Аноним (-), 12:58, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Эй, вот не надо хотя бы в less свой системде пихать! А то чем файлы-то смотреть? Придётся ж more из фряхи портировать.
     
  • 4.30, 1222 (?), 07:25, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    С таким циклом разработки Postgre SQL 50 выйдет в 2057 году...
    Дожить бы до этого.....
     

  • 1.4, Аноним (-), 17:56, 05/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    офиц. пресс-релиз на русском  https://www.postgresql.org/about/press/presskit10/ru/
     
  • 1.5, лютый жабист__ (?), 18:33, 05/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –45 +/
    Хорошая субд для тех кому скорость не нужна
     
     
  • 2.7, KonstantinB (ok), 18:42, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +11 +/
    > Хорошая субд для тех кому скорость не нужна

    "Сильное заявление, проверять его я, конечно, не буду" (c)

    Говорить о скорости можно только в контексте определенных юзкейсов и совместно с иными требованиями, такими как гарантия целостности. Так-то записать данные в /dev/null быстрее всего.

     
     
  • 3.101, Maxim Filatov (?), 11:08, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Is /dev/null webscale?
     
     
  • 4.102, Andrey Mitrofanov (?), 11:13, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Is /dev/null webscale?

    No, it's super-trans-hyper-pooper-webscale[I]!

     
     
  • 5.119, Аноним (-), 03:40, 12/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > No, it's super-trans-hyper-pooper-webscale!

    Pooper это профессия от слова poop?

     
     
  • 6.120, Andrey Mitrofanov (?), 09:52, 12/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> No, it's super-trans-hyper-pooper-webscale!
    > Pooper это профессия от слова poop?

    Словарь не тут.   ---Ж*** есть, а слова нету.

     
  • 2.8, andy (??), 19:04, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Хорошая субд для тех кому скорость не нужна

    Научись свой код оптимизировать.

     
     
  • 3.29, лютый жабист__ (?), 07:12, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –12 +/
    Ну соптимизируй мне join чтобы из 20 таблиц собирал аналог Mongo-вского документ... большой текст свёрнут, показать
     
     
  • 4.32, Агроном (?), 07:31, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Соптимизируй обновление этих 20 таблиц в монго, чтобы было устойчиво к сбоям и не оставляло БД в противоречивом состоянии, если что пошло не так. И чтобы это было хотябы в 10 раз медленее нормальной субд.
     
     
  • 5.36, лютый жабист__ (?), 08:01, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –7 +/
    >Соптимизируй обновление этих 20 таблиц в монго,

    Батя, не выставляй себя на посмешище, в Монго это будет одна таблица. Почитай про mongo data model, прежде чем комментировать.

    Какие проблемы с противоречивостью тебе померещились? В Монге все операции над документом атомарны, в том числе всякие прикольные навроде fineOneAndDelete или update с включенным upsert. А в РСУБД надо лепить транзакции и опять ТОРМОZZZzzzzzzzZZZZZа. Хотя, вы привыкшие, не замечаете :))))))

     
     
  • 6.40, Агроном (?), 08:59, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Имеется ввиду непротиворечивое обновление 20 документов.
     
     
  • 7.43, лютый жабист__ (?), 09:07, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Для одаренных: В МОНГЕ ЭТО ОДИН ДОКУМЕНТ.
     
     
  • 8.82, Аноним (-), 13:01, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    У тебя вся БД 8212 один документ Ну рад за тебя ... текст свёрнут, показать
     
  • 6.46, evkogan (?), 09:13, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Ни разу не пользовался монгой и решил посмотреть что же у них за data model такая волшебная.
    https://docs.mongodb.com/manual/core/data-model-design/
    И тут оказывается, что их 2-е: Embedded Data Models и Normalized Data Models.
    Если под Ваши задачи Вам хватает Embedded Data Models и нужна скорость, то монго Ваш выбор.
    Но то что Вы даже не понимаете, что полно задач где нужна нормализация говорит только кто выставил себя на посмешище и ставит под сомнение остальные Ваши утверждения.
     
     
  • 7.47, лютый жабист__ (?), 09:20, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    >Вы даже не понимаете, что полно задач где нужна нормализация

    Не только эксперт по СУБД, сегодня впервые почитавший про mongo, ещё и Телепат? Я вот прекрасно понимаю где Монга не нужна и использую там другие решения. В отличие от местных фанатиков, которые лепят ВСЁ на РСУБД. При этом получая тормоза и MVCCшные глюки. Почитай как всё клёво с Слоне с репликацией и надежностью хранения:

    https://habrahabr.ru/company/southbridge/blog/322624/

     
     
  • 8.48, evkogan (?), 09:53, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В отличие от местных фанатиков, которые лепят ВСЁ Фанатиком не являюсь, но счит... текст свёрнут, показать
     
  • 8.54, evkogan (?), 10:47, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    почитал Действительно интересно Но прямо в этой версии добавили логическую реп... текст свёрнут, показать
     
     
  • 9.58, лютый жабист__ (?), 11:18, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Фраза была ПГ хорошая, но тормозная СУБД Кстати, с Оракле у меня опыта даже п... текст свёрнут, показать
     
     
  • 10.77, кверти (ok), 12:39, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    На всю ту воду, что ты тут льешь, могу только посоветовать выровнять руки Топор... текст свёрнут, показать
     
  • 10.118, Led (ok), 19:06, 11/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо, что ты не Надежда ... текст свёрнут, показать
     
  • 4.44, _KUL (ok), 09:09, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Используйте под задачи профильные средства их решения. Автомобили тоже хуже самолётов летают.
     
  • 4.49, Руби Род (?), 09:57, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Nikolay Shestakov Подход обозначенный Вами либо вытекает из вашего непрофессион... большой текст свёрнут, показать
     
     
  • 5.50, лютый жабист__ (?), 10:11, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    1. В первом случае Монгу не тестили, хотя костыль под названием ORM это как раз попытки сделать из РСУБД Монгу (только очень тормозную). А можно просто взять быстрый Монго.

    2. Про шарды ничего не скажу, хватает одного сервера с 1.3ТБ данных, ничего не тормозит. А репликация очень быстрая, за день с нуля синхронизируется на обычном эзернете.

    Случай три: map/reduce в Монго как раз есть.

    Итого, либо ДРЕВНЯЯ писулька про Монгу 2.х, либо ламер писал.

    В целом наблюдение: все рсудб уже давно в периоде стагнации, ничего путнего не добавляется, либо добавляется криво. Как например графы и json к слону, скорость как у черепахи Тортиллы.

    А носкли и в частности Монго развиваются семимильными шагами. Плюс, из-за более узкой специализации разрывают универсальные решения в виде рсубд.

     
     
  • 6.56, Руби Род (?), 11:11, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да, в первом случае MongoDB не тестили ибо тогда 2008 год про такую СУБД еще н... большой текст свёрнут, показать
     
     
  • 7.60, лютый жабист__ (?), 11:39, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > И из последнего Вашего предложения вытекает, что узкоспециализированное решение MongoDB,
    > хорошо подходит к задачам которые Вы решаете.

    ...которые я решаю на Монго. А есть задачи которые я решаю НЕ на монго. И вообще, если уж связываться с РСУБД, то я всеми руками за ORM (можно было не распинаться).

    Изначальный тезис был: "Постгрес (и другие рсубд) тормоз". Его люто минусуют, но сказать в ответ нечего 8))))

     
     
  • 8.62, Руби Род (?), 11:47, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    1 Вот твои слова Приделываю ORM, скорость из под плинтуса переползает вообще н... текст свёрнут, показать
     
     
  • 9.67, лютый жабист__ (?), 12:04, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Современному программисту с ООП головного мозга - безусловно 8 Некоторые ретро... текст свёрнут, показать
     
     
  • 10.78, кверти (ok), 12:44, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Современному погромисту с жабой головного мозга лучше вообще молчать Молчать и ... текст свёрнут, показать
     
  • 10.80, angra (ok), 12:58, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А скорость работы конечного продукта ... текст свёрнут, показать
     
     
  • 11.103, лютый жабист__ (?), 17:16, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ты из клованов орущих ооп тормозит111 От правильного ооп прога только быстрее... текст свёрнут, показать
     
     
  • 12.109, angra (ok), 01:08, 08/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Дело не в ООП, хотя оно тоже накладывает штрафы в районе 10 на скорость и объем... текст свёрнут, показать
     
     
  • 13.110, лютый жабист__ (?), 11:33, 08/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Сказки-с В жабке Integer занимает 40-70 БАЙТ Смотря какой режим, гггг Про орм ... текст свёрнут, показать
     
     
  • 14.112, angra (ok), 12:32, 09/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    То есть ты пытаешься мне доказать, что ООП дает штраф не в 10 , а все 1000 Ну ... текст свёрнут, показать
     
     
  • 15.115, лютый жабист__ (?), 07:21, 10/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Это не отменяет того факта, что жабка номер один везде, кроме опеннета 8 Сове... текст свёрнут, показать
     
  • 13.111, лютый жабист__ (?), 13:34, 08/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ты из престарелых ДБА Неужели в 2017-м году ещё кто-то не в курсе, что это реля... текст свёрнут, показать
     
     
  • 14.113, angra (ok), 12:45, 09/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Я тебе сейчас очень страшную вещь скажу, только ты присядь ООП тоже очень плохо... большой текст свёрнут, показать
     
     
  • 15.116, лютый жабист__ (?), 07:26, 10/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну и глупость пишешь Ты из тех спецов по ООП у которых прям настоящее наследо... текст свёрнут, показать
     
  • 5.104, SunXE (ok), 17:48, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    У нас шардинг кластер монги на 1.3Тб. Действительно, если канал между серверами слабый, то синкнуть реплеку простым добавленим сервера очень долго, так что оплог может закончится. Лучшим способом является залочить одну из реплек на запись и тупо скопировать файлы rsync-м с сжатием при копировании. Но это всё максимум сутки, несколько недель это какая-то фантастическая цифра. Никакого оплога на такое не хватит, звучит как то что вы придумали эту цифру.
     
  • 4.65, Вася (??), 11:51, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Положи свой документ в колонку BSON и живи спокойно.
     
     
  • 5.68, лютый жабист__ (?), 12:06, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >Положи свой документ в колонку BSON и живи спокойно.

    Я тестил, у Постгреса скорость раз в 10 ниже, чем у Монги на 1меговых объектах.
    На маленьких не тестил, но полагаю, что ничего похожего на 100к/сек не будет.

    Про неудобство работы молчу. Местами монговский контейнер BSON даже удобнее родных объектов. Слон НИЧЕГО подобного не предлагает.

     
     
  • 6.83, anonymous (??), 13:01, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>Положи свой документ в колонку BSON и живи спокойно.
    > Я тестил, у Постгреса скорость раз в 10 ниже, чем у Монги
    > на 1меговых объектах.
    > На маленьких не тестил, но полагаю, что ничего похожего на 100к/сек не
    > будет.
    > Про неудобство работы молчу. Местами монговский контейнер BSON даже удобнее родных объектов.
    > Слон НИЧЕГО подобного не предлагает.

    Просто неасилятор и профан в postgres, а так же фигляр и позёр по жизни. Вот и весь разговор.

     
  • 4.85, Аноним (-), 13:44, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален Чего-чего -D они там в монге своей добавили хотя бы ... большой текст свёрнут, показать
     
     
  • 5.88, лютый жабист__ (?), 16:21, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Чего-чего ?! :-D они там в монге своей добавили хотя бы валидацию
    > json при добавлении документов ? или до сих пор вставляй что
    > угодно, а потом map/reduce валится (ни о каких зачатках ACID речи
    > ясное дело не идет)

    давай сюда пример инвалидного json, который съест монга 3.4 или 3.2, а то сам знаешь кто.

     
  • 4.90, KonstantinB (ok), 19:21, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    "Жабист" в нике объясняет такое мнение. :-)

    Если рассматривать СУБД чисто как слой персистенции, и вся работа с оной сводится к fooRepository.find(id) и fooRepository.store(entity) - тогда, конечно, РСУБД не только не нужна, но и мешает из-за impedance mismatch. Тут, конечно, любое документное хранилище подойдет лучше.

    Но это вообще не та задача, для которой РСУБД задумывались.

     
  • 4.107, Kodir (ok), 00:56, 08/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > ...Mongo-вского документа

    Хоспыдя... хипстеры, откуда вы лезете-то?? *фэйспалм* Из подвёрнутых штанов? Сидите уже в своём болоте и не гоните волну! Вот хорошо, что NoSQL появился - как только завёл про него речь - всё, увози д*#била!

     
  • 2.9, Отражение луны (ok), 19:16, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошая БД для тех, кому нужна надежность. Ну а для сайтиков есть все остальное, пользуйтесь.
     
     
  • 3.17, KroTozeR (ok), 21:36, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Хорошая БД для тех, кому нужна надежность. Ну а для сайтиков есть
    > все остальное, пользуйтесь.

    И, вместе с тем, это — БД, которой никогда не было удобно пользоваться.

     
  • 3.28, лютый жабист__ (?), 07:05, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Хорошая БД для тех, кому нужна надежность.

    Ну-ну. На моей памяти совсем недавно проскакивали багфиксы в духе "ой, мы при некоторых обстоятельствах теряли данные, ну вы эта, обновитесь". Причём не раз.

    https://habrahabr.ru/company/southbridge/blog/322624/

     
     
  • 4.93, Аноним (-), 20:27, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это ты так бесишься потому что все с java на go переходят, а в go ты ничего не смыслишь и никому не нужен, да?
     
     
  • 5.117, Павел (??), 21:19, 10/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На go? Люто проиграл с этого. Казалось, что на go переходят только php и python программисты. А теперь я узнал, что и джависты, которые не смогли осилить скалу.
     
  • 4.96, Аноним (-), 20:36, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А MongoDB вообще не работала.

    > new v1 replication protocol has multiple bugs, allowing data loss in all versions up to MongoDB 3.2.11 and 3.4.0-rc4

     
     
  • 5.100, лютый жабист__ (?), 10:11, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > А MongoDB вообще не работала.
    >> new v1 replication protocol has multiple bugs, allowing data loss in all versions up to MongoDB 3.2.11 and 3.4.0-rc4

    Ты правда такой или прикидываешься? Джепсены тестят момент переключения мастер-слейв. Подавляющее большинство субд его ФЭЙЛЯТ. И монга УЖЕ не фэйлит, а ваш слон стыдливо не заказывает тест. В пг вообще есть репликация-то? Судя по комментам какие-то внешние костыли. Так что не позорься уж

     
     
  • 6.108, Аноним (-), 01:04, 08/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А сам ты правда такой или прикидываешься? MongoDB фейлила, причём не раз и продолжит фейлить, потому что ошибки есть во всех программах.
     
  • 2.10, rshadow (ok), 19:19, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    LOL
     
  • 2.11, Michael Shigorin (ok), 19:49, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +12 +/
    > Хорошая субд для тех кому скорость не нужна
    >> жабист
     
  • 2.13, Аноним (-), 20:53, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Зависит от объема данных. Или вам больше по душе снежный ком MySQL?
     
     
  • 3.15, ACCA (ok), 21:06, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • –6 +/
    > Зависит от объема данных. Или вам больше по душе снежный ком MySQL?

    Нет, не зависит.

    Full table scan, 30 млрд. записей, 600-800 мсек. Нужно только думать головой.

     
     
  • 4.24, angra (ok), 02:15, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Если запись длиной хотя бы в 70 байт, то это три терабайта в секунду, что на четыре порядка превосходит максимальную скорость чтения ssd. То есть только для того, чтобы сделать проход по данным, нужно параллельное чтение с 10k ssd. Ну давай расскажи, как это преодолевается теми, кто думает головой.
     
     
  • 5.52, Мимо проходил (?), 10:24, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Может он на ram disk какой выгружает это барахло предварительно? Но durability будет шикарная, да.
     
     
  • 6.69, Аноним (-), 12:08, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    3 ТБ/с даже для оперативки овердохрена, не говоря уж о том, что прочитанные данные надо ещё как-то обработать.
     
     
  • 7.92, ыы (?), 19:46, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > 3 ТБ/с даже для оперативки овердохрена, не говоря уж о том, что
    > прочитанные данные надо ещё как-то обработать.

    Шардинг же... таблица раскидана на 100 серверов...

     
     
  • 8.121, ACCA (ok), 16:42, 12/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Об этом и речь - головой нужно думать, если у тебя есть нормальный инструмент i... текст свёрнут, показать
     
  • 3.27, iPony (?), 05:05, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Близко. Оракл же.
     
  • 2.14, ACCA (ok), 21:04, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    "Скорость" ты сравнивал по select count(*), полагаю?

    И не учитывал спец. сборки вроде Postgres XL, Netezza или GreenPlum.

     
     
  • 3.19, Andrey Mitrofanov (?), 22:38, 05/10/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > "Скорость" ты сравнивал по select count(*), полагаю?

    Это известный эксперт по замерам.

    Его линейка длинее!!!

    У него даже grep тормозит.  grep -F 'Карл!'

    > И не учитывал спец. сборки вроде Postgres XL, Netezza или GreenPlum.

    Ах! Оставьте.

     
     
  • 4.74, Andrey Mitrofanov (?), 12:23, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> "Скорость" ты сравнивал по select count(*), полагаю?
    > Это известный эксперт по замерам.
    > Его линейка длинее!!!
    > У него даже grep тормозит.  grep -F 'Карл!'

    Чорд! У него опять обострилось сравнения тёплого с мягким по дюймовой линейке, в #68 выше:

    "Я тестил, у Постгреса скорость раз в 10 ниже, чем у Монги на 1меговых объектах."

    #разувидеть   ..."на моих задачах" читать "на моём радиусе кривизны"

    > Ах! Оставьте.

     
  • 3.22, YetAnotherOnanym (ok), 00:51, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    XL или XC? А то Коичи там кучу проектов нафоркал, который настоящий - без поллитры не разберёшь.
     
     
  • 4.26, Гнилой Бутират и его Поле чудес (?), 03:06, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > XL или XC? А то Коичи там кучу проектов нафоркал, который настоящий
    > - без поллитры не разберёшь.

    Форка на форке, а в итоге толку ноль все сами себе буратины.

     
  • 3.37, лютый жабист__ (?), 08:07, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Моя основная рабочая база 1 3ТБ всего, монга прекрасно тянет и на одном сервере,... большой текст свёрнут, показать
     
     
  • 4.39, 1222 (?), 08:57, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не корректно сравнивать SQL и noSQL СУБД.
    Всё таки всё зависит от контекста использования. Можно микроскопом гвозди забивать, а можно и ломом коктейли мешать.
     
     
  • 5.70, Аноним (-), 12:10, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > можно и ломом коктейли мешать

    Ртутные коктейли урановым ломом?

     
     
  • 6.76, Аноним (-), 12:26, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> можно и ломом коктейли мешать
    > Ртутные коктейли урановым ломом?

    Железные же, всплывают!

     
  • 4.51, Бронтозавр (?), 10:13, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Мне вот просто интересно, откуда у вас такие базы по терабайту? Что вы в них храните, результаты экспериментов на БАКе?
    У GitLab размер базы около 310 гигов был на момент сбоя в январе. По GitHub информацию не нашел, но данные GitHubArchive за 2016 год весят 766 гигов ( https://bigquery.cloud.google.com/table/githubarchive:year.2016?tab=details ).
     
     
  • 5.57, лютый жабист__ (?), 11:12, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Мне вот просто интересно, откуда у вас такие базы по терабайту? Что
    > вы в них храните, результаты экспериментов на БАКе?

    Уровень экспертов опеннета налицо? 20-50ТБ это объём ERP-базки не самой большой по меркам планеты конторы. А БАКом генерят сотни терабайт в год.

    Не вижу смысла расписывать, что в этих 1.3ТБ.

     
     
  • 6.64, Andrey Mitrofanov (?), 11:50, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Мне вот просто интересно, откуда у вас такие базы по терабайту? Что
    >> вы в них храните, результаты экспериментов на БАКе?
    > Уровень экспертов опеннета налицо? 20-50ТБ это объём ERP-базки не самой большой по
    > меркам планеты конторы. А БАКом генерят сотни терабайт в год.

    '2007: "15 PetaBytes of new data each year stored"

    http://www-conf.slac.stanford.edu/xldb07/xldb_lhc.pdf
      <= https://duckduckgo.com/?q=LHC+CERN+database&t=ffab&ia=web

    "Since 2001 - RDBMS + files
    Idea of consistent storage of all data in databases was dropped
    Hybrid model
       • Bulk data in files (largely read-only)
       • Only key meta-data in RDBMS"

    "110 server nodes - RHEL 5, Oracle 10g"

    "Tomorrow
       - Petabyte flash-RAM and in-memory databases?"

    + '2008 http://www-conf.slac.stanford.edu/xldb08/slides/xldb2_cern_girone.pdf
    + '2009 http://openlab.cern/sites/openlab.web.cern.ch/files/presentations/Databases&#


    '2012 https://duckduckgo.com/?q=LHC+CERN+mongo
    ? В 2012-ом какую-то "мелочь" в mongo сложили.

    http://www.techrepublic.com/blog/european-technology/cern-where-the-big-bang- :
    ..."will generate some 22PB of data this year, and that's after throwing away 99 per cent of what is recorded by the LHC detectors."


    '2017: http://www.techrepublic.com/article/cern-we-generate-1pb-each-second-heres-wh

    "Cern: 'We generate 1PB each second."
    "While the bulk of this data is thrown away"...  //сколько пишут не сказали, вроде.

    > Не вижу смысла расписывать, что в этих 1.3ТБ.

     
  • 6.91, ыы (?), 19:34, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Уровень экспертов опеннета налицо?
    >20-50ТБ это объём ERP-базки не самой большой по меркам планеты конторы.

    Вы бы не могли назвать эту контору? а так же каким образом были получены вами сведения о размере упомянутой базы?

    >Не вижу смысла расписывать, что в этих 1.3ТБ.

    В зависимости от ответа выше - будет комментарий и сюда.

     
     
  • 7.99, лютый жабист__ (?), 10:06, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/

    >>20-50ТБ это объём ERP-базки не самой большой по меркам планеты конторы.
    > Вы бы не могли назвать эту контору? а так же каким образом
    > были получены вами сведения о размере упомянутой базы?

    Мусохранск-нефтегаз. Знаю, сколько стораджа сапёрам дали. Уже больше 20, хотя да, наверняка там 19.5тб архив порнухи занимает, а сама база 500. Ведь не бывает баз больше пресвятого гитхаба. Ггг

     
     
  • 8.106, ыы (?), 19:33, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И откуда такая уверенность что на этом сторадже лежит именно ERP база ... текст свёрнут, показать
     
  • 5.59, Да аноним (?), 11:39, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Надо понимать, что если в базе хранится что-нибудь специфическое, то что именно - это NDA (информация для служебного пользования)

    Про БАК и как они хранят данный можно послушать где-то здесь https://events.yandex.ru/events/ds/17-sept-2016/
    (Очень кратко: 99,9% данных сразу удаляется и не хранится)


    А если общими словами, то что такое 1TB:
    1) 700 полнометражных фильмов (в низком качестве)
    2) 500K музыкальных произведений (в низком качестве)
    3) Логи за 1 месяц среднего (или даже небольшого) сервиса
    Ну и много еще чего

     
     
  • 6.71, Andrey Mitrofanov (?), 12:13, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А если общими словами, то что такое 1TB:
    > 1) 700 полнометражных
    > 2) 500K музыкальных
    > 3) Логи за 1 месяц среднего

    15 PetaBytes =>

    "CD stack with 1 year LHC data! (~ 20 Km)"
      --стр.14 http://openlab.cern/sites/openlab.web.cern.ch/files/presentations/Databases&#

    +++"А во флоппы-дисках я значииительно длинееее."

     
  • 2.34, Агроном (?), 07:43, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >Хорошая субд для тех кому скорость не нужна

    Старый (очень) анекдот на эту тему.
    Спорят 2 программиста:
      - Уменя программа работает быстрее твоей в 10 раз
      - Зато моя работает правильно, а твоя нет

     
     
  • 3.38, лютый жабист__ (?), 08:21, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >Зато моя работает правильно, а твоя нет

    Самый смех в том, что Pg не только медленнее, ещё и работает неправильно. Я что-то в changelog Монги не помню ничего про потерю данных. А в Pg было и не раз.

    Кстати, как там в правильном Pg с репликацией, полноценный master-slave есть, само переключает? Ни одна acknowledged запись гарантированно не теряется? Или может master-master уже из коробки появился?

     
     
  • 4.41, лютый жабист__ (?), 09:03, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Интересное чтиво https habrahabr ru company southbridge blog 322624 Из эпичн... большой текст свёрнут, показать
     
  • 4.53, Мимо проходил (?), 10:30, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Переключалка через pacemaker отлично работает.
     
     
  • 5.55, лютый жабист__ (?), 11:06, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А без Shared Storage? А то так можно сказать что репликацию поддерживает и SQLite.
     
  • 4.79, anonymous (??), 12:47, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.youtube.com/watch?v=SNzOZKvFZ68
     
  • 4.84, OhBoyHereWeGo (?), 13:18, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    https://jira.mongodb.org/browse/SERVER-2237?jql=issuetype%20%3D%;20Bug%20AND%20text%20~%20%22data%20loss%22
     
     
  • 5.87, лютый жабист__ (?), 16:18, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > https://jira.mongodb.org/browse/SERVER-2237?jql=issuetype%20%3D%;20Bug%20AND%20text%20~%20%22data%20loss%22

    Huge data loss after altering files in dbpath on a running instance

    Это баг в мозге у одмина, зарепортившего такое. Давай уже не багтрекер, а реальный changelog с data loss.

    Ещё половина багов в репликации, что уже привели в идеал в 3.4, а в Слоне до сих пор ОТСУТСТВУЕТ вообще.

     
     
  • 6.94, Аноним (-), 20:33, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    https://aphyr.com/posts/322-jepsen-mongodb-stale-reads
     
  • 6.95, Аноним (-), 20:34, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    In this Jepsen analysis, we develop new tests which show the MongoDB v0 replication protocol is intrinsically unsafe, allowing the loss of majority-committed documents. In addition, we show that the new v1 replication protocol has multiple bugs, allowing data loss in all versions up to MongoDB 3.2.11 and 3.4.0-rc4. While the v0 protocol remains broken, patches for v1 are available in MongoDB 3.2.12 and 3.4.0, and now pass the expanded Jepsen test suite. This work was funded by MongoDB, and conducted in accordance with the Jepsen ethics policy.
     
  • 6.105, SunXE (ok), 18:03, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Да, с версии v3.4 наконец перестали самопроизвольно реплики вылетать в unrecoverable. До того, 2-3 раза в месяц приходилось перезаливать реплику из соседней.
     
  • 2.66, лютей лютого жабиста__ (?), 11:56, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Расскажи нам опять, что монга круче справиться ;)
     

  • 1.12, Catwoolfii (ok), 20:19, 05/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Презентация к релизу https://postgrespro.ru/media/2017/10/05/postgres-10-hse-2017.pdf
     
  • 1.16, Casm (??), 21:12, 05/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    На сайте пока не даёт выбрать 10 для загрузки.
    Для Centos 7 можно установить так:
    1. Устанавливаем PostgreSQL 10.X Yum Repository Configuration
    rpm -i https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-cen
    2. Устанавливаем сервер через yum:
    yum install postgresql10-contrib.x86_64 postgresql10-server.x86_64
     
  • 1.21, DRM (?), 00:41, 06/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    ClickHouse, RocksDB быстрее PgSQL дрянных хранилок
     
     
  • 2.23, KonstantinB (ok), 02:06, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ClickHouse - колоночная база.
    RocksDB - встраиваемая библиотека для key-value.

    Что значит "быстрее"-то?

    - Грузины лучше, чем армяне!
    - Чем?
    - Чем армяне!

     
     
  • 3.25, DRM (?), 02:55, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Thread pool из коробки тоже нету
     
  • 3.33, Агроном (?), 07:39, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >ClickHouse - колоночная база.

    Это где таблицы с инверсным хранением? Можно подобрать случаи, когда такой подход лучше, но в общем случае, в нормальной субд, мы находим запись с нужным значением поля и тут же все остальные поля нам доступны в памяти, потому что хранятся вместе. В инверсной бд для каждого значения нужно еще прогуляться , чтобы получить значение, что, понятно, будет медленее.

     
  • 2.31, Вареник (?), 07:27, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Таких имен тысячи. Узкоспециализированных продуктов под какой-то тип данных и тип хранения.
     
  • 2.42, Да аноним (?), 09:04, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    ClickHouse разве не append-only?
     
     
  • 3.63, PnD (??), 11:47, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Он ещё и не совсем ACID. Зато заточен под стат. расчёты по очень-очень "плотно" вливаемым данным. Возможно, ещё складывать некоторые логи подойдёт. Лично я к нему с интересом приглядываюсь (пока).
     

  • 1.61, Abu (?), 11:46, 06/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    =
    Декларативное партиционирование таблиц: разделяйте ваши данные с лёгкостью
    =

    Эх! Глядишь и на Zabbix'e жить станет попроще.

     
     
  • 2.72, Andrey Mitrofanov (?), 12:16, 06/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > =
    > Декларативное партиционирование таблиц: разделяйте ваши данные с лёгкостью
    > =
    > Эх! Глядишь и на Zabbix'e жить станет попроще.

    Тише-тише, не так скоро! Сначала с 8.3 надо слезьть.   //ну, с 9.1, ладно

     
     
  • 3.97, abu (?), 04:41, 07/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    все равно - чую приближение весны (:
     

  • 1.89, Штунц (?), 17:28, 06/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > В модуле file_fdw появилась возможность запуска внешних программ, например, можно импортировать данные в таблицу из сжатого файла, запустив gunzip для распаковки

    и использовать pgAdmin в качестве эмулятора терминала

     
  • 1.98, Аноним (-), 09:30, 07/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    https://www.youtube.com/watch?v=b2F-DItXtZs
     
  • 1.114, Аноним (-), 15:19, 09/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    "Комитом" унитазы моют. А БД -- транзакции ФИКСИРУЮТ.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру