The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

22.01.2019 12:15  Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra

Представлен релиз СУБД ScyllaDB, позиционируемой как полностью совместимый аналог СУБД Apache Cassandra, переписанный с Java на C++ и демонстрирующий существенное увеличение производительности. Код проекта распространяется под лицензией AGPLv3.

По сравнению с оригинальной СУБД Apache Cassandra проект ScyllaDB обеспечивает увеличение скорости обработки запросов на каждом узле в 10 раз, в 99% случаев успевая обработать запрос менее чем за миллисекунду. Обработка большего числа запросов на одном узле позволяет существенно снизить затраты на кластер (при использовании AWS EC2 в 2.5 раз), в котором для достижения заданных характеристик потребуется на порядок меньше узлов, чем при создании кластера на основе классической СУБД Cassandra. Например, 4-узловой кластер на базе Scylla вполне справляется с нагрузкой для которой потребовалось бы развернуть 40-узловой кластер на базе Cassandra.

Одним из факторов, позволившим добиться высоких показателей производительности, является использование развиваемого теми же авторами C++ фреймворка Seastar, нацеленного на создание сложных серверных приложений, обрабатывающих запросы в асинхронном режиме. Seastar учитывает особенности современного оборудования, таких как распараллеливание на многоядерных системах, учёт попадания данных в процессорный кэш, оптимизация для накопителей SSD, прямой доступ к очереди пакетов на сетевой карте и полная утилизация пропускной способности 10/40-гигабитных сетевых карт.

Система построена на основе архитектуры shared-nothing, подразумевающей, что к каждому ядру CPU привязывается отдельный обособленный обработчик, которому выделена отдельная память (отсутствуют задержки из-за организации блокировок) и привязана отдельная очередь пакетов к сетевой карте. Каждый процесс-обработчик ScyllaDB включает в себя собственный оптимизирванный TCP/IP-стек, работающий в пространстве пользователя, прикреплённый к отдельному ядру CPU и напрямую взаимодействующий с сетевой картой.

Другие особенности ScyllaDB:

  • Поддержка работы в качестве прозрачной замены Apache Cassandra;
  • Возможность применения существующих клиентских драйверо от Apache Cassandra для подключения к ScyllaDB;
  • Поддержка модели хранения данных на базе семейства столбцов (ColumnFamily, хэши с несколькими уровнями вложенности);
  • Возможность использования SQL-подобного язык структурированных запросов CQL (Cassandra Query Language);
  • Исключение задержек при проведении упаковки и восстановления целостности БД;
  • Отсутствие сборщика мусора;
  • Возможность переконфигурации кластера (удаление/добавление узлов) без остановки работы;
  • Линейная масштабируемость, при которой производительность находится в прямой зависимости от числа процессорных ядер;
  • Наличие средств для пакетной загрузки и выгрузки больших объёмов данных из хранилищ Hadoop и Spark.


Выпуск СУБД ScyllaDB 3.0 по функциональности соответствует ветке Apache Cassandra 3 и примечателен следующими улучшениями:

  • Поддержка материализованных представлений, позволяющих сформировать виртуальную таблицу на основе произвольного CQL-запроса, содержимое которой не генерируется на лету как в обычных представлениях, а кэшируется между запросами в форме индекса;
  • Добавлена поддержка глобальных для всего кластера вторичных индексов (GSI, Global Secondary Indexes), реализованных через материализованные представления и позволяющих более эффективно индексировать запросы по ключам с агрегированием данных на одном узле;
  • Предложен новый формат хранения данных на диске, совместимый с Apache Cassandra 3.0 и требующий для хранения до 66% меньше места в хранилище по сравнению со старым форматом при активном использовании операций удаления записей. Применение нового формата отключено по умолчанию и может быть активировано через настройку "enable_sstables_mc_format";
  • Добавлен новый механизм хранения информации о репликах для сбойных узлов ("hinted handoff"), вместо одного файла system.hints хинты теперь записываются в отдельные файлы, в разрезе один файл на один узел и реплицированный поток;
  • Существенно улучшена работа операций полного (мульти-секционнного) сканирования БД, при которых данные перебираются без выборки по конкретному ключу;
  • Добавлена поддержка фильтрации сложных запросов с возвращением только подмножества результатов. Фильтрация производится на стороне сервера и позволяет существенно снизить размер передаваемых по сети данных между кластером и приложением;
  • Осуществлён переход на штатные утилиты Cassandra, включая nodetool, cassandra-stress и node_exporter 0.17;
  • Увеличена производительность потоковой отправки данных при добавлении нового узла или восстановлении после сбоя.


  1. Главная ссылка к новости (https://groups.google.com/foru...)
  2. OpenNews: CharybdeFS - ФС для тестирования устойчивости ПО к ошибкам ввода/вывода
  3. OpenNews: Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в 10 раз быстрее
  4. OpenNews: Выпуск документоориентированной СУБД Apache CouchDB 2.3.0
  5. OpenNews: Опасная уязвимость в Apache Cassandra
  6. OpenNews: Доступна СУБД Apache Cassandra 3.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: cassandra, scylla, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (1), 12:48, 22/01/2019 [ответить] [показать ветку] [···]     [к модератору]
  • –3 +/
    А так можно было Я всегда думал что только из пространства ядра можно напрямую ... весь текст скрыт [показать]
     
     
  • 2.2, нах (?), 12:58, 22/01/2019 [^] [ответить]     [к модератору]  
  • –4 +/
    можно, работай только учти, что да, это одна из задач ядра, и оно ее решает дос... весь текст скрыт [показать]
     
     
  • 3.3, anonymous (??), 13:12, 22/01/2019 [^] [ответить]    [к модератору]  
  • –3 +/
    хорошие программисты всё равно не умеют ни нулевые накладные расходы на копирование в userspace и обратно, ни нулевые же накладные расходы на переключение контекста.
     
  • 3.8, erthink (ok), 13:39, 22/01/2019 [^] [ответить]     [к модератору]  
  • +4 +/
    Если говорить про zero-copy из ядра , то там вся прозрачно понято Intel DPDK ... весь текст скрыт [показать]
     
     
  • 4.13, нах (?), 15:17, 22/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    ну да, только результат этого зирокопирования надо разобрать обратно на байтики ... весь текст скрыт [показать]
     
     
  • 5.18, erthink (ok), 15:47, 22/01/2019 [^] [ответить]     [к модератору]  
  • +5 +/
    Действительно, очень проблемно сложно через java-жoпy что-либо делать DPDK-автог... весь текст скрыт [показать]
     
     
  • 6.23, нах (?), 17:28, 22/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    я и говорю - ты весь этот код ну, во всяком случае, изрядную его часть будешь ... весь текст скрыт [показать]
     
     
  • 7.24, erthink (ok), 18:05, 22/01/2019 [^] [ответить]     [к модератору]  
  • +3 +/
    Ну переписывать я точно не буду, разве-что поправлю при необходимости, ибо чуток... весь текст скрыт [показать]
     
  • 7.25, rshadow (ok), 18:06, 22/01/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    > Обычно это сильно разные ребята.

    Движек БД пишут ребята которые как раз понимают low level. Иначе за это и браться не стоит.

     
     
  • 8.40, Dim (??), 01:16, 24/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Движок Сциллы пишет команда которая, помимо прочего, написала OSv и KVM... весь текст скрыт [показать]
     
     
  • 9.43, нах (?), 10:24, 24/01/2019 [^] [ответить]    [к модератору]  
  • –1 +/
    да, я глянул - впечатлился. Причем команда огромная, не полтора гика, такие и впрямь напишут работающее.

    Потом их, конечно, купит IBM, но мы успеем порадоваться счастью.

     
  • 2.16, Аноним (16), 15:39, 22/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Это не то, что вы подумали, это использование SOCK_RAW Получение через него фре... весь текст скрыт [показать]
     
  • 1.5, Орк (?), 13:26, 22/01/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +6 +/
    > Например, 4-узловой кластер на базе Scylla вполне справляется с нагрузкой для которой потребовалось бы развернуть 40-узловой кластер на базе Cassandra.
    > Промышленные решения на базе Cassandra, хранящие сотни терабайт данных, охватывающие сотни серверов и способные обрабатывать тысячи запросов в секунду, развернуты для обеспечения сервисов таких компаний и организаций, как Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Netflix, Sony, Rackspace, Reddit и Twitter.

    Это вы хотите сказать, что эти компании заигрывая с модными Java-решениями мешки с деньгами всё это время в датацентрах сжигали? И отвечать за это бы надо? Да не, бред какой-то!

     
     
  • 2.6, Аноним (6), 13:34, 22/01/2019 [^] [ответить]    [к модератору]  
  • +4 +/
    Эти компании увеличивали капитализацию и цену акций. За счёт потребителя, разумеется.
     
  • 2.9, erthink (ok), 13:44, 22/01/2019 [^] [ответить]     [к модератору]  
  • +2 +/
    Эти решения более обкатаны, а риски некоторых видов багов в них действительно ни... весь текст скрыт [показать]
     
     
  • 3.17, ДяДя (?), 15:46, 22/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Дело не в платформе, а в дружбе с железом Лондонская биржа отлично на Java рабо... весь текст скрыт [показать]
     
     
  • 4.20, erthink (ok), 16:06, 22/01/2019 [^] [ответить]     [к модератору]  
  • +3 +/
    Ну я бы назвал это не дружбой с железом , а просто не делать лишнего Однако,... весь текст скрыт [показать]
     
     
  • 5.21, ДяДя (?), 16:38, 22/01/2019 [^] [ответить]     [к модератору]  
  • +2 +/
    Кольцевые буферы - это малая часть Кстати, все наработки в открытом доступе ht... весь текст скрыт [показать]
     
     
  • 6.36, RNZ (ok), 23:32, 23/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Может оно и имеет низкие задержки, но наверняка под капотом и в ходе эксплуатаци... весь текст скрыт [показать]
     
     
  • 7.39, Dim (??), 01:10, 24/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Kэш греть надо везде, кроме баз которые заведомо в памяти сидят В 3 0 в Сцилле ... весь текст скрыт [показать]
     
     
  • 8.47, RNZ (ok), 12:50, 24/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Нет Греть его надо только когда оно действительно нужно Обычно, на больших наб... весь текст скрыт [показать]
     
     
  • 9.49, Dim (??), 16:58, 24/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Само собой, просто я говорил что в Сцилле нет никакой магии которая отменила бы ... весь текст скрыт [показать]
     
  • 2.11, Аноним (11), 13:50, 22/01/2019 [^] [ответить]    [к модератору]  
  • +/
    Ну так они работали на том, что позволяло работать, и, вполне возможно, убедившись в работоспособности устоявшегося решения, некоторые из них, решили доплатить за отливку в C++
     
     
  • 3.14, Борщдрайвен бигдата (?), 15:23, 22/01/2019 [^] [ответить]    [к модератору]  
  • +/
    Всё правильно сделали?
     
  • 1.7, vitalif (ok), 13:36, 22/01/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Как раз этот Seastar вроде хотят Ceph-еры себе на борт взять... правда хотят давно, а втащить пока не втащили, ну и код там получается в духе как в ноде на промисах - async/await на стороне языка-то нет
     
     
  • 2.33, Dim (??), 22:08, 23/01/2019 [^] [ответить]    [к модератору]  
  • +/
    вроде как уже тащат, на Scylla Summit 2018 заявляли официально, показывали наработки
     
     
  • 3.38, RNZ (ok), 23:49, 23/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Очень нужный шаг, тоже жду когда запилят По идее это должно поднять Ceph выше S... весь текст скрыт [показать]
     
  • 1.15, HatedLLVM (?), 15:32, 22/01/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    >переписанный с Java на C++ и демонстрирующий существенное увеличение производительности. Код проекта распространяется под лицензией AGPLv3

    Ну уважуха же разработчикам.

     
  • 1.22, Аноним (22), 17:14, 22/01/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • –3 +/
    Java тормозит? Да не, не может быть! Не верю! 😀
    Я что-то не понял откуда эти ребята внезапно появились. Кто у них спонсор? На чём хотят зарабатывать?
     
     
  • 2.26, rshadow (ok), 18:17, 22/01/2019 [^] [ответить]    [к модератору]  
  • +4 +/
    https://www.scylladb.com/company/

    раздел Investors

     
  • 2.28, лютый жабист__ (?), 08:51, 23/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Ну в статье буквами помельче написано, что реально в пару-тройку раз быстрее Г... весь текст скрыт [показать]
     
     
  • 3.34, Dim (??), 22:09, 23/01/2019 [^] [ответить]    [к модератору]  
  • +/
    Отлично работает на железе и других платформах
     
  • 3.44, нах (?), 10:38, 24/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    ага, а кто только что ныл AWS дорого Намек - в пару тройку раз быстрее в пе... весь текст скрыт [показать]
     
  • 2.29, Аноним (29), 11:56, 23/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Эй, жирный тролляка, причем здесь ява, если основная причина выигрыша - в архите... весь текст скрыт [показать]
     
     
  • 3.30, Анонн (?), 13:39, 23/01/2019 [^] [ответить]     [к модератору]  
  • +1 +/
    Т е все дело в тех вещах, которые жабисты традиционно считают ненужным пережитк... весь текст скрыт [показать]
     
     
  • 4.31, erthink (ok), 15:09, 23/01/2019 [^] [ответить]     [к модератору]  
  • +2 +/
    И да и нет 1 По некоторым направлениям развитие Cassandra остановилась Наприм... весь текст скрыт [показать]
     
     
  • 5.37, RNZ (ok), 23:38, 23/01/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    Люто плюсую!
     
  • 5.41, лютый жабист__ (?), 06:26, 24/01/2019 [^] [ответить]     [к модератору]  
  • –4 +/
    Storage is the cheapest resource now как-то так щито ты вообще в курсе, что ... весь текст скрыт [показать]
     
     
  • 6.42, Аноним (42), 10:09, 24/01/2019 [^] [ответить]    [к модератору]  
  • –2 +/
    Ну, перепутал человек термины share nothing с zero copy. Зачем же его так сразу?
     
     
  • 7.45, лютый жабист__ (?), 12:25, 24/01/2019 [^] [ответить]    [к модератору]  
  • –3 +/
    >перепутал человек термины

    Чувак перепутал всё, вклучая бредовые выводы, что жабы в хайлоаде нет

     
  • 6.48, erthink (ok), 13:03, 24/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Причем тут относительная стоимость Scylla генерирует меньше данных на дисках, в... весь текст скрыт [показать]
     
     
  • 7.51, Dim (??), 17:04, 24/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Scylla генерирует ровно столько же данных на диске Она полностью совместима с S... весь текст скрыт [показать]
     
     
  • 8.52, лютый жабист__ (?), 17:56, 24/01/2019 [^] [ответить]     [к модератору]  
  • –3 +/
    Ну, это глупости Если это единый кластер, то разницы для админа сколько нод нет... весь текст скрыт [показать]
     
     
  • 9.53, Dim (??), 17:59, 24/01/2019 [^] [ответить]     [к модератору]  
  • +2 +/
    Какой смешной жабист Мне не надо ничего доказывать, достаточно просто посмотрет... весь текст скрыт [показать]
     
     
  • 10.55, лютый жабист__ (?), 08:57, 25/01/2019 [^] [ответить]     [к модератору]  
  • –2 +/
    В качестве ответной любезности, скажу, что на одного такого втюхивателя Сциллы ... весь текст скрыт [показать]
     
     
  • 11.57, Dim (??), 17:51, 25/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Смешной жабист еще и гадает по юзерпикам Нет, не свалил Штатные админы идут ко... весь текст скрыт [показать]
     
     
  • 12.58, лютый жабист__ (?), 15:38, 26/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Только наоборот, нщеброды берут Сциллу, т к огого железа надо в 10 раз меньше ... весь текст скрыт [показать]
     
     
  • 13.59, Dim (??), 19:48, 26/01/2019 [^] [ответить]    [к модератору]  
  • +/
    > Только наоборот, нщеброды берут Сциллу, т.к. огого железа надо в 10 раз
    > меньше.

    Ладно, я расскажу корпорации из fortune 100 какие они нщеброды :)


     
     
  • 14.60, лютый жабист__ (?), 05:14, 28/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Втюхиватели Сцыллы даже наврать убедительно не могут ... весь текст скрыт [показать]
     
     
  • 15.61, Dim (??), 17:29, 28/01/2019 [^] [ответить]     [к модератору]  
  • +/
    И где вранье Я и без цитат из википедии знаю что такое fortune 100 ... весь текст скрыт [показать]
     
     
  • 16.62, лютый жабист__ (?), 11:33, 29/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Видимо, не знаешь Переведу тебе, не благодари fortune 100 это список жирных _п... весь текст скрыт [показать]
     
     
  • 17.63, Dim (??), 17:09, 29/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Очень интересно, с чего ты взял что хоть одна из фирм fortune 100 не имеет своег... весь текст скрыт [показать]
     
     
  • 18.64, лютый жабист__ (?), 06:24, 30/01/2019 [^] [ответить]     [к модератору]  
  • –1 +/
    Интересно, с чего ты взял, что далеких от ИТ означает не имеет своего IT Се... весь текст скрыт [показать]
     
     
  • 19.66, Dim (??), 17:09, 31/01/2019 [^] [ответить]    [к модератору]  
  • +/
    > Сей невнятный индус с видюшки на должности ИТ директора GE подтверждает мое
    > мнение, что ИТ там либо на аутсорсе, либо в плачевном состоянии
    > с минимальными бюджетами.

    Ты не только лютый жабист но еще и лютый расист, да? Чем тебе индусы не угодили? CEO Microsoft тоже индус, или ты думаешь что и его аутсорсят?


    > В ИТ компаниях компетенции повыше и там почему-то
    > от жабы никто не бежит, смотри хотя бы соседнюю новость про
    > хадуп. Сама GE может быть жирной компанией, а ИТ у них
    > при этом может быть в положении бедного родственника.

    GE мониторит самую большую в мире сеть IoT, миллионы сенсоров постоянно пишуших в базу. Может быть они не чисто софтовая контора, но в ИТ есть более чем одно направление, и если ты этого не можешь понять то тебе надо идти доделывать уроки.

    Я не говорил что надо бежать от жабы, я говорил что не надо ее использовать под такими нагрузками. Для высокоуровневых языков есть свою ниша, и движок для базы данных - не она.

     
  • 18.65, лютый жабист__ (?), 06:40, 30/01/2019 [^] [ответить]    [к модератору]  
  • +1 +/
    Кстати, сии индусы пишут что Кассандра крутилась на 75 нодах i3.2xl , Сциллу перенесли в 15 i3.8xl

    Смотрим:
    i3.2xl это 8core 61GB RAM
    i3.8xl это 32core 244GB RAM

    впариватели сцыллы ну такие впариватели...

    сухой остаток на следующем слайде: reduced cluster footprint by 60%

     
     
  • 19.67, Dim (??), 17:16, 31/01/2019 [^] [ответить]    [к модератору]  
  • +/
    > сухой остаток на следующем слайде: reduced cluster footprint by 60%

    ух ты, ты уже выучил арифметику!

    теперь покажи мне хоть одного директора ИТ который не будет рад сократить расходы на железо у его обслуживание на 60%.

    Если ты хочешь увидеть сравнение с показанными 1000% разницы, то они есть на сайт Сциллы. Никакого вранья, все воспроизводимо, как воспроизвести четко указано.
    Но если бы ты хотя бы немного разбирался в вопросе, ты бы знал что точные результаты зависят от нагрузки, и подобранные, абсолютно честные 10х в демке не означают гарантированные 10х в 100% реальных случаев. Где-то будет лучше, где-то хуже.

    Даже в самом не оптимальном случае, Сцилла в разы лучше справляется с нагрузкой, просто потому что она написана на языке позволяющем максимально приблизить ее к железу, без лишнего оверхеда. GE это кстати показали - переехали на более мощные инстансы и не потеряли при этом производительность. Кассандра не способна масштабироваться линейно при увеличении железных ресурсов, как и любая другая поделка зависящая от JVM. A Сцилле дашь больше памяти и процессоров - она станет еще быстрее. И чем мощнее железо тем мощнее база.

     
     
  • 20.68, лютый жабист__ (?), 08:39, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >теперь покажи мне хоть одного директора ИТ который не будет рад сократить расходы на железо у его обслуживание на 60%.

    Ну, примерно 100% ИТ-директоров, у которых сейчас крутится Кассандра. :)))

    У тебя неправильные представления о приоритетах ИТ-директора.
    Этот индус мог бы выкинуть AWS и получить ещё 60% удешевления.
    В целом, ИТ директора и даже члены СД очень часто делают абсолютно тупейшие оптимизации, которые потом долго аукаются или даже приводят к "конторокапец".

    >И чем мощнее железо тем мощнее база.

    Да, да, знаю, си не течёт. И мусор собирать не надо, надо просто раз в день ноду перезапускать. systemd в помощь :))) Знаю много ПОПУЛЯРНЫХ поделок на си (навроде редиса), которые вообще не масштабируются. Так же полно прожек на жабке, которые спокойно работают с кучами 32++ГБ.

    Итого, Сцилла это достаточно иллюзорный буст за вполне неиллюзорный риск, связанный с тем, что это небезопасный язык.

     
  • 21.70, Dim (??), 17:06, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Ну, примерно 100% ИТ-директоров, у которых сейчас крутится Кассандра. :)))

    начинаем друг друга понимать, это хорошо :)

    > У тебя неправильные представления о приоритетах ИТ-директора.
    > Этот индус мог бы выкинуть AWS и получить ещё 60% удешевления.

    Не факт, содержание собственного парка железа, тем более такого же как эти i3, не дешевое удовольствие.

    > В целом, ИТ директора и даже члены СД очень часто делают абсолютно
    > тупейшие оптимизации, которые потом долго аукаются или даже приводят к "конторокапец".

    окей, я даже уверен что ты сможешь найти примеры (я тоже смогу). Означает ли это что в данном случае он сделал тупой выбор? Очень сомневаюсь, так как знаком с внутренней кухней этой фирмы.

    > Да, да, знаю, си не течёт. И мусор собирать не надо, надо
    > просто раз в день ноду перезапускать. systemd в помощь :))) Знаю
    > много ПОПУЛЯРНЫХ поделок на си (навроде редиса), которые вообще не масштабируются.
    > Так же полно прожек на жабке, которые спокойно работают с кучами
    > 32++ГБ.

    Хех, в этом вся прелесть Сциллы - они взяли очень хороший дизайн базы (Кассандра на самом деле близка к идеалу для своего юз кейса) и написали этот же продукт. Плюс несколько оптимизаций которые Кассандра наверное попытается догнать в четвертой версии (shard per core и вот это все).

    > Итого, Сцилла это достаточно иллюзорный буст за вполне неиллюзорный риск, связанный с
    > тем, что это небезопасный язык.

    Ускорение и сокращение парка серверов в РАЗЫ это иллюзорно?

     
  • 20.69, лютый жабист__ (?), 09:28, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >теперь покажи мне хоть одного директора ИТ который не будет рад сократить расходы на железо у его обслуживание на 60%

    Кстати, кто гарантирует, что этому индусу изначально не втюхивали ваше "Сцилла В РАЗЫ лучше справляется с нагрузкой"?

    Любые миграции и телодвижения стоят денег. Даже drop-in replacement надо "развернуть рядом" и некоторое время погонять одновременно. Потом сравнивать результаты. Всё это не бесплатно.
    А потом бац - в сухом остатке "reduced cluster footprint by 60%".
    Возможно вообще тут больше стоимость саппорта влияет, а не затраты на кластер.
    И что там будет дальше? Если вылезет какая фатальная проблема? Прокукарекать об успехе можно громко, а сваливают обычно молча.

     
  • 21.71, Dim (??), 17:09, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    > Кстати, кто гарантирует, что этому индусу изначально не втюхивали ваше "Сцилла В
    > РАЗЫ лучше справляется с нагрузкой"?

    У него были все возможности все проверить и принять решение. Думаю у директора ИТ в такой фирме есть все возможности и ресурсы для того чтоб принять верное решение.

    > Любые миграции и телодвижения стоят денег. Даже drop-in replacement надо "развернуть рядом"
    > и некоторое время погонять одновременно. Потом сравнивать результаты. Всё это не
    > бесплатно.
    > А потом бац - в сухом остатке "reduced cluster footprint by 60%".

    В сухом остатке - более чем в два раза меньше хостов, масштабирование которое намного легче, и нормальная поддержка продукта (саппорт DSE знаменит тем насколько там все плохо). Тебе это кажется ничем?


    > Возможно вообще тут больше стоимость саппорта влияет, а не затраты на кластер.
    >
    > И что там будет дальше? Если вылезет какая фатальная проблема? Прокукарекать об
    > успехе можно громко, а сваливают обычно молча.

    Кластер уже давно в рабочем режиме под массивной нагрузкой. Если будут проблемы - с  ними справятся. Думаешь с Кассандрой проблем не было и не бывает?

     
  • 22.72, лютый жабист__ (?), 20:28, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >В сухом остатке - более чем в два раза меньше хостов, масштабирование которое намного легче

    ок, поборол лень, зашёл на aws.
    75 x i3.2xl $18270 в месяц
    15 x i3.8xl $27406 в месяц

    не вижу смысла обсуждать с тобой сию шарашкину контору GE.

     
  • 23.73, Dim (??), 21:04, 01/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >>В сухом остатке - более чем в два раза меньше хостов, масштабирование которое намного легче
    > ок, поборол лень, зашёл на aws.
    > 75 x i3.2xl $18270 в месяц
    > 15 x i3.8xl $27406 в месяц
    > не вижу смысла обсуждать с тобой сию шарашкину контору GE.

    Ты бы невежество свое поборол. 75 i3.2xl стоит 34257.75 в месяц

     
  • 24.74, лютый жабист__ (?), 11:31, 02/02/2019 [^] [ответить]    [к модератору]  
  • +/
    >Ты бы невежество свое поборол.

    Вообще-то, я в первую очередь показываю на порядок цен. 30килобаксов в месяц это зарплата пары негров в штатах. И сомневаюсь, что GE покупали 75 инстансов on demand.

    Ну и 34k vs 27k как 60% выхлопа получили?
    Где ваши "в разы рвёт", клованы?

     
  • 8.54, erthink (ok), 22:34, 24/01/2019 [^] [ответить]    [к модератору]  
  • +/
    > > Scylla генерирует меньше данных на дисках, вне зависимости от прочего это означает:
    > Scylla генерирует ровно столько же данных на диске. Она полностью совместима с SSTables ka/la/mc

    Виноват. У меня наложилась/смешалась разница между SST 2.0/3.0 и локальные собственные экспериментальные доработки у знакомого.

     
  • 6.50, Dim (??), 17:00, 24/01/2019 [^] [ответить]    [к модератору]  
  • +/
    > "Storage is the cheapest resource now" как-то так.

    Slow storage is the cheapest resource now

    //fixed.

    NVMe которые реально ускоряют базу (те же i3 на амазоне например) стоят очень немалых денег

     
  • 4.56, Аноним (29), 11:01, 25/01/2019 [^] [ответить]     [к модератору]  
  • +/
    Еще раз, для не понявших Дело не в жабистах Дело в программистах на любых язык... весь текст скрыт [показать]
     
  • 1.27, anonymous (??), 19:08, 22/01/2019 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Хотет!

    Есть кластер Кассандр, есть некоторые затыки производительности, очень интересно взглянуть, как оно ведет себя под нагрузкой в 100K обращений.

     
     
  • 2.35, Dim (??), 22:10, 23/01/2019 [^] [ответить]    [к модератору]  
  • +/
    100к это мелочь. Заходи в слак, там помогут
     
  • 2.46, лютый жабист__ (?), 12:27, 24/01/2019 [^] [ответить]    [к модератору]  
  • –3 +/
    :))) 100k можно в 1 instance Mongo лить... полагаю, что с такими рученьками как у вас, и сцылла не поможет.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2019 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor