The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra

22.01.2019 12:15

Представлен релиз СУБД ScyllaDB, позиционируемой как полностью совместимый аналог СУБД Apache Cassandra, переписанный с Java на C++ и демонстрирующий существенное увеличение производительности. Код проекта распространяется под лицензией AGPLv3.

По сравнению с оригинальной СУБД Apache Cassandra проект ScyllaDB обеспечивает увеличение скорости обработки запросов на каждом узле в 10 раз, в 99% случаев успевая обработать запрос менее чем за миллисекунду. Обработка большего числа запросов на одном узле позволяет существенно снизить затраты на кластер (при использовании AWS EC2 в 2.5 раз), в котором для достижения заданных характеристик потребуется на порядок меньше узлов, чем при создании кластера на основе классической СУБД Cassandra. Например, 4-узловой кластер на базе Scylla вполне справляется с нагрузкой для которой потребовалось бы развернуть 40-узловой кластер на базе Cassandra.

Одним из факторов, позволившим добиться высоких показателей производительности, является использование развиваемого теми же авторами C++ фреймворка Seastar, нацеленного на создание сложных серверных приложений, обрабатывающих запросы в асинхронном режиме. Seastar учитывает особенности современного оборудования, таких как распараллеливание на многоядерных системах, учёт попадания данных в процессорный кэш, оптимизация для накопителей SSD, прямой доступ к очереди пакетов на сетевой карте и полная утилизация пропускной способности 10/40-гигабитных сетевых карт.

Система построена на основе архитектуры shared-nothing, подразумевающей, что к каждому ядру CPU привязывается отдельный обособленный обработчик, которому выделена отдельная память (отсутствуют задержки из-за организации блокировок) и привязана отдельная очередь пакетов к сетевой карте. Каждый процесс-обработчик ScyllaDB включает в себя собственный оптимизирванный TCP/IP-стек, работающий в пространстве пользователя, прикреплённый к отдельному ядру CPU и напрямую взаимодействующий с сетевой картой.

Другие особенности ScyllaDB:

  • Поддержка работы в качестве прозрачной замены Apache Cassandra;
  • Возможность применения существующих клиентских драйверо от Apache Cassandra для подключения к ScyllaDB;
  • Поддержка модели хранения данных на базе семейства столбцов (ColumnFamily, хэши с несколькими уровнями вложенности);
  • Возможность использования SQL-подобного язык структурированных запросов CQL (Cassandra Query Language);
  • Исключение задержек при проведении упаковки и восстановления целостности БД;
  • Отсутствие сборщика мусора;
  • Возможность переконфигурации кластера (удаление/добавление узлов) без остановки работы;
  • Линейная масштабируемость, при которой производительность находится в прямой зависимости от числа процессорных ядер;
  • Наличие средств для пакетной загрузки и выгрузки больших объёмов данных из хранилищ Hadoop и Spark.


Выпуск СУБД ScyllaDB 3.0 по функциональности соответствует ветке Apache Cassandra 3 и примечателен следующими улучшениями:

  • Поддержка материализованных представлений, позволяющих сформировать виртуальную таблицу на основе произвольного CQL-запроса, содержимое которой не генерируется на лету как в обычных представлениях, а кэшируется между запросами в форме индекса;
  • Добавлена поддержка глобальных для всего кластера вторичных индексов (GSI, Global Secondary Indexes), реализованных через материализованные представления и позволяющих более эффективно индексировать запросы по ключам с агрегированием данных на одном узле;
  • Предложен новый формат хранения данных на диске, совместимый с Apache Cassandra 3.0 и требующий для хранения до 66% меньше места в хранилище по сравнению со старым форматом при активном использовании операций удаления записей. Применение нового формата отключено по умолчанию и может быть активировано через настройку "enable_sstables_mc_format";
  • Добавлен новый механизм хранения информации о репликах для сбойных узлов ("hinted handoff"), вместо одного файла system.hints хинты теперь записываются в отдельные файлы, в разрезе один файл на один узел и реплицированный поток;
  • Существенно улучшена работа операций полного (мульти-секционнного) сканирования БД, при которых данные перебираются без выборки по конкретному ключу;
  • Добавлена поддержка фильтрации сложных запросов с возвращением только подмножества результатов. Фильтрация производится на стороне сервера и позволяет существенно снизить размер передаваемых по сети данных между кластером и приложением;
  • Осуществлён переход на штатные утилиты Cassandra, включая nodetool, cassandra-stress и node_exporter 0.17;
  • Увеличена производительность потоковой отправки данных при добавлении нового узла или восстановлении после сбоя.


  1. Главная ссылка к новости (https://groups.google.com/foru...)
  2. OpenNews: CharybdeFS - ФС для тестирования устойчивости ПО к ошибкам ввода/вывода
  3. OpenNews: Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в 10 раз быстрее
  4. OpenNews: Выпуск документоориентированной СУБД Apache CouchDB 2.3.0
  5. OpenNews: Опасная уязвимость в Apache Cassandra
  6. OpenNews: Доступна СУБД Apache Cassandra 3.0
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/50005-cassandra
Ключевые слова: cassandra, scylla, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (69) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:48, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    > работающий в пространстве пользователя, прикреплённый к отдельному ядру CPU и напрямую взаимодействующий с сетевой картой.

    А так можно было? Я всегда думал что только из пространства ядра можно напрямую с периферией работать, в этом и есть одна из основных задач ядра.

     
     
  • 2.2, нах (?), 12:58, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • –4 +/
    можно, работай.

    только учти, что да, это одна из задач ядра, и оно ее решает достаточно хорошо, в большинстве случаев, это все же писали хорошие программисты, когда-то.

    Что там у этих оптимизаторов из сциллы - хз, как-то слабо верится, что получилось - хорошо.


     
     
  • 3.3, anonymous (??), 13:12, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    хорошие программисты всё равно не умеют ни нулевые накладные расходы на копирование в userspace и обратно, ни нулевые же накладные расходы на переключение контекста.
     
  • 3.8, erthink (ok), 13:39, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Что там у этих оптимизаторов из сциллы - хз, как-то слабо верится, что получилось - хорошо.

    Если говорить про zero-copy "из ядра", то там вся прозрачно/понято (Intel DPDK).
    Работает действительно просто:
    - выделяете кусок памяти в своем приложении.
    - через библиотеку просите класть такие-то пакеты в этот буфер (ioctl к драйверу).
    - драйвер сетевухи настраивает её так, что пакеты из сети сразу попадают в ваш буфер.
    - профит.

     
     
  • 4.13, нах (?), 15:17, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ну да, только результат этого зирокопирования надо разобрать обратно на байтики высокоуровневого протокола, не забыть низкоуровневым сгенерить ответы (ну ок, современная карта большую часть возьмет на себя, там оффлоад) и правильно обработать таймауты/потери (вот это она за тебя делать не будет). И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.

    насколько у авторов тазы банных получилось хорошо и тем более - надежно - вопрос, требующий отдельного изучения.

     
     
  • 5.18, erthink (ok), 15:47, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > ну да, только результат этого зирокопирования надо разобрать обратно на байтики высокоуровневого > протокола, не забыть низкоуровневым сгенерить ответы (ну ок, современная карта большую часть возьмет на себя, там оффлоад) и правильно обработать таймауты/потери (вот это она за тебя делать не будет).

    Действительно, очень проблемно/сложно через java-жoпy что-либо делать DPDK-автогеном :)

    > И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.

    Не нужно, в случае DPDK он не участвует в обработке потока данных.

    > насколько у авторов тазы банных получилось хорошо и тем более - надежно - вопрос, требующий отдельного изучения.

    нет, это "не вопрос" - работает, давно, и многократно быстрее.
    Очень хороший горчичник и butthurt-индикатор для жабистов :)
    Вот прям приятно.

     
     
  • 6.23, нах (?), 17:28, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.
    > Не нужно, в случае DPDK он не участвует в обработке потока данных.

    я и говорю - ты весь этот код (ну, во всяком случае, изрядную его часть) будешь переписывать - или, что более вероятно, оно будет работать только в локальной сеточке у разработчика, и на соседнем столе в лаборатории - а в других сетапах как-то иногда)

    > нет, это "не вопрос" - работает, давно, и многократно быстрее.

    есть у меня подозрение, что это не из-за привязки к cpu и обработки tcp в волшебной сиплюсплюсичке, а вопреки этому.

    ну просто потому что трудно поверить универсального спеца по базам данных, умеющего low level tcp - причем хорошо, а не абы как.

    Обычно это сильно разные ребята.

     
     
  • 7.24, erthink (ok), 18:05, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >>> И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.
    >> Не нужно, в случае DPDK он не участвует в обработке потока данных.
    > я и говорю - ты весь этот код (ну, во всяком случае,
    > изрядную его часть) будешь переписывать - или, что более вероятно, оно
    > будет работать только в локальной сеточке у разработчика, и на соседнем
    > столе в лаборатории - а в других сетапах как-то иногда)

    Ну переписывать я точно не буду, разве-что поправлю при необходимости, ибо чуток участвовал.

    Но начинать надо с RTFM, т.е. с понимания, что оно умеет и как работает в тех или иных случаях.
    Если уж совсем кратко, то http://seastar.io/networking/ позволяет выбрать между ядерным TCP и собственным упрощенным TCP-стеком (который дружит и с DPDK и с Virtio).
    //offtopic: Но в отличии моего 1Hippeus (сейчас заброшенного) не умеет эффективных очередей в разделяемой памяти (в пределах физического сервера, сквозь все слои виртуализации).

    Поэтому в теплично-контролируемых условиях одного датацентра, одной стойки с серверами или внутри одного VM-хоста, можно подключаться к ScyllaDB через DPDK и упрощенный TCP без участия ядра), а в остальных случаях через штатный TCP (со всеми фичами и плюшками).

    Грубо говоря, ничего не отнимается, а только добавляется.

    >> нет, это "не вопрос" - работает, давно, и многократно быстрее.
    > есть у меня подозрение, что это не из-за привязки к cpu и
    > обработки tcp в волшебной сиплюсплюсичке, а вопреки этому.

    А земля плоская?
    Если серьезно, то благодаря, но далеко не только этому.
    Главный тезис - просто не делать лишнего, т.е. избавить машину от ненужных фрикций.

    > ну просто потому что трудно поверить универсального спеца по базам данных, умеющего
    > low level tcp - причем хорошо, а не абы как.
    > Обычно это сильно разные ребята.

    Но не всегда ;)

     
  • 7.25, rshadow (ok), 18:06, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Обычно это сильно разные ребята.

    Движек БД пишут ребята которые как раз понимают low level. Иначе за это и браться не стоит.

     
     
  • 8.40, Dim (??), 01:16, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Движок Сциллы пишет команда которая, помимо прочего, написала OSv и KVM... текст свёрнут, показать
     
     
  • 9.43, нах (?), 10:24, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    да, я глянул - впечатлился Причем команда огромная, не полтора гика, такие и вп... текст свёрнут, показать
     
  • 2.16, Аноним (16), 15:39, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Я всегда думал что только из пространства ядра можно напрямую с периферией работать, в этом и есть одна из основных задач ядра.

    Это не то, что вы подумали, это использование SOCK_RAW. Получение через него фреймов Ethernet, а дальше разгребание заголовков уровней в пространстве процесса.

     

  • 1.5, Орк (?), 13:26, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    > Например, 4-узловой кластер на базе Scylla вполне справляется с нагрузкой для которой потребовалось бы развернуть 40-узловой кластер на базе Cassandra.
    > Промышленные решения на базе Cassandra, хранящие сотни терабайт данных, охватывающие сотни серверов и способные обрабатывать тысячи запросов в секунду, развернуты для обеспечения сервисов таких компаний и организаций, как Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Netflix, Sony, Rackspace, Reddit и Twitter.

    Это вы хотите сказать, что эти компании заигрывая с модными Java-решениями мешки с деньгами всё это время в датацентрах сжигали? И отвечать за это бы надо? Да не, бред какой-то!

     
     
  • 2.6, Аноним (6), 13:34, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Эти компании увеличивали капитализацию и цену акций. За счёт потребителя, разумеется.
     
  • 2.9, erthink (ok), 13:44, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Эти решения более обкатаны, а риски некоторых видов багов в них действительно ниже (для отдельных багов близко к нулю).
    Поэтому их проще использовать и продавать как сервис, и тут не важно что (на самом деле) они жрут в разы больше ресурсов.

    В целом, IMHO, дуэль Scylla vs Cassandra очень хорошо показывает соотношение возможностей С++ и Java.

     
     
  • 3.17, ДяДя (?), 15:46, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Seastar учитывает особенности современного оборудования, таких как распараллеливание на многоядерных системах, учёт попадания данных в процессорный кэш

    Дело не в платформе, а в дружбе с железом. Лондонская биржа отлично на Java работает (11 млн заявок в секунду на одном ядре). Просто дружат с железом. кучу наград имеют.
    https://martinfowler.com/articles/lmax.html
    https://en.wikipedia.org/wiki/LMAX_Exchange

     
     
  • 4.20, erthink (ok), 16:06, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >> Seastar учитывает особенности современного оборудования, таких как распараллеливание на многоядерных системах, учёт попадания данных в процессорный кэш
    > Дело не в платформе, а в дружбе с железом. Лондонская биржа отлично
    > на Java работает (11 млн заявок в секунду на одном ядре).
    > Просто дружат с железом. кучу наград имеют.
    > https://martinfowler.com/articles/lmax.html
    > https://en.wikipedia.org/wiki/LMAX_Exchange

    Ну я бы назвал это не "дружбой с железом", а просто "не делать лишнего".

    Однако, там довольно специфичный код.
    Грубо говоря, если присмотреться, то там почти нет ничего от java :)

    Все очереди - это кольцевые буферы, которые приклеенные через unsafe к массивам в java.
    У всех очередей один producer и один consumer, поэтому без блокировок.
    Поэтому вся нагруженная обработка "на java" - это чтение/запись и сложение/вычитание элементов массивов.
    Это на lua-JIT будет работать также быстро (и работает в tarantool).

    В итоге, с одной стороны, вроде-бы действительно написано на java.
    С другой стороны, половина кода написана для борьбы с java через unsafe.

    ---

    IMHO логично приравнять использование Java.Unsafe к C++ - тогда всё становится на свои места.

     
     
  • 5.21, ДяДя (?), 16:38, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Кольцевые буферы - это малая часть. Кстати, все наработки в открытом доступе.
    https://www.baeldung.com/lmax-disruptor-concurrency

    В счётчиках они боролись с false sharing и сделали выравнивание на 64 байта. Потом этот приём в Java вошел.

     
     
  • 6.36, RNZ (ok), 23:32, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Может оно и имеет низкие задержки, но наверняка под капотом и в ходе эксплуатации выяснится, что  ОЗУ надо в разы больше, что надо "греть" кеш, что периодически всё подтупливает на сборке мусора и и протухании кеша, что валится оно целиком при фаталити в треде и т.д. всё то, что присуще jvm-based серверам.
    Как и сказано ранее: Cassandra vs Scylla отличный горчичник.
     
     
  • 7.39, Dim (??), 01:10, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Может оно и имеет низкие задержки, но наверняка под капотом и в
    > ходе эксплуатации выяснится, что  ОЗУ надо в разы больше, что
    > надо "греть" кеш, что периодически всё подтупливает на сборке мусора и
    > и протухании кеша, что валится оно целиком при фаталити в треде
    > и т.д. всё то, что присуще jvm-based серверам.
    > Как и сказано ранее: Cassandra vs Scylla отличный горчичник.

    Kэш греть надо везде, кроме баз которые заведомо в памяти сидят. В 3.0 в Сцилле добавили такую фичу, и таблицы можно грузить в память заранее: https://docs.scylladb.com/using-scylla/in-memory/

     
     
  • 8.47, RNZ (ok), 12:50, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Нет Греть его надо только когда оно действительно нужно Обычно, на больших наб... текст свёрнут, показать
     
     
  • 9.49, Dim (??), 16:58, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Само собой, просто я говорил что в Сцилле нет никакой магии которая отменила бы ... текст свёрнут, показать
     
  • 2.11, Аноним (11), 13:50, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так они работали на том, что позволяло работать, и, вполне возможно, убедившись в работоспособности устоявшегося решения, некоторые из них, решили доплатить за отливку в C++
     
     
  • 3.14, Борщдрайвен бигдата (?), 15:23, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Всё правильно сделали?
     

  • 1.7, vitalif (ok), 13:36, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Как раз этот Seastar вроде хотят Ceph-еры себе на борт взять... правда хотят давно, а втащить пока не втащили, ну и код там получается в духе как в ноде на промисах - async/await на стороне языка-то нет
     
     
  • 2.33, Dim (??), 22:08, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    вроде как уже тащат, на Scylla Summit 2018 заявляли официально, показывали наработки
     
     
  • 3.38, RNZ (ok), 23:49, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > вроде как уже тащат, на Scylla Summit 2018 заявляли официально, показывали наработки

    Очень нужный шаг, тоже жду когда запилят. По идее это должно поднять Ceph выше ScaleIO, который прикарманила Dell.


     

  • 1.15, HatedLLVM (?), 15:32, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    >переписанный с Java на C++ и демонстрирующий существенное увеличение производительности. Код проекта распространяется под лицензией AGPLv3

    Ну уважуха же разработчикам.

     
  • 1.22, Аноним (22), 17:14, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Java тормозит? Да не, не может быть! Не верю! 😀
    Я что-то не понял откуда эти ребята внезапно появились. Кто у них спонсор? На чём хотят зарабатывать?
     
     
  • 2.26, rshadow (ok), 18:17, 22/01/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    https://www.scylladb.com/company/

    раздел Investors

     
  • 2.28, лютый жабист__ (?), 08:51, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Java тормозит? Да не, не может быть! Не верю!

    Ну в статье буквами помельче написано, что реально в пару-тройку раз быстрее.

    Главный вопрос: а вне AWS оно работает? AWS и прочие облака это несусветно дорого.

    Ну и Кассандру уже обкатали за столько лет, а си это гарантия медленной разработки и большего количества багов. Бизнесу выгоднее сидеть на лидере, пусть и переплачивая за железо. Увы и ах, когда же это наконец поймут борцуны с жабой?

     
     
  • 3.34, Dim (??), 22:09, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Отлично работает на железе и других платформах
     
  • 3.44, нах (?), 10:38, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Бизнесу выгоднее сидеть на лидере, пусть и переплачивая за железо.

    ага, а кто только что ныл "AWS дорого"? Намек - "в пару тройку раз быстрее" в переносе на AWS - "в пару-тройку раз дешевле".

    А за железо хорошо было переплачивать до осени 2008го, когда деньги были бесконечны. Сейчас, с учетом того, сколько надо платить за его обслуживание, электричество, место в стойках, стаю обезьян обслуживающих те стойки и системы в них, с учетом резервирования, в том числе географически разнесенного - что-то косо смотрят на идеи "давайте жрать втрое больше ресурсов".

    Смотри как бы тебе в КПИ не воткнули "не меньше 15% экономии" каждый год, не выполнишь - сиди без премии.

     
  • 2.29, Аноним (29), 11:56, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Эй, жирный тролляка, причем здесь ява, если основная причина выигрыша - в архите... большой текст свёрнут, показать
     
     
  • 3.30, Анонн (?), 13:39, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > основная причина выигрыша - в архитектурных ухищрениях? Ну там всякие работа напрямую с очередью пакетов сетки из юзерспейса (меньше переключений контекста), оптимизации под SSD, архитектура shared-nothing
    > (отсутствие необходимости блокировок и синхронизации доступа для конкурирущих обработчиков),
    > новый формат хранения данных, "требующий для хранения до 66% меньше места
    > в хранилище по сравнению со старым форматом" (ну то есть и
    > с диска данных можно меньше читать).

    Т.е. все дело в тех вещах, которые жабисты традиционно считают ненужным пережитком прошлого - ведь есть "write once, run everywhere!" и на которые забивают?
    Или то-то с ножом у горла не давал использовать более эффективные решения?

     
     
  • 4.31, erthink (ok), 15:09, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    И да и нет 1 По некоторым направлениям развитие Cassandra остановилась Наприм... большой текст свёрнут, показать
     
     
  • 5.37, RNZ (ok), 23:38, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Люто плюсую!
     
  • 5.41, лютый жабист__ (?), 06:26, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –4 +/
    >Например, уплотнение формата на диске.

    "Storage is the cheapest resource now" как-то так.

    >share nothing может быть реализован в java, но требует

    щито? ты вообще в курсе, что есть shared-nothing? Это архитектура узлов. Причём тут java не java?

    The Cassandra database is a shared-nothing architecture, as it has no central controller and no notion of master/slave

    >IMHO, в целом засовывать java-пальцы в high-performance розетку неудобно и дорого, а часто и больно и бесполезно.

    Теоретик-кукаретик? В реале кроме жабки в highload особо никого нет.

     
     
  • 6.42, Аноним (42), 10:09, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну, перепутал человек термины share nothing с zero copy. Зачем же его так сразу?
     
     
  • 7.45, лютый жабист__ (?), 12:25, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >перепутал человек термины

    Чувак перепутал всё, вклучая бредовые выводы, что жабы в хайлоаде нет

     
  • 6.48, erthink (ok), 13:03, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > "Storage is the cheapest resource now" как-то так.

    Причем тут относительная стоимость?
    Scylla генерирует меньше данных на дисках, вне зависимости от прочего это означает:
    - вдвое меньше оборудования и площадей (вдвое дешевле).
    - вдвое меньше электроэнергии и охлаждения (вдвое дешевле).
    - вдвое меньше IOPS, вдвое меньше объемов прокачки через шину/SAN и т.п.
    - вдвое большое отдачи от кэша внутри дисков и/или контроллера.
    - вдвое эффективнее кеширование файлов в памяти.
    - вдвое меньше вымывание кэша CPU.

    Короче, заявленный "аргумент" хорошо демонстрирует понимание жавистов.

    > щито? ты вообще в курсе, что есть shared-nothing? Это архитектура узлов. Причём тут java не java?

    Как я понимаю вы на википедию ориентируетесь )
    У этого термина несколько значений, в том числе http://seastar.io/shared-nothing/
    Короче, RTFM c поминками по java.

    >В реале кроме жабки в highload особо никого нет.

    Гора рожающая мышей )

    Термин highload загажен, увы, также как и одноименная конференция превратилась в Хайплоад.

    Сейчас highload != эффективность.
    Греть процессор можно на любом языке, а на java это можно делать еще и с умным видом.

     
     
  • 7.51, Dim (??), 17:04, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Scylla генерирует меньше данных на дисках, вне зависимости от прочего это означает:

    Scylla генерирует ровно столько же данных на диске. Она полностью совместима с SSTables ka/la/mc

    >  - вдвое меньше оборудования и площадей (вдвое дешевле).
    >  - вдвое меньше электроэнергии и охлаждения (вдвое дешевле).
    >  - вдвое меньше IOPS, вдвое меньше объемов прокачки через шину/SAN и
    > т.п.
    >  - вдвое большое отдачи от кэша внутри дисков и/или контроллера.
    >  - вдвое эффективнее кеширование файлов в памяти.
    >  - вдвое меньше вымывание кэша CPU.

    A вот это вполне себе точно. Недавно заменял кластер из 150 кассандр на 19 нод Сциллы, экономия, помимо железа, еще и на админах - их тоже надо меньше, когда парк серверов уменьшается


     
     
  • 8.52, лютый жабист__ (?), 17:56, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Ну, это глупости Если это единый кластер, то разницы для админа сколько нод нет... текст свёрнут, показать
     
     
  • 9.53, Dim (??), 17:59, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Какой смешной жабист Мне не надо ничего доказывать, достаточно просто посмотрет... текст свёрнут, показать
     
     
  • 10.55, лютый жабист__ (?), 08:57, 25/01/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    В качестве ответной любезности, скажу, что на одного такого втюхивателя Сциллы ... текст свёрнут, показать
     
     
  • 11.57, Dim (??), 17:51, 25/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Смешной жабист еще и гадает по юзерпикам Нет, не свалил Штатные админы идут ко... текст свёрнут, показать
     
     
  • 12.58, лютый жабист__ (?), 15:38, 26/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Только наоборот, нщеброды берут Сциллу, т к огого железа надо в 10 раз меньше ... текст свёрнут, показать
     
     
  • 13.59, Dim (??), 19:48, 26/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ладно, я расскажу корпорации из fortune 100 какие они нщеброды ... текст свёрнут, показать
     
     
  • 14.60, лютый жабист__ (?), 05:14, 28/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Втюхиватели Сцыллы даже наврать убедительно не могут ... текст свёрнут, показать
     
     
  • 15.61, Dim (??), 17:29, 28/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    И где вранье Я и без цитат из википедии знаю что такое fortune 100 ... текст свёрнут, показать
     
     
  • 16.62, лютый жабист__ (?), 11:33, 29/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Видимо, не знаешь Переведу тебе, не благодари fortune 100 это список жирных _п... текст свёрнут, показать
     
     
  • 17.63, Dim (??), 17:09, 29/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Очень интересно, с чего ты взял что хоть одна из фирм fortune 100 не имеет своег... текст свёрнут, показать
     
     
  • 18.64, лютый жабист__ (?), 06:24, 30/01/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Интересно, с чего ты взял, что далеких от ИТ означает не имеет своего IT Се... текст свёрнут, показать
     
     
  • 19.66, Dim (??), 17:09, 31/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ты не только лютый жабист но еще и лютый расист, да Чем тебе индусы не угодили ... текст свёрнут, показать
     
  • 18.65, лютый жабист__ (?), 06:40, 30/01/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Кстати, сии индусы пишут что Кассандра крутилась на 75 нодах i3 2xl , Сциллу пер... текст свёрнут, показать
     
     
  • 19.67, Dim (??), 17:16, 31/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    ух ты, ты уже выучил арифметику теперь покажи мне хоть одного директора ИТ кото... текст свёрнут, показать
     
     
  • 20.68, лютый жабист__ (?), 08:39, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, примерно 100 ИТ-директоров, у которых сейчас крутится Кассандра У теб... текст свёрнут, показать
     
  • 21.70, Dim (??), 17:06, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    начинаем друг друга понимать, это хорошо Не факт, содержание собственного пар... текст свёрнут, показать
     
  • 20.69, лютый жабист__ (?), 09:28, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, кто гарантирует, что этому индусу изначально не втюхивали ваше Сцилла В... текст свёрнут, показать
     
  • 21.71, Dim (??), 17:09, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    У него были все возможности все проверить и принять решение Думаю у директора И... текст свёрнут, показать
     
  • 22.72, лютый жабист__ (?), 20:28, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    ок, поборол лень, зашёл на aws 75 x i3 2xl 18270 в месяц 15 x i3 8xl 27406 в... текст свёрнут, показать
     
  • 23.73, Dim (??), 21:04, 01/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ты бы невежество свое поборол 75 i3 2xl стоит 34257 75 в месяц ... текст свёрнут, показать
     
  • 24.74, лютый жабист__ (?), 11:31, 02/02/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то, я в первую очередь показываю на порядок цен 30килобаксов в месяц это... текст свёрнут, показать
     
  • 8.54, erthink (ok), 22:34, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Виноват У меня наложилась смешалась разница между SST 2 0 3 0 и локальные собст... текст свёрнут, показать
     
  • 6.50, Dim (??), 17:00, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > "Storage is the cheapest resource now" как-то так.

    Slow storage is the cheapest resource now

    //fixed.

    NVMe которые реально ускоряют базу (те же i3 на амазоне например) стоят очень немалых денег

     
  • 4.56, Аноним (29), 11:01, 25/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Т.е. все дело в тех вещах, которые жабисты традиционно считают ненужным пережитком прошлого

    Еще раз, для не понявших. Дело не в жабистах. Дело в программистах на любых языках, которые не понимают, что важнее структура данных/алгоритмы/архитектура проектируемой системы/выбор вычислительной платформы, чем выбранный ими язык программирования (кроме клинических случаев выбора самых неадекватных (брэйнфак-like) языков, к которым ява не относится). И да, жабисты, как и программисты на других языках, тоже в широком спектре делятся на умных и не очень, которые забивают на важные вещи.

     

  • 1.27, anonymous (??), 19:08, 22/01/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Хотет!

    Есть кластер Кассандр, есть некоторые затыки производительности, очень интересно взглянуть, как оно ведет себя под нагрузкой в 100K обращений.

     
     
  • 2.35, Dim (??), 22:10, 23/01/2019 [^] [^^] [^^^] [ответить]  
  • +/
    100к это мелочь. Заходи в слак, там помогут
     
  • 2.46, лютый жабист__ (?), 12:27, 24/01/2019 [^] [^^] [^^^] [ответить]  
  • –3 +/
    :))) 100k можно в 1 instance Mongo лить... полагаю, что с такими рученьками как у вас, и сцылла не поможет.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру