Организация Apache Software Foundation представила релиз распределённой СУБД Apache Cassandra 4.0, относящейся к классу noSQL-систем и рассчитанной на создание высокомасштабируемых и надёжных хранилищ огромных массивов данных, хранимых в форме ассоциативного массива (хэша). Выпуск Cassandra 4.0 признан готовым для рабочих внедрений и уже протестирован в инфраструктурах компаний Amazon, Apple, DataStax, Instaclustr, iland и Netflix c кластерами, насчитывающими более 1000 узлов. Код проекта написан на языке Java и распространяется в рамках лицензии Apache 2.0...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=55561
Нужно
ну вот, а вы говорили: могильник, могильник.
Can anything good come out of Facebook?
zstd, PyTorch, React
So, nothing.
Есть scylladb. А cassandra - спасибо за проектирование и прототипирование - теперь можно отправлять в /dev/null.
Дьявол в деталях. Scylladb не совместима на 100 % с Cassandra 3.x, что приводит к тому, что нельзя свопнуть одно решение в другое.
Scylladb - это продаваны аля Qt, либо пиши код для их экосистемы бесплатно (AGPL) либо покупай у них лицензию. А у Cassandra Apache License 2.0, то есть одна лицензия и реальная возможность использовать в любых целях и не платить разрабам. Так что Scylladb скорее конкурент Mongodb с её лицензионными изысками, чем Кассандре
Что-бы мелешь AGPL не запрещает продавать, распространять, модифицировать и т.д. Единственное отличие от GPL - обязанность предоставить код своих изменений, даже если не распространяешь, а только выполняешь на своём железе и предоставляешь доступ к программе по сети.И ключевое отличие от Cassandra в том, что ScyllaDB раз в 30-40 производительнее - и там где нужно 50 хостов Cassandra, достаточно 3-5 хостов ScyllaDB. А теперь возьми калькулятор сравни TCO для 50 и 5 хостов.
А можно пример чего-нибудь продаваемого с AGPL? В стиме, gog, play store, appstore, хоть где-нибудь? Я изо всех сил хочу поверить в gpl-лицензии, но единственный публичный коммерческий опыт, о котором я знаю - это ситуация с busybox, когда free software foundation отсудили кучу денег за использование (GPL) busybox у какого-то производителя телевизоров, при том что сам автор busybox был против этого. Теперь он пишет toybox под нормальной лицензией.Ввиду вышеописанной ситуации вижу GPL как патент и free software foundation как патентных троллей. Нормальный открытый код не должен накладывать ограничения и обязанности, не должен запрещать мне ставить любую лицензию на мой код, в который я добавил открытый код как зависимость. Не должен создавать потенциальную опасность что на меня подадут в суд и обанкротят\посадят за использование открытого кода.
В поисковиках забанили? "Хоть где-нибудь": Aerospike, VoltDB, SugarCRM, OTRS. https://en.wikipedia.org/wiki/Category:Software_using_the_GN...Хочется тебе верить или не хочется - всем до лампочки. А факт в том, что GPL давно и везде. Например у Sony полно продуктов с GPL https://oss.sony.net/Products/Linux/common/search.html
И FSF не патентный тролль, изучи вопрос прежде чем лапшу вешать, FSF никогда не подаёт исков сразу, не пытается взыскать бабло сразу, в отличии от троллей, а сначала всегда пытается побудить соблюдать условия лицензии, посылая письма, давая время на решение и предлагая варианты решений.
И с busybox ты тоже исказил всё. Роб Лэндли - автор toybox не являлся создателем busybox (автор Брюс Перенс), Роб этаких хитрец, который что-бы продвинуть свой toybox над которым возобновил работу после диалога с Тимом Бердом (из Sony), но при этом всё ещё работая над busybox, иницировал судебные процессы от busybox, что-бы показать что лицензия busybox неудобна корпорастам и им надо-бы перейти на toybox и делал он это не через FSF, а через Software Freedom Conservancy, в конце-концов продвинув свой вариант на базе BSD-лицензии. А корпорастам да BSD-лицензии удобнее.
>Есть scylladb.Она как бы есть, но даже поставить её целое приключение, по крайней мере было, с регистрацией и принятием позы подчинения.
Прими таблетку после анабиоза:sudo wget -O /etc/apt/sources.list.d/scylla.list http://downloads.scylladb.com/deb/debian/scylla-4.4-$(lsb_release -c -s).list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 5e08fbd8b5d6ec9c
sudo apt-get update
sudo apt-get install -y scylla
> Прими таблетку после анабиоза:
> sudo wget -O /etc/apt/sources.list.d/scylla.list http://downloads.scylladb.com/deb/debian/scylla-4.4-$(lsb_release
> -c -s).list
> sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 5e08fbd8b5d6ec9c
> sudo apt-get update
> sudo apt-get install -y scyllaУже хорошо. И в конфигурации сциллы никаких апи ключей ненужной вставлять?
А это:
https://github.com/scylladb/scylla/issues/2118
Всёравно выглядит как шутка.
Укол тоже сделай, а-то побочка от анабиоза ещё не закончилась:curl http://downloads.scylladb.com/downloads/scylla/relocatable/s... -o scylla-unified-package-4.4.tar.gz
tar xvfz scylla-unified-package-4.4.tar.gz
sh -x ./install.sh --nonroot --python3 ~/scylladb/python3/bin/python3
~/scylladb/sbin/scylla_setup
systemctl --user start scylla-server
Вы понимаете, сейчас всё стало лучше и собака больше на людей не бросается, но осадочек остался, это называется опыт.
Опыт очень важен, его нужно использовать.
Тот кто не умеет учиться на своих ошибках - обречён.
Вот и распредели теперь свои новые очки опыта на:
1) предварительный фактчекинг
2) думать до высказываний
>а в Netflix - более 100 кластров, охватывающих 10 тысяч узлов и обрабатывающих более триллиона запросов в день.Адаптация от Netflix опять всё испортила
Везде негров напихали?
>Прекращена поддержка платформы Windows.Зима близко...
Так вот почему microsoft свои дистрибутивы делает
Кому пришло в голову делать поддержку оффтопика? Не понятно какую цель они преследовали.
Это для тех кто ставил венду на мак.
EEE говорили они.
Кто-то зачем-то еще пользуется этим?
>Apple, Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Huawei, Netflix, Sony, Rackspace, Reddit и Twitter
Кто все эти люди и зачем они этим пользуются?
старые полумертвые легаси конторы (кроме хуавей)
Судя по интернетам они вообще всем пользуются.
NoSQL здорового человека, а не вот эти все ваши монги шмонги.
>NoSQL здорового человекааналитика типичного опеннетика. у меня всё на монге, касю всё пытался приткнуть, очень нишевая хрень, нормальным человеком не востребованная...
Погугли "cassandra day russia". Найдешь отличные доклады от DataStax на русском. Там подробно рассказывают, что это, зачем, как пользоваться (создавать модель данных, чтобы ничего не тормозило).Кассандра - распределенная база, которая не тормозит. Если у тебя начнет тормозить - либо у тебя неправильная схема данных, либо ты стал размером с FaceBook (и не то чтобы у тебя данных слишком много для Кассандры, а скорее паттерны доступа слишком разные и не понятно, как для них создать схему).
>Кассандра - распределенная база, которая не тормозит. Если у тебя начнет тормозить - либо у тебя неправильная схема данных, либо ты стал размеромНасколько я помню, там всё не так просто. Вернее совсем не так просто.
У неё вроде проблемы с модификацией данных, да и пишет она их в принципе весьма неспешно.
И если еще не попасть размерами в её блоки, то совсем могила ад и израиль.Если я конечно ничего не путаю.
Ну и предназначается она для больших объёмов данных.
Говорят полезно, но я ещё не встречал задачу которую нельзя решить Мирией или Постгри.
>Насколько я помню, там всё не так просто. Вернее совсем не так просто.Как и с любой субд.
>У неё вроде проблемы с модификацией данных,
какие?!!
>да и пишет она их в принципе весьма неспешно.
Как раз на write она обгоняет все, что можно, так как у нее есть схема (в отличии он монги) и она распределенная с контролируемой целостностью (в отличии от монги и hbase).
>И если еще не попасть размерами в её блоки, то совсем могила ад и израиль.
в какой субд вы попадаете в блоки? )))
>Если я конечно ничего не путаю.
есть немного.
>Ну и предназначается она для больших объёмов данных.
Скорее для не связанных (в CASSANDRA НЕТ ОТНОШЕНИЙ).
Хранить транзакции, показания датчиков, маршруты, результаты вычислений(вот у нам приходится миллиарды хранить) - очень удобно.
Также хороший пример - каталоги с работой 24/7 - высокая надежность - это основной плюс Cassandra.>Говорят полезно, но я ещё не встречал задачу которую нельзя решить Мирией или Постгри.
Как ты на запись будешь масштабировать postgres?
Как сделаешь кросс датацентровую репликацию с нужным количеством избыточности?
Нет под PG решений из коробки, и если нет времени написание глупостей своими руками - cassandra, пока лучше решение.
>Как ты на запись будешь масштабировать postgres?Ну, давайте с другого конца подойдём.
Что у вас за поток данных ключ-значение в 40-100 Гигабит/с ?>Как сделаешь кросс датацентровую репликацию с нужным количеством избыточности?
Вот кстати, Кассандра вроде не гарантирует консистентности при записи, а если гарантирует то страшным тормозом становится. Поправьте если я опять напутал.
>>Как ты на запись будешь масштабировать postgres?
>Ну, давайте с другого конца подойдём.
>Что у вас за поток данных ключ-значение в 40-100 Гигабит/с ?Элементарно - запрос списка фоточек с инстаграма от пользователей со всего мира. Или выдача предпочтений всем пользователям всего мира в Нетфликсе. Все это надо геораспределять и разносить. Традиционная СУБД сдохнет сразу же.
>>Как сделаешь кросс датацентровую репликацию с нужным количеством избыточности?
>Вот кстати, Кассандра вроде не гарантирует консистентности при записи, а если гарантирует то страшным тормозом становится. Поправьте если я опять напутал.Как попросишь, такую консистенцию и получишь. Но в любом случае, запись - самая быстрая операция, ты передаешь данные, локальный координатор, к которому ты подключился, принял запись, раскидал реплики по replication factor и все - данные приняты и сохранены. Дальше тебя как клиента вообще не волнует, как оно там дальше по репликам и датацентрам разлетится.
>Элементарно - запрос списка фоточек с инстаграма от пользователей со всего мира.Речь шла о потоке на запись.
И фоточки это не ключ-значение. Это файлы.
Метаданные фоточек другое дело.
Ну, а какая разница? Разверни поток на запись, будет то же самое - неблокирующие сохранение списка предпочтений на каждого пользователя, сохранение фотоальбомов и прочее. Бинарные данные типа фоток в Кассандре не хранят, если смотреть на историю Instagram, они кидают фотку в свой CDN, а в базе хранят мастер-ссылку на этот CDN.
>Как и с любой субд.Ну тогда:
ЛюбаяБД - такая то база, которая не тормозит. Если у тебя начнет тормозить - либо у тебя неправильная схема данных, либо ты стал размером с FaceBook (и не то чтобы у тебя данных слишком много для ЛюбаяБД, а скорее паттерны доступа слишком разные и не понятно, как для них создать схему).
Все не так, все неверно.>У неё вроде проблемы с модификацией данных, да и пишет она их в принципе весьма неспешно.
Запись в Cassandra - самая быстрая операция из всех возможных. Тебе не нужно читать данные, если ты хочешь записывать.
>И если еще не попасть размерами в её блоки, то совсем могила ад и израиль.
О чем ты вообще, какие блоки?
>О чем ты вообще, какие блоки?Там тонкости размеров секций на которые бьются индексы или что-то такое.
Такого понятия как блоки/секции в Cassandra не существует, а значит, нет проблемы. Если ты имел в виду распределение токенов, то эту проблему решили в дремучей 2.x, перекинув все на виртуальные токены, которые распределяются равномерно по дата-центру.
> Такого понятия как блоки/секции в Cassandra не существует, а значит, нет проблемы.
> Если ты имел в виду распределение токенов, то эту проблему решили
> в дремучей 2.x, перекинув все на виртуальные токены, которые распределяются равномерно
> по дата-центру.Вам виднее что там есть, я помню смутно примерно что-то такое связанное с какими-то секциями блоками их раскидыванием по дискам/кластерам и производительностью.
Может попозже попробую нагуглить что я там читал на этот счёт.
Погуглил...Мусорные конторы + сам мусорный Апач этим мертвым поделием пользуются.
> Например, развёрнутая компанией Apple инфраструктура хранения на базе Apache Cassandra насчитывает более тысячи кластеров, включающих 160 тысяч узлов и хранящих более 100 петабайт данных.Яровой стоит поучиться у цивилизованных людей.
Чему? Дань собирать?
При чём тут дань? Очевидно, речь о том, как правильно следить за пользователями (и своевременно информировать компетентные органы о потенциальных врагах свободы).
Этой шопокляк стоило вообще не рождаться.
Можно подумать, не нашлось бы другой говорящей головы.
Какое смузихлёбное и сладкое: "относящейся к классу noSQL-систем"Но при этом: "CQL offers a model similar to SQL. The data is stored in tables containing rows of columns. For that reason, when used in this document, these terms (tables, rows and columns) have the same definition that they have in SQL."
То есть те же таблицы, ряды, запросы аля "SELECT name, occupation FROM users WHERE userid IN (199, 200, 207);" но нет же. Трансгендерный рынок любит NoSQL, значит для маркетинга нужно втулить этот базворд :)))
https://www.tutorialspoint.com/cassandra/cassandra_introduct...:
"Apache Cassandra is a highly scalable, high-performance distributed database designed to handle large amounts of data across many commodity servers, providing high availability with no single point of failure. It is a type of NoSQL database. Let us first understand what a NoSQL database does.NoSQLDatabase
A NoSQL database (sometimes called as Not Only SQL) is a database that provides a mechanism to store and retrieve data other than the tabular relations used in relational databases. These databases are schema-free, support easy replication, have simple API, eventually consistent, and can handle huge amounts of data.The primary objective of a NoSQL database is to have
simplicity of design,
horizontal scaling, and
finer control over availability.
NoSql databases use different data structures compared to relational databases. It makes some operations faster in NoSQL. The suitability of a given NoSQL database depends on the problem it must solve."
SQL - это Structured Query Language, а не вид баз данных, например, реляционныe. Так что термин NoSQL - чистой воды маркетинг в данном случае. Правильно было бы вместо NoSQL использовать какой нибудь NoRDBMS или NonRel, следуя из их объяснения.
А то получается, что мы НеНегры, но Негры.
Язык SQL создан для запросов к реляционным бдВ целом говоря SQL подразумеваем РСУБД, если не обращать внимания на расширения SQL для работы с XML
И что? Как хотят, так и ведут маркетинг. Обоснование они своё обозначили, а то как тебе хочется, что-бы они обозначили - твоё личное дело.
Но вообще маркетинг "Not only SQL" очень даже годный для ScyllaDB, которая помимо CQL, поддерживает REST API, DynamoDB API и с некоторых пор часть команд Redis.
"These databases are schema-free"И тут же: Defining Database Schema https://cassandra.apache.org/doc/latest/cassandra/data_model...
Это в Cassandra, а в ScyllaDB:Data Definition
CQL stores data in tables, whose schema defines the layout of said data in the table, and those tables are grouped in keyspaces. A keyspace defines a number of options that apply to all the tables it contains, most prominently of which is the replication strategy used by the keyspace.https://docs.scylladb.com/getting-started/ddl/
keyspace != database
~\_(-_-)_/~
> То есть те же таблицы, ряды, запросы аля "SELECT name, occupation FROM users WHERE userid IN (199, 200, 207);" но нет же. Трансгендерный рынок любит NoSQL, значит для маркетинга нужно втулить этот базворд :)))Удачи найти там BEGIN TRANSACTION
Заметьте, ни одного индуса в топ менеджерах. Мелкомягким и Adobe стоило бы поучиться
Ну и кто тут говорил, что Java тормозит?
jvm - тормозит
Тормозит из-за JIT и нечего с этим не поделаешь разве что выключить GC тем самым превратив Java в C++ с нескучным синтаксисом
>Тормозит из-за JITиз-за неправильной настройки GC и не самых прямых рук.
Вот пистон который порой в 40 раз медленнее не тормозит? )))>и нечего с этим не поделаешь разве что выключить GC тем самым превратив Java в C++ с нескучным синтаксисом
можно использовать GraalVM и это будет с точки зрения execution скорее GO чем C++
И к C++ можно прикрутить GC... это к слову что родовые травмы Java без костылей не исправить
GraalVM и его Native Image не костыль, это и есть оракловская Джава
GraalVM есть в дефолтном OpenJDK или только в тюнингованной платной OracleJDK?Другой вопрос AoT давно уже есть в том же Go, но он один фиг вчистую сливает тому же C++ по скорости и потреблению памяти
В чем смысл этих извращений? Чудес не бывает, что JIT что AoT юзают GC разница только в том что jit это байткод, а aot это машинный код по целевую платформу, но один фиг с тем же GC
>GraalVM есть в дефолтном OpenJDK или только в тюнингованной платной OracleJDK?GraalVM - это не openjdk и не oracle jdk. Оно само по себе.
>В чем смысл этих извращений?
В чем смысл писать не заглянув хотя бы в google?
Java не может тормозить, это язык. А вот JVM - лютый капролит.
>JVM - лютый капролит- перепиши на Rust, а если Ваш смузи уже прокис, то на Go
"СУБД Cassandra объединяет в себе полностью распределённую hash-систему Dynamo, обеспечивающую практически линейную масштабируемость при увеличении объёма данных."А что с AWS DynamoDB? Это однофамилец, тот же принцип работы, или вообще не в кассу?
Там интересная история:
- Amazon выпустила бумагу про Dynamo - распределённую хэш-таблицу,
- потом сделала DynamoDB, которая логически выглядит как распределённая хэш-таблица,
- но реализация DynamoDB вовсе не Dynamo, а вполне себе «шардированный кластер репликасетов с Paxos».
Т.е. по сути, современная MongoDB гораздо ближе к DynamoDB в вопросе организации распределенности, чем Cassandra.
А вот S3, если мне память не изменяет, как раз сделана в виде Dynamo. Но могу ошибаться.