The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Компания Bloomberg открыла код распределённой СУБД Comdb2"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от opennews (ok) on 10-Июн-17, 11:43 
Компания Bloomberg перевела СУБД Comdb2 (https://bloomberg.github.io/comdb2/) в разряд открытых проектов. Comdb2 относится к категории реляционных кластерных СУБД, позволяющих развернуть БД поверх нескольких узлов кластера и обеспечивающих высокий уровень отказоустойчивости и производительности. Ключевой задачей Comdb2 является предоставление простой и надёжной распределённой системы, позволяющей обратиться к данным или внести изменение, подключившись к любому узлу, и получить автоматическую синхронизацию изменений на всех остальных узлах кластера, в том числе территориально разделённых. Разработка СУБД Comdb2 ведётся компанией Bloomberg c 2004 года. Код написан на языке Си и распространяется (https://github.com/bloomberg/comdb2) под лицензией Apache 2.0.


Comdb2 предоставляет достаточно простую и ясную логику организации работы кластера: достаточно запустить Comdb2 на одном узле, создать БД и определить в настройках (простой файл со списком хостов) на каких ещё узлах обеспечить хранение данной БД. После чего можно запустить дополнительные узлы, при помощи команды copycomdb2 перенести на них данные  и включить их в распределённое хранилище. В дальнейшем, для взаимодействия с БД можно обращаться к любому из узлов кластера, при этом изменения будут реплицированы на остальные узлы.


Узлы могут группироваться и связываться с другими группами узлов, размещённых в других центрах обработки данных. В каждой группе узлов автоматически выбирается главный узел репликации, который берёт на себя функции распределения потоков данных для синхронизации состояния остальных узлов. Репликация по умолчанию выполнятся в синхронном режиме, т.е. до получения подтверждения, что все узлы получили изменения, транзакция не закрывается, но если операция INSERT успешно завершена, то изменения сразу становятся видны для запросов в любых частях кластера.

Для обеспечения непротиворечивости изменения данных в   Comdb2 применяется (https://bloomberg.github.io/comdb2/transaction_model.html) техника обеспечения параллелизма OCC (Optimistic Concurrency Control (https://en.wikipedia.org/wiki/Optimistic_concurrency_control)), предоставляющая несколько уровней изоляции транзакций, включая снапшоты и сериализируемые транзакции. Транзакции, осуществляющие чтение и запись данных, могут выполняться на всех узлах, при этом клиентская библиотека обеспечивает свободу выбора узла для подключения (клиент подключается к ближайшему доступному узлу, а в случае проблем может в прозрачном режиме переподключиться к другому узлу).

Comdb2 обеспечивает гарантированную целостность и высокую доступность данных, но ценой ограниченной масштабируемости при выполнении операций записи (Comdb2 практически линейно масштабируется на чтение, но скорость выполнения операций записи сильно зависит от числа узлов).  Тесты производительности демонстрируют для 6-узлового кластера способность обработать около 2000 операций записи в секунду и 2 млн операций чтения в секунду.


Comdb2 поддерживает диалект языка SQL очень похожий (https://bloomberg.github.io/comdb2/sql.html) на SQLite так как для разбора и планирования запросов применяются оригинальные парсер и планировщик от проекта SQLite. На дисковом уровне данные таблиц хранятся в сильно модифицированном представлении BerkeleyDB 4.2. Возможно создание хранимых процедур на языке Lua. Помимо реляционной модели доступа к данным СУБД также поддерживает и модель "публикация/подписка" (publish/subscribe), которая может комбинироваться с триггерами.

URL: https://news.ycombinator.com/item?id=14526052
Новость: https://www.opennet.ru/opennews/art.shtml?num=46679

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –6 +/
Сообщение от кверти (ok) on 10-Июн-17, 11:43 
Подытожим, компания создала sqlite кластер.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +2 +/
Сообщение от Аноним (??) on 10-Июн-17, 11:46 
Нет, но некоторые части уже явно надо менять. Например BerkeleyDB на RocksDB
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

33. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +7 +/
Сообщение от funny.falcon on 11-Июн-17, 12:43 
Да ты что! Вот так новость прочитал, и сразу понял, что нужно менять!

А бедные программисты одной из крупнейших компаний мира, имеющие опыт разработки в десятки лет, в том числе разработки этой самой базы данных (которая разрабатывается с начала 2000х) - они, несчастные, не догадываются :-(

ИМ СРОЧНО НУЖЕН ТЫ!!!

Сейчас же иди, и потряси их на собеседовании! Пусть сразу тебе отдельный кабинет на вершине небоскреба в центре Лондона выделяют.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

46. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +5 +/
Сообщение от Аноним (??) on 11-Июн-17, 22:01 
>> Да ты что! Вот так новость прочитал, и сразу понял, что нужно менять!

не приходит в голову, что потому и открыли, что проекту 13 лет?

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

54. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от adolfus (ok) on 12-Июн-17, 15:10 
RocksDB уже умеет secondary databases?
Чтобы быть базой данных, а не только называться, нужно хотя бы уметь:
-- индексы (secondary indices, secondary databases);
-- мультифайловые транзакцииб.
Поэтому RocksDB такая же субд, как и токийский шкаф, т.е. это не субд. Это просто хеш-таблицы.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

55. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +4 +/
Сообщение от Аноним (??) on 12-Июн-17, 16:16 
>> Чтобы быть базой данных, а не только называться, нужно хотя бы уметь:

по теории СУБД-строения - нет. Этот список не требуется. СУБД обязана предоставить доступ на чтение/запись и обеспечить целостность. Остальное - кто что придумает.

>> Поэтому RocksDB такая же субд, как и токийский шкаф, т.е. это не субд. Это просто хеш-таблицы.

В курсе что такое BerkeleyDB?

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

23. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от kleem_head on 11-Июн-17, 02:40 
> компания создала sqlite кластер.

Господа, я идею заберу, ни кто не против?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

32. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +6 +/
Сообщение от Аноним (??) on 11-Июн-17, 10:31 
Только верни, когда наиграешься.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

38. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –2 +/
Сообщение от нах on 11-Июн-17, 14:09 
>> компания создала sqlite кластер.
> Господа, я идею заберу, ни кто не против?

бери, бери - только сделай уже нормально. В 2004м году возможно у гениев блумберга были какие-то основания использовать насквозь гнилую и кривую bdb (причем в самом кризисном моменте ее существования) вместо native sqlite хранилища, но сейчас это выглядит совершеннейшим идиотизмом.

Собственно, по этой причине даже и неинтересно брать смотреть, что они там сделали. (вторая - что раз они с 2004 года держали эту штуку для себя, а сегодня ВНЕЗАПНО выкинули в паблик - это означает ровно то, что они больше ее либо не используют, либо не используют в критичных местах, либо у них поувольнялись все, кто мог ее поддерживать и теперь они рассчитывают на халяву (но все же, полагаю,они не настолько наивны)

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

3. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +6 +/
Сообщение от Crazy Alex (ok) on 10-Июн-17, 14:45 
В кои-то веки реляционка с тривиально разворачиваемым кластером, реально работающая в продакшне и без своего странного диалекта? По-моему отлично. Лучше могла бы быть только копилефт лицензия, но уж этого он ынтырпрайзов точно не дождёшься, к сожалению.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +8 +/
Сообщение от Аноним (??) on 10-Июн-17, 15:35 
> c 2004 года. Код написан на языке Си

Просто этот проект еще из "той" эпохи когда интернет был истинно свободным и программист был программистом.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –2 +/
Сообщение от Аноним (??) on 10-Июн-17, 18:54 
...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать вундервафли, просто за это не платят. Если есть возможность обойтись толпой веб-макак, докупив железа - так и сделают, потому что быстрее.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от ананим.orig on 10-Июн-17, 19:53 
>...трава зеленее и далее по списку. Сишникам никто и сейчас не мешает писать

Предлагаешь поднять таки пенсионный возраст?
А у молодежи на жаба-скрипте и субд соответствующие.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

31. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Аноним (??) on 11-Июн-17, 09:34 
Не совсем понял как связан пенсионный возраст с засильем веб-макак. Какие предпосылки есть к тому, что заказчик побежит массово переписывать всё обратно на си?

Ну разве что EROI оставшейся нефти/газа поднимется выше единицы лет через 30, тогда может и задумаются об эффективности использования железа.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

39. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 14:25 
> Не совсем понял как связан пенсионный возраст с засильем веб-макак.

Ну а я то откуда знаю что вы там не совсем понимаете?
Если вам интересны макаки, это не значит что нужно комментить о них в ветку про си.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

44. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 11-Июн-17, 17:59 
> Если вам интересны макаки

Сам придумал, сам опроверг. Молодец.

Я говорил, что при возможности выбора или взять макак+железа или взять сишников, макаки+железо выиграют по скорости написания кода и выдачи гoвнoпродукта. Кoпpоэкономика в действии. Предпосылок для разворота тренда обратно в сторону сишников (например железо или энергия резко и кратно подорожали) сейчас пока нет. Может застанем, может не доживём. Может вообще по третьему пути пойдёт - допилят какой-нибудь D или Go--

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

45. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 19:52 
>> Если вам интересны макаки
> Сам придумал, сам опроверг. Молодец.

Кого? Макак?
Да вам даже не модератор, вам доктор нужен.

Зыж
> Предпосылок для разворота тренда обратно в сторону сишников...

Вы новость то читали?
В каком месте тут ваши макаки?

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

48. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 12-Июн-17, 07:56 
С дислексией рекомендую вам обратиться к профильному специалисту. Самолечение по форумам опасно.
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

47. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –4 +/
Сообщение от лютый жабист__ on 12-Июн-17, 06:10 
Могучий сишник в курсе что например fts у энаписанной на си монго в сотни и тысячи раз тормознее fts lucene писанной на жабе? И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд. Лично у меня  наоборот писатель на си в 2017 году строго ассоциируется с макакой. Времена си давно прошли (в 2004 начинать проект на си было тоже бредом). Так что тимлид-маразматик и в блумберге маразматик, хоть и в кабинете сидит, возможно не в лондоне, а бомбее 8)
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

49. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +3 +/
Сообщение от Аноним (??) on 12-Июн-17, 08:49 
> Лично у меня  наоборот писатель на си в 2017 году строго ассоциируется

Лично у тебя проблемы с головой. Люди посерьезнее совсем тебя не воспринимают, даже в качестве клоуна.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

50. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +2 +/
Сообщение от Аноним (??) on 12-Июн-17, 10:01 
>И читая про ТТХ этой субд с записью 2килореквеста в сек хочется только ржать навзрыд.

Ты плохо понимаешь откуда берется 2 тыс. запросов на запись в секунду. Эти 2 тыс. запросов ГАРАНТИРОВАННО записаны в файл БД с учетом прохода через все пункты ACID. Ответ отдается никогда запись появилась в журнале, никогда она еще находится в ОЗУ, а именно на 100% записана в файл БД.

Вот теперь ты скажи, откуда в Lucene такая скорость? В какой момент БД дает ответ, что "я записалось"? Или ты не знаешь архитектуру своей любимой БД? Ну, так иди прокачай скил, а мы с интересом тебя послушаем.

Единственная БД, где имеется отличия в данном вопросе это lmdb: https://web.archive.org/web/20140809204443/http://symas.com/.../

Ищи параграф "C. Sequential Writes" и утрись. Никаких сотен тысяч записей нет, если решать _конкретную_ задачу. Сотни и миллионы записей это цифры для _других_ задач, где НЕ требуется дергать fsync на каждый чих, а вместо этого просто добавлять/удалять реплики. Если ты не понимаешь зачем это нужно comdb2, то я очень рад, т.к. ты никогда не окажешься в бизнесе, где скорость стоит на 100500 месте.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

52. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от лютый жабист__ on 12-Июн-17, 12:56 
Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета. А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

53. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Другой аноним. on 12-Июн-17, 13:23 
Как бы анон писал про то что ты не понял, но поспешил ответить на другое.

> А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си

На словах - можешь, а на деле - нет.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

56. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 12-Июн-17, 22:01 
>Fsync не гарантия записи в схд. Шах и мат экспертушка опеннета.

Хорошо, что ты это знаешь, только вот у тебя пробелы в знаниях. Приложение не может ничего гарантировать на аппаратном уровне, этим занимается железка и драйвер к ней. Есть еще один слой -- уровень FS, ты его тоже припишешь к приложению? Вобщем, твоя "победа" ничего не значит в поднятом вопросе.

>А гарантировать запись в распределенную систему могу легко с 20 и 200килореквестами в сек лехко и без си

Можешь, только гарантии, что даешь, ты абсолютно не понимаешь. Хотел расписать все по полочкам, потом понял, что выходит простыня, которую ты не осилишь. Вкратце все сводится к следующим вещам: как часто дергается fsync, какой тип репликации используется (асинхронная/не асинхронная) и, главное, устроит ли бизнес простой во время восстановления БД из бэкапов/журналов (что может занять часы), или максимум что устроит это перезапуск сервера и загрузка в течении 1-10 минут.

Изучай лучше внутренности Lucene, т.к. на вопрос ты так и не ответил.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

57. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от лютый жабист__ on 13-Июн-17, 09:37 
> Хотел расписать все по полочкам, потом понял

Ну и слава БГ, что не стал, незачем опеннет замусоривать.

Я не фанат и гуру по рсубд, но даже я вижу что ты мешаешь мух, коней и котлеты. Если кластер подтвердил транзакцию, уже вообще по барабану в REDO/WAL это упало или в базу. С их скоростью в 2ktps - WAL, REDOLOG и подобное будет накатываться при перезапуске просто мгновенно, т.к. в журнале от силы несколько тысяч записей.

Главный вопрос - почему у блумбергов весь кластер падает? Может и среди админов тоже сплошные маразматики?

Бэкапы ещё какие-то приплёл не в тему.

В чём сила этой поделки так и не ясно.
Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу.

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

61. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Другой аноним. on 13-Июн-17, 14:09 
Теперь я понял что у жабиста про кластеры довольно примитивное представление и все кластеры у него как один. Поэтому он гребет под одно на одной ноте.
Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

63. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Аноним (??) on 13-Июн-17, 21:15 
>Я могу на жабке ЗА ПОЛДНЯ написать кластерный слой к любому количеству субд-нод. Скорость будет так же масштабироваться горизонтально на чтение и на запись скорость==скорости работы самого медленного узла. Чё тут 13 лет писать ума не приложу.

Иди пиши, хватит трындеть какой ты крутой, какая жаба крутая. Глядишь гугл тебя купит. Серьезно.

Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

66. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 13-Июн-17, 23:57 
>>Я могу на жабке
> Глядишь гугл тебя купит. Серьезно.

Если гугл не купит, то кингстоны с корсарами наверняка проспонсируют.


Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

62. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 13-Июн-17, 16:06 
Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы два раза не вставать, сразу ответь на вопрос, почему обработка записей батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что записано) ничего не ускоряет.
Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент. Железка может дать сбой и хвост WAL'а пропадет, и никого не будет волновать, что "ну база же невиновата, она фсинк сделала". Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются.
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

64. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 13-Июн-17, 21:33 
> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? Чтобы
> два раза не вставать, сразу ответь на вопрос, почему обработка записей
> батчами (накопили 100 записей, fsync'анули один раз, отчитались по всем, что
> записано) ничего не ускоряет.

Где и что не ускоряет? Все очень хорошо ускоряет, просто отсчет ведется обычно в миллисекундах или тысячах записей, плюс тюнить надо всегда под задачу. Если у вас по 100к записей в секунду сыпится, то практичней sync дергать раз в секунду.

Кроме того, нужно отличать последовательные _транзакции_ от батч-инсерт/апдейтов, т.к. они по-разному обрабатываются. Если делать последовательно одну транзакцию, которая содержит один инсерт, то никакой прибавки скорости это не даст. И так в _любой_ БД.

И другой ньюанс, это размер батча. В батче на 100 записей, которые укладываются в 4кб прироста не будет, т.к. это уже уровень ОС. Попробуйте батчи по 100 записей по 100-1000кб, сразу будет видна разница.

> Еще тебе правильно говорят, что fsync ничего не гарантирует на данный момент.
> Железка может дать сбой и хвост WAL'а пропадет, и никого не
> будет волновать, что "ну база же невиновата, она фсинк сделала".

Я уже ответил, что проблема железки это не заботы приложения. Давайте сюда припишем сбои в рейд-массивах еще. А что, БД должна и об этом думать!

> Всякие гуглы эту проблему решают синхронной репликацией в несколько железок и на fsync не полагаются.

В блумберг тоже не дураки и comdb2 позиционируется как кластерная БД. Вы о чем? О том, что дергать постоянно fsync это глупо? А не глупо включать журнал, когда он не нужен? Между прочим в comdb2 журнал включается автоматом, когда одна из нод дохнет, чтобы она после восстановления все докатила. Да, это другой подход и что? У вас разрыв шаблона походу.

Поясню в последний раз, все БД делятся по классу задач, которые они способны решать. Некоторые предназначены для общего назначения, некоторые узкоспециализированные. Так вот, comdb2 не является БД общего назначения. И все ее минусы, компенсируются плюсами, за которые _всегда_ нужно платить. Не нравится? Валите в свой мускл, постгрес, оракл и т.д. и т.п.

Вот в этом документе есть сравнение с XtraDB Cluster: http://www.vldb.org/pvldb/vol9/p1377-scotti.pdf

Читайте, пытайтесь понять, что и зачем, потом ищи ответы.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

67. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 14-Июн-17, 00:05 
Ловко ты проигнорировал основной вопрос и нагнал шизофазии в ответ на дополнение, выдернув его из контекста. Хорошо, я повторю:

>>>>> Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду? <<<<<
> Я уже ответил, что проблема железки это не заботы приложения.

А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность.

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

70. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 14-Июн-17, 16:38 
>Расскажи, каким образом ACID накладывает ограничение в 2к записей в секунду?

1. Читаем определение: https://ru.wikipedia.org/wiki/ACID
2. Читаем pdf-файл, что я дал выше.
3. Делаем выводы, что чтобы обеспечить ACID в кластере, при полной синхронизации транзакций нужно делать логику, которая способна разруливать простейшие вещи. Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде. Технические детали, как это выполнено в comdb2 описаны в документе выше. Также, в этом же документе описывается почему низкая скорость записи:

Параграф 7. Current Work

>Comdb2 is also limited today in its ability to scale writes.
>While reads scale in a nearly linear manner as cluster size in-
>creases, writes have a more conservative level of scaling with
>an absolute limit.

Ключевое слово "an absolute limit". И далее прописывается ряд деталей о подводных камнях. А точнее цена расплаты за все "удовольствия".

>А чья забота? Страховой? Потеря последних записей при отключении питания - это не теоретическая проблема с околонулевой вероятностью, а обыденная реальность.

1. Человека. Человек может поставить UPS. Купить рейд с батарейками и даже выделить резервный источник питания от ДРУГОЙ электростанции.
2. Как я говорил, забота ложится на железку, драйвер и ФС. Последняя кстати, может предотвратить искажение последней записи, сделав откат или накат из журнала.

Еще вопросы?

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

71. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 15-Июн-17, 01:59 
> Читаем
> Читаем
> Делаем выводы

Нет. За тебя искать пруфы заведомо ложного утверждения я не буду.

> Такие как, вставка на одной ноде, и следом за ним удаление этой новой записи на другой ноде

Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина. Тот же etcd из соседней новости умеет гораздо больше 2к записей в секунду.

> Еще вопросы?

Нет.

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

72. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Другой аноним. on 15-Июн-17, 07:26 
> Эта задача давно решена такими алгоритмами, как paxos, atomic broadcast и raft, которые не накладывают ограничений на пропускную способность сверх того, что может одна машина.

Правильне будет сказать "решена для частных случаев" чтобы не выглядело как будето решено для всех случаев.

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

76. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 15-Июн-17, 10:47 
О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для субд.
Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

79. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 15-Июн-17, 21:34 
> О каких случаях речь? Эти алгоритмы могут реплицировать wal, что достаточно для
> субд.

В comdb2 WAL флешится раз в 10 секунд. WAL нельзя реплицировать по нодам, т.к. нужно делать для каждой ноды merge, что еще более затратней.

Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

81. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Аноним (??) on 15-Июн-17, 22:25 
> WAL нельзя реплицировать по нодам

Лол. А авторы этой комдб не знают и реплицируют. И все реплицируют.

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

80. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 15-Июн-17, 21:45 
И еще, ты упустил момент про ACID. Что будет если одна нода передаст другой ноде WAL и сразу упадет? Верно, у одной будет коммит, у другой все свалится. Теперь вопрос на мильон, какой ответ отдать клиенту? Тот, что говорит, мол все отлично! Или тот, что говорит, извини, но я упала. Причем, я упала клиент узнает через несколько секунд, минут и т.д. и т.п. (мало ли, БД под нагрузкой, вот и думает много).

Все эксперты, могут взять карандаш и начать писать свою БД с поэтессами и шахматами.

Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

77. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 15-Июн-17, 20:26 
Почитал я эту статью, а там не 2к записей в секунду, а 20к. Уже похоже на правду. Ну и получается, что ты тут обосновывал даже не производительность этой базы, а опечатку автора статьи. Т.е. как бы лужу газирнул.
Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

78. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Аноним (??) on 15-Июн-17, 21:32 
>20к

На SSD. Сравни с этим (уже давал линк): https://web.archive.org/web/20140809204443/http://symas.com/...

Так что на HDD будет те же 2к, может 3к от силы. Откуда взял инфу автор статьи, я не знаю, может сам тестил.

Ответить | Правка | ^ к родителю #77 | Наверх | Cообщить модератору

7. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –7 +/
Сообщение от Crazy Alex (ok) on 10-Июн-17, 19:00 
Честно говоря, если оно реально использовалось лет десять, просто разворачивается и обеспечивает хоть как-то приемлемое быстродействие и потребление ресурсов - то хоть на прологе, хоть на джаваскрипте. Если уж на то пошло, то в "этой" эпохе писать подобное на сях - дурость, много возни и рисков ошибок и полное отсутствие профита. По сравнению с нынешними плюсами ещё и медленнее запросто может быть.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 10-Июн-17, 19:58 
> ...хоть на прологе, хоть на джаваскрипте,...

Да-да-да... а как до дела доходит, то 70% на сях, 10% на асм-вставках, 10% вообще скрипты сборки, тестов,... ну и наконец остальные 10% собсно на "хоть на прологе, хоть на джаваскрипте". Правда с дарками, поэтому голой опой лучше не выставлять.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –2 +/
Сообщение от Crazy Alex (ok) on 10-Июн-17, 20:45 
Если ты не понял - речь о том, что если штука соответствует требованиям - то пофигу, на чём она написана. Ну, распространённый язык лучше, конечно - больше шансов, что кто-то сторонний подкрутит. Хотя это для подобных случаев ни хрена не важно - и так есть поддерживающая команда.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 10-Июн-17, 21:07 
Вот для того, чтобы штука соответствовала требованиям, надо крепко подумать, на чём её писать.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Crazy Alex (ok) on 10-Июн-17, 21:46 
Это если ТЫ начинаешь что-то писать. А если выбираешь среди уже написанного кем-то другим - то язык становится один (и отнюдь н самым важным) среди десятков других параметров.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от ананим.orig on 10-Июн-17, 22:03 
Правильно. Важен интерфейс.
Но и ты тогда определись — ты манагер или инженер ИТ.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

21. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 00:47 
Ты всерьёз предлагаешь для своего проекта писать с нуля всё, начиная от операционки и заканчивая гуи-тулкитом? Ясно, что нет. А раз так - "важен интерфейс". И задача выбора - именно инженерная, дело манагера - дать исходные данные.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

26. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +2 +/
Сообщение от ананим.orig on 11-Июн-17, 06:24 
> Ты всерьёз предлагаешь для своего проекта писать с нуля всё, начиная от операционки и заканчивая гуи-тулкитом? Ясно, что нет

Ясно. Эффективный манагер.
Зыж
Инженер при подборе должен быть заинтересован во всех аспектах.
И для него уж точно вот это — "то хоть на прологе, хоть на джаваскрипте" — просто синоним слова "халтура".
А (после этого) рассуждения (с умным видом) на тему — "Вот такие хотелки - один из признаков плохо поставленной задачи" — признак толи идиотизма, толи "эффективного манагмента". Т.е. халтура вдвойне.
И это уже видно сразу. На раз, два, три. Прочитай ветку с начала. После моего первого коммента писать дальше было уже не обязательно. Только время терять.
Ззыж
А вот по сабжу — интересно бы его применить для репликаций например openldap.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

37. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 13:59 
Не. Просто не то чтобы совсем кодер. И именно о заинтересованновсти во всех аспектах и речь. Надо же, не охидал что от тебя услышу. Но если для тебя попытка высунуть нос из кода и подумать, зачем данный код вообщенужен и какие ограничения это налагает - это "эффективный манагер" - ок, флаг в руки.

Теперь про пролог и джаваскрипт.

Если у тебя внешний продукт, тезнические параметры которого тебя устраивают ( ацифирки выше есть, или поискать ещё можно) и в который ты не собираешься лезть внутрь (это блумберга забота) - какое тебе дело, на чём он написан? Твоя задача - решить, ложится ли он в архитектуру твоего софта, тянет ли по производительности, достаточно ли стабилен/удобен в обслуживании и подходит ли лицензия. И если да - то юзать. Всё остальное - фанатизм.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

40. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 14:40 
> Не. Просто не то чтобы совсем кодер.

А кто о кодерах вообще говорил?
Ты инженера с маркетинговыми курсами не попутал, не?
> Но если для тебя попытка высунуть нос из кода и подумать, зачем данный код вообщенужен и какие ограничения ...

Ну так проходи мимо, ищи без ограничений, с поэтессами (и далее по тексту).
Ну пpидуpки люди, некоторые bdb с lua в ядро пихают (ссылки ниже дал). Пусть себе развлекаются. Или маркетинговое чувство долга спать спокойно не дает на такое безответсвенное использование халявных ресурсов?

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

12. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 10-Июн-17, 21:39 
> если штука соответствует требованиям - то пофигу, на чём она написана.

Если требования вида "до 1000 запросов в минуту", то да. Если требования "как можно больше, но минимум до 1000 запросов в минуту", то нет.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

14. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Crazy Alex (ok) on 10-Июн-17, 21:54 
Вот такие хотелки - один из признаков плохо поставленной задачи и дальнейших проблем. Причём обе. Если нет обозначенной обязательной нижней границы, желательного уровня и максимума того, за что готовы платить плюс того, сколько готовы платить вообще (сложностью, железом, рисками) - то ждите неприятности.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

17. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 10-Июн-17, 22:10 
Что не отменяет того факта, что на абы-скрипте ты в принципе не можешь поставить такую задачу. Правильно или нет.
А на сабже — да. Вплоть до каждого тика.

..
Ну а потом. Манагеры от ИТ. Смогут рассуждать как это всё не важно, стоимость владения воздухом и тд, и тп.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

19. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 00:39 
Вот как раз менеджеры от айти отлично понимают, что такую задачу в принципе ставить не надо, а надо выяснить реальные потребности и наваять решение, потратив как можно меньше денег - сейчас и в будущем (и вот это "в будущем" - и есть стомость владения, если что). Всегда умилял этот упёртый подход "моя хата с краю, главное крутой код, а решает ли он задачи клиента - пофигу".

P.S. Дались вам эти скрипты. Они и так уйдут, и довольно скоро. Вон, питон уже хорошо так уступает Go.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

22. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Аноним (??) on 11-Июн-17, 00:54 
> выяснить реальные потребности и наваять решение, потратив как можно меньше денег - сейчас и в будущем

Думаете, те, кто пишут БД на яваскрипте, в самом деле оценивают стоимость владения такой базой "в будущем"?

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

24. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +2 +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 04:37 
Те, кто соответствующего уровня - вполне. Только там соображения могут быть не совсем те, которых вы ожидаете. Например, БД на джаваскрипте означает, что может быть сквозная база кода, где не надо будет одни и те же куски писать на разных языках для фронтэнда, бэкэнда и базы, да ещё при нужде между ними можно функциональность перетаскивать. И что команда будет гораздо лучше понимать проект - язык один. И обычных конфликтов между фронтом и бакэндом можно избежать, держа половину людей и там и там. Или что движок будет писать какой-нибудь Гугл, который в это довольно основательно вкладывается так, как никакому стартапу не снилось. И если всё "будущее" состоит в том, чтобы красивый концепт оформить в виде красивого работающего прототипа, захватить рынок, получить под это финансирование - то база на JS может оказаться к месту. Тот же Твиттер вполне успешно подобное проделал и ушел на с рубей на джаву (или скалу - не помню). Там, конечно, не база была, но по сути довольно близко.

Но лично я полагаю, что джаваскрипту осталось жить ровно до того момента, пока WebAssembly сделают нормальный интерфейс к DOM и прочим сервисам браузера, а питону - и того меньше. Скрипты вообще в моде ровно по трём причинам - с одной стороны потому что кроме JS в браузерах банально ничего нет, с другой - развиваясь существенно позже "мейнстримных" компилируемых языков они на какое-то время были сильно удобнее, и в-третьих софт, который на них писали, был достаточно мал. Сейчас - размеры приложений всё растут, а компилируемые языки по удобству сильно догнали, будь это хоть Kotlin, хоть C++11/14, хоть новомодные Go/Rust. У каждого свои фишки и особенности, но скриптовым они явно подсократили простор. Если ещё из браузеров JS подвинут - это будет последней каплей. Но вот си здесь позиции вряд ли отобьёт - ну уж слишком легко там начудить, и код писать неудобно, а по скорости - как минимум плюсы вполне на уровне.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

28. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 06:45 
> Те, кто соответствующего уровня - вполне. Только там соображения могут быть не совсем те, которых вы ожидаете.

Ну и не те, что Вы тут впариваете.
А... блин гейтс лучше всех выразил — "если уж воруют, то пусть воруют у нас".
> Но лично я полагаю, что джаваскрипту осталось жить ровно до того момента, пока WebAssembly сделают нормальный интерфейс к DOM и прочим сервисам браузера, а питону - и того меньше.

Да ладно.
Скрипты отлично решают вопросы интеграции.
И никто их с этого места не сдвинет.
Но и решать ими системные вопросы — тоже полный идиотизм.
Вот и всё.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

59. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Очередной аноним on 13-Июн-17, 11:06 
> Но лично я полагаю, что джаваскрипту осталось жить ровно до того момента,
> пока WebAssembly сделают нормальный интерфейс к DOM и прочим сервисам браузера

джаваскипт будет просто еще одним языком в сонме языков, компилируемых в WebAssembly (ну чтобы со временем оставить в браузерах только вебассембли-JIT, в будущем выкинув джаваскиптовый движок). Да и на джаваскипте слишком дофига фреймворков для веба написано и проектов на этих фреймворках, долго и дорого переписывать сложные приложения на другие языки. Плюс куча разработчиков, которые только его и знают (в дополнение в пхп, хтмл и цсс). Много лет еще будет поддерживаться.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

65. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Led (ok) on 13-Июн-17, 22:43 
> Плюс куча разработчиков, которые только его и знают (в дополнение в пхп, хтмл и цсс).

Ты это кого сейчас "разработчиком" обозвал?

Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

27. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 06:37 
> Вот как раз менеджеры от айти отлично понимают, что такую задачу в принципе ставить не надо,..

Зато они отлично это применяют потом.. когда нужно во-время свалить в кусты.
Как ты в 7.14 :)
Вот только нафига тут то?
Или что-то продать присутствующим хочешь? :D
> а надо выяснить реальные потребности и наваять решение, потратив как можно меньше денег - сейчас и в будущем (и вот это "в будущем" - и есть стомость владения, если что). Всегда умилял этот упёртый подход "моя хата с краю, главное крутой код, а решает ли он задачи клиента - пофигу".

Инженеру пофиг на эти вопросы.
Есть "как правильно", а есть "как быстро".
Усё.
Так ты определился с "кто ты"?
вопрос из 8.16.
Тут, на профильном ресурсе, это то зачем?

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

36. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 13:48 
Нет, дорогой. Или для тебя лид, софтовый архитектор или проектировщик решений - это не инженер? Все они (по возрастанию) интересуются в решаемыми задачами, и уже в их рамках занимаются софтом.

И не "как правильно"  против "как быстро" а "как требует задача" вместо "как велит вера". Идаче - человек идиот либо гад, которому плевать на то, что его работа - для решения реальных задач реальных людей.

И исходить из реальных потребностей - это как раз инженерный подход, если ты не знал.

А пытаюсь я объяснить присутствующим, что надо засунуть предрассудки куда подальше и пользоваться оптимальными инструментами для задачи, а не видеть в языке программирования покушение на "святую веру".

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

41. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от ананим.orig on 11-Июн-17, 14:49 
> Нет, дорогой. Или для тебя лид, софтовый архитектор или проектировщик решений - это не инженер?

Из конторы по распилу бобра?
Ну так тебе и кончита — брутальный мужик.

...
> И не "как правильно"  против "как быстро" а "как требует задача" вместо "как велит вера".

Тут в основном те, кому ехать.
Шашечки ты в другом месте продавай. Быстро, медленно, с верой или без — наплевать. Ты мне з/п не платишь, чтобы я твою мессу слушал.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

15. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от ананим.orig on 10-Июн-17, 22:01 
> Если ты не понял - речь о том, что если штука соответствует требованиям - то пофигу, на чём она написана.

1. А я возражал?

2. Главное.
Это ты не понял.
А посыл такой — на чем бы тв не захотел реплизовать что-то систеиное, процентное соотношение будет именно тактим.
Таковы реалии сегодняшнего дня. И завтрашнего.
При этом можешь сколько угодно доказывать что написано вот "энто вон" на очередном абы-скрипте.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

20. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –3 +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 00:45 
Сабж - база данных. К "системному" вообще ни малейшего отношения не имеет, как и к асм-вставкам. И если сейчас кто-то выкатит базу на сях - ССЗБ. Банально потому что в сравнении, скажем, с плюсами он получит 0 выигрыша  в быстродействии (как бы не проиграл, хе-хе) и впятеро больше багов.

Если в системном (в смысле - ядро/драйверы) коде предельная ограниченность С компенсируется предсказуемостью того, что выйдет, то уровнем чуть повыше этот "кроссплатформенный ассемблер" конкретно задалбывает. Если надо деталей - могу страичнику накатать, благо сам сишник и прочувствовано всё на собственной шкуре.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

29. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 07:07 
> Сабж - база данных.

Именно.
> К "системному" вообще ни малейшего отношения не имеет, как и к асм-вставкам.

А это — смотря что хранить собираешься.
Что и как.
Трудно представить задачи с прогнозируемым временем отклика, латенси и тд?
Ну "увы мне". (Иван Васильевич (с))

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

30. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 07:20 
Зыж
Так,.. для академического интереса поинтересуйся про bdb в ядре у гугла:
https://www.google.ru/search?q=bdb+in+kernel&oq=bdb+in+kerne...
Ну на эту же тему про lua в ядре,.. вплоть до http-сервера втядре.

Ззыж
Для справки — системный — это системообразующий. Не больше, не меньше.
На "рабоче-крестьянском" — что за систему ты "образуешь", то для тебя и системное.
Всё остальное — маркетинг.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

34. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 13:34 
Ну ок, ты продемострировал, что скрипты таки можно в ядро засунуть. Это экзотика, правда, но бывает. Доказывал ты, правда, вроде бы обратное.

И обозвать, конечно, можно как попало, но в общепринятом понимании "системное" - это то, что является основной ОС и, как правило, работает напрямую с железом. А вот твоё определение - маркетинг, по нему и IE получается системным софтом - а что, совершенно необходимый и невырезаемый компонент для кучи версий винды.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

42. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от ананим.orig on 11-Июн-17, 14:57 
Да нахрен мне тебе что-то доказывать?
Ты, батенька, где-то берега попутал — мне от этого прибыли никакой. А вот сабж вполне сгодится.

Зыж
> но в общепринятом понимании "системное" - это ...

Угу.
А системные знания — это трансформатор.
А именно — у-у-у-у-у-у-у-у-...............
Да и ОС — это такой болшой пчёл.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

35. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Crazy Alex (ok) on 11-Июн-17, 13:39 
Кхх, ещё один. "Прогнозируемое время отклика/латентность" говорит о прогрнозируемости, а не о малости величины. Для формирования той же веб-страницы время отклика должно быть прогнозируемым и укладываться в определённые рамки (иначе user experience будет плохим). Но рамки этим довольно широки, это да.

А если ты о hard realtime - ну да, что-то я не слышал я, чтобы там базы использовали, видать, мало таких горячих парней.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

60. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от Очередной аноним on 13-Июн-17, 13:32 
> А если ты о hard realtime - ну да, что-то я не
> слышал я, чтобы там базы использовали, видать, мало таких горячих парней.

Используют, хотя может быть "мало таких горячих парней" и базы там особенные. QNX - жёсткий рилтайм, Empress Embedded Database - БД, которая может крутиться в том числе и на QNX и релизы которой освещаются и на официальном сайте по QNX. Среди фич БД есть и какая-то такая:

"Time-out Functions can be set by the application developer to support deterministic response for real time applications."

Сама БД тоже заявлена как
"
Empress Embedded Database is the most reliable embedded database for embedded applications on UNIX, Linux, Windows and Real-Time systems.  The ultra fast, small footprint database engine is maintenance free, ideal for mission-critical applications
"

Далее заявляют что поддерживают ACID, триггеры и хранимые процедуры, иерархические запросы и т.д. и т.п., а главное (для рилтайма) - "Deterministic Response" (ну это может быть через те "Time-out Functions", а еще через "Empress kernel level mr API  is a unique feature of Empress that gives users access to the Embedded Database kernel  libraries. This Empress API provides the fastest means of accessing Empress databases.  MR Routines give the developer maximum control over time and space in developing real-time embedded database applications.")

http://www.empress.com/products/products.html

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

68. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Очередной аноним on 14-Июн-17, 08:10 
Забавно, а за что минус? Неправда написана или приравняли к рекламе?
Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

43. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +2 +/
Сообщение от Аноним (??) on 11-Июн-17, 15:45 
>> ...хоть на прологе, хоть на джаваскрипте,...
> Да-да-да... а как до дела доходит, то 70% на сях,

А вот лично я бы посмотрел, что и как вебмакаки сваяют на прологе.
И вообще, что за кощунство - упоминать божественный пролог в одном предложении с вебмакаковой наскальной живописью.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +3 +/
Сообщение от angra (ok) on 11-Июн-17, 00:36 
> По сравнению с нынешними плюсами ещё и медленнее запросто может быть.

Осталось только это продемонстрировать, например здесь http://benchmarksgame.alioth.debian.org/u64q/cpp.html

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

25. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от . on 11-Июн-17, 06:08 
Дык джентльменам верят на слово же :-)
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

51. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +3 +/
Сообщение от Аноним (??) on 12-Июн-17, 10:22 
>обеспечивает хоть как-то приемлемое быстродействие и потребление ресурсов - то хоть на прологе, хоть на джаваскрипте.

Угу, на JS, у которого нет НИКАКОГО управления памятью. В момент высоких нагрузок либо отожрется ВСЯ доступная память, либо будет ограничение на кол-во _одновременно_ выделяемых объектов, что снизит скорость работы раза в 2-10. И это не говоря о том, что разработчик JS не может что-то выделять на стеке, а что-то в куче (у него все на куче).

Так, что твои "рекомендации" можешь сразу отправлять в Google, Bloomberg, глядишь узнают в тебе великого пограммиста :)

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

58. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от mkv on 13-Июн-17, 10:03 
Очень смущает BerkeleyDB со своей лицензией в сырцах этой БД.
По ней вы должны открыть код не только если слинковались (как в GPL) но и вообще если используете это в своих решениях.
Получается какая-то замануха... У Bloomberg BerkeleyDB скорее всего куплен.
Или начинают экономить на недешевых лицензиях BDB?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

69. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от 123 (??) on 14-Июн-17, 13:04 
Там очень старая версия.

https://github.com/bloomberg/comdb2/blob/master/berkdb/LICENSE

* Redistribution and use in source and binary forms, with or without
* modification, are permitted provided that the following conditions
* are met:
* 1. Redistributions of source code must retain the above copyright
*    notice, this list of conditions and the following disclaimer.
* 2. Redistributions in binary form must reproduce the above copyright
*    notice, this list of conditions and the following disclaimer in the
*    documentation and/or other materials provided with the distribution.
* 3. Redistributions in any form must be accompanied by information on
*    how to obtain complete source code for the DB software and any
*    accompanying software that uses the DB software.  The source code
*    must either be included in the distribution or be available for no
*    more than the cost of distribution plus a nominal fee, and must be
*    freely redistributable under reasonable conditions.  For an
*    executable file, complete source code means the source code for all
*    modules it contains.  It does not include source code for modules or
*    files that typically accompany the major components of the operating
*    system on which the executable file runs.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

73. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  –1 +/
Сообщение от Аноним (??) on 15-Июн-17, 10:36 
>но если операция INSERT успешно завершена, то изменения сразу становятся видны для запросов в любых частях кластера.

Каким образом? Волшебным?
Все равно будет какой то промежуток когда где-то данные уже есть, а где-то их еще нет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

74. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +1 +/
Сообщение от Аноним (??) on 15-Июн-17, 10:45 
> Каким образом? Волшебным?
> Все равно будет какой то промежуток когда где-то данные уже есть, а
> где-то их еще нет.

Пока данные не разойдутся по всем узлам, коммит не будет подтверждён и операция INSERT не завершится.

Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

75. "Компания Bloomberg открыла код распределённой СУБД Comdb2"  +/
Сообщение от 123 (??) on 15-Июн-17, 10:46 
Читаем внимательно - транзакция идет на всех кластерах одновременно. Пока на все не легло - не коммитит.
Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру