The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск СУБД Tarantool 2.8"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск СУБД Tarantool 2.8"  +/
Сообщение от opennews (??), 07-Сен-21, 18:13 
Доступна новая версия СУБД Tarantool 2.8, обеспечивающей постоянное хранения данных с отдачей информации из оперативной памяти (in-memory database). СУБД сочетает высокую скорость обработки запросов, характерную для NoSQL-систем (например, Memcached и Redis), c надежностью традиционных СУБД (Oracle, MySQL и PostgreSQL). Tarantool  написан на языке C и позволяет создавать хранимые процедуры на языке Lua. Код распространяется под лицензией BSD...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=55754

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 07-Сен-21, 18:13   –31 +/
> написан на языке C

Конец 2021-го года.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #4, #5, #6, #7

2. Сообщение от B (?), 07-Сен-21, 18:20   –3 +/
>> стала проще.
>> лучше держит
>> теперь можно не следить
>> давно была
>> Раньше ... необходимо было

funny

Ответить | Правка | Наверх | Cообщить модератору

3. Сообщение от Аноним (-), 07-Сен-21, 18:21   +4 +/
Жалкая попытка осмеять и опорочить божественную сишку. Попытайся ещё.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

4. Сообщение от Аноним (4), 07-Сен-21, 18:21   +6 +/
В Rust долбишься?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

5. Сообщение от o (?), 07-Сен-21, 18:22   +3 +/
Толсто
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

6. Сообщение от Аноним (6), 07-Сен-21, 18:28   +/
Покажи, что ты написал в конце 2021-го года. Хоть на бейсике.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #8

7. Сообщение от trdm (ok), 07-Сен-21, 18:56   +1 +/
> Конец 2021-го года.

ага. надо срочно переписать на javascript...
совсем шизанулись со своими смузи-языками..

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

8. Сообщение от Аноним (8), 07-Сен-21, 19:01   +2 +/
10 PRINT CHR$(205.5+RND(1));: GOTO 10
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

9. Сообщение от bOOster (ok), 07-Сен-21, 19:17   –5 +/
И чем оно лучше LMDB?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #12

10. Сообщение от Аноним (-), 07-Сен-21, 20:04   –4 +/
Название сложное, непроизносимое...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #11

11. Сообщение от Эль Анонимус (?), 07-Сен-21, 20:38   +5 +/
Тарантул (шёпотом повторил про себя несколько раз).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #23

12. Сообщение от YetAnotherOnanym (ok), 07-Сен-21, 20:50   +2 +/
Можно ли считать этот вопрос корректным, если LMDB - это либа, а тарантул - это полноценный сервер?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #21

13. Сообщение от Аноним (13), 07-Сен-21, 20:59   –1 +/
У них траблы в прошлом серьезно все были - уже все разрешили?
Ответить | Правка | Наверх | Cообщить модератору

16. Сообщение от funny.falcon (?), 07-Сен-21, 23:10   +/
В реальности, один из самых (если не самый) продвинутых open-source in-memory движков, и точно самый продвинутый из написанных не на Java.
Ответить | Правка | Наверх | Cообщить модератору

17. Сообщение от Аноним (17), 07-Сен-21, 23:18   –3 +/
А в чем соль этого in_memory?
Можно же ram-disk запилить и туда БД закинуть(и прокакать её при сбое по питанию).
Типа оно само а так - ручками?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #19, #25

18. Сообщение от Док (?), 08-Сен-21, 02:28   +/
Классная бд, но писать к ней код гемор)
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #28

19. Сообщение от funny.falcon (?), 08-Сен-21, 02:51   +7 +/
Тарантул при сбое питания не прокакивается, а вполне себе потом восстанавливается. А с появлением RAFT репликации ещё и отказоустойчивость появилась.

Более эффективно используются ресурсы, т.к. движок по большей части однопоточный. Да, пиковая производительность одного процесса ограничена (в случае Тарантула, обычно сотнями тысяч коротких транзакций). Но если пошардировать, можно на одном сервере запустить несколько инстансев.

Ограничение тоже есть: Tarantool не для OLAP. Хорошо работает только с OLTP нагрузкой.

Дисковый движок в нем, кстати, тоже есть. Кастомный дизайн LSM. Не RocksDB потому, что нужно дружить с однопоточным исполнителем транзакций, а RocksDB хорошо интегрируется только в многопоточных приложения. Ну и, у дизайна есть свои плюсы даже в сравнении с RocksDB. (Из минусов - FaceBook не помогает :-)

Долгое время дисковый был отдельно от in-memory в том смысле, что их транзакции не знали друг о друге и практически не могли быть смешаны. Но вроде сейчас их объединяют.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #20, #35

20. Сообщение от лютый жабби__ (?), 08-Сен-21, 07:16   –2 +/
>а RocksDB хорошо интегрируется только в многопоточных приложения

RocksDB не панацея. как раз закончил мучить арангоДБ... столько пафоса, по факту намного хуже по скорости и монги и нео4ж.

тарантул чем-то похож, описание пафосное... по факту, чем оно лучше hazelcast? эмбеднутый hazelcast будет в сотни раз быстрее...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #27

21. Сообщение от bOOster (ok), 08-Сен-21, 07:20   –6 +/
> Можно ли считать этот вопрос корректным, если LMDB - это либа, а
> тарантул - это полноценный сервер?

Решаемые задачи лежат в одной плоскости, а выбор ЛИБЫ или полноценной СУБД - удел выбора в области применения..
Дурачек тот кто в embedded систему, с малым количеством памяти пихает СУБД вместо библиотеки.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #22, #33, #36

22. Сообщение от Аноним (22), 08-Сен-21, 09:13   +3 +/
"in-memory database" - "в embedded систему, с малым количеством памяти"???
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #24, #26

23. Сообщение от Michael Shigorinemail (ok), 08-Сен-21, 09:54   +/
Ударение на втором слоге. :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

24. Сообщение от bOOster (ok), 08-Сен-21, 10:22   –4 +/
> "in-memory database" - "в embedded систему, с малым количеством памяти"???

256-512MB это малое количество памяти? Для Библиотеки вполне, да и inmemory DB вполне, а вот тащить на нее СУБД это глупость.
И по нашим временам памяти МАЛО.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

25. Сообщение от prokoudineemail (ok), 08-Сен-21, 10:25   +1 +/
> А в чем соль этого in_memory?

В том, что когда у тебя кэш набирается под 100 гигов, вместо постоянной инвалидации кэша дешевле и проще держать всё в памяти.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

26. Сообщение от bOOster (ok), 08-Сен-21, 10:26   –5 +/
> "in-memory database" - "в embedded систему, с малым количеством памяти"???

Да и для знатоков хочу напомнить, большинство таких систем вообще с накопителем ReadOnly работают, то есть в памяти. Стоит туда тащить СУБД?

А вообще я конечно понимал что знатоки, ставящие минусы, на диване с 8 гигами памяти сидят. Но не знал что у них не хватит мозгов подумать о роутерах и т.п.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #37

27. Сообщение от funny.falcon (?), 08-Сен-21, 10:56   +/
Не могу сравнить с hazelcast. Но зная о нём и об Apache Ignite, я и писал "один из самых продвинутых, и точно самый продвинутый из написанных не на Java".

Эмбеднутый hazelcast - это по сути тоже самое + встроенный кэш из коробки. Конечно, удобно иметь кэш, о котором не нужно думать, это круто. Но не всегда нужно и правильно.

Кроме того, не всегда приложение на Java, а с эмбеддингом куда-то ещё придётся помучаться (целую JavaVM, по сути, встраивать).

Но для pure-Java инфраструктуры наверное Hazelcast/Apache Ignite всё же будут предпочтительнее.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #32

28. Сообщение от Брат Анон (ok), 08-Сен-21, 11:38   +/
Вот поэтому с использованием LSN я выбираю встраиваемую БД goLevelDB (ну, понятно по префиксу, что для го). Вжух штука, индексы, горячий кеш, батчинг, сжатие значений в памяти -- всё как мы любим. И кстати, в новости указан формат MessagePack -- я бы выбрал FlatBuffer. Может не так экономично, зато потери процессорного времени на сериализацию/десеарилезацию -- практически близки к нулю.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #38

29. Сообщение от Аноним (29), 08-Сен-21, 11:44   +/
Костя свою поделку бросил и из Мейлру ушёл, Мейлру изо всех сил старается это всё монетизировать. И как результат?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #34

32. Сообщение от isopovemail (?), 08-Сен-21, 16:21   +/
Эмбеддинг распределенного кеша внутрь приложения вообще имеет кучу минусов, кроме некоторых плюсов - для раскатки новой версии приложения или просто рестарта тебе надо внимательно следить, чтобы это было достаточно постепенно и новые инстансы успевали втянуть в себя достаточно состояния с соседних нод. Если у тебя выросла нагрузка на какие-то чисто логические части в приложении и тебе надо поднять дополнительных инстансов, то ты автоматически поднимешь еще и встроенных шардов/реплик этого хранилища, которые могут в твоем случае быть лишними и просто простаивать.

Ну и hazelcast/ignite не то, чтобы панацея - есть и негативные отзывы на них.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

33. Сообщение от YetAnotherOnanym (ok), 08-Сен-21, 18:28   +/
> в embedded систему, с малым количеством памяти

Хммм... Не знал, что у в хозяйстве старика Винера используются embedded системы с малым количеством памяти.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

34. Сообщение от Аноним (34), 09-Сен-21, 01:06   +/
Есть конторки с торгующие на рынке BigData с этим тарантулом
Вполне себе зарабатывают на хлеб с икоркой выше средне рыночной
в 1.5 - 2 раза зарплатой
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #44

35. Сообщение от Аноним (17), 09-Сен-21, 01:49   +/
А как он "лёжа в ОЗУ" не прокакивается? ОЗУ же энергозависимая память.
Люто-бешено сношает диск при каждой транзакции разве что.

Я верно понимаю что по сути это "мы засунули всю БД в ОЗУ что-бы быстрее читать из неё" и оно скорее для раздачи данных которые не изменяются особо?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #39, #40

36. Сообщение от 4erryKot (?), 09-Сен-21, 09:24   +/
Ну, т.е., как и говорил предыдущий оратор, области применения не пересекаются, т.е. сравнение в лоб бессмысленно?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

37. Сообщение от Dnina (ok), 09-Сен-21, 09:56   +/
Не угадал, у меня 16
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26

38. Сообщение от Аноним (38), 09-Сен-21, 20:31   +/
Разрабы из Facebook говорят, что leveldb не годится для серверного использования и именно поэтому они создали rocksdb. Только вот биндингов окромя официально поддерживаемого Java там нет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #42

39. Сообщение от funny.falcon (?), 09-Сен-21, 21:46   +/
Легко: данные сохраняются на диск в виде снапшота и логов. Когда процесс стартует, он вычитывает последний снапшот данных и логи начиная синего. При ответе клиенту с диска чтения не происходит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

40. Сообщение от funny.falcon (?), 09-Сен-21, 21:53   +/
Как раз-таки Тарантул очень подходит для интенсивного OLTP. Но, конечно, если данные (после шардирования (если таковое возможно)) все-таки влезают в память.

На удивление, однопоточный сервер настолько эффективнее на ядро, что один процесс (тарантула) может выдержать нагрузку, которую обычно на восемь ядер шлют. И я имею в виду именно короткие транзакции с записью, а не только чтение.

Конечно, всё упирается в возможность шардирования в вашей предметной области. Если порезать на независимые куски не получается, и единый многотредовый/многопроцессный (привет Постгресс) не избежен, то рано или поздно он обгонит однопоточный тарантул.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #41

41. Сообщение от funny.falcon (?), 09-Сен-21, 22:00   +/
Ну ок, на самом деле есть один хак, который делает сравнение не 100 честным: у тарантула по умолчанию транзакция не дожидается fsync, и fsync делается 10 раз в секунду. Т.е. есть вероятность потерять 100мс последних транзакций.

Можно повернуть ручку, и дожидаться каждый раз. Тогда каждой транзакции добавится латенси. Но общая производительность тарантула (т.е. пиковый tps) при этом просядет не сильно.

Доя сравнения:
- MongoDB делает fsync по умолчанию таким же образом.
- Redis делает fsync ещё реже.
- Cassandra, емнип, ещё реже редиса.
И только true SQL (MySQL, PostgreSQL) по умолчанию всегда дожидаются fsync, прежде чем ответить ok на COMMIT.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

42. Сообщение от Брат Анон (ok), 09-Сен-21, 23:25   +/
> Разрабы из Facebook говорят, что leveldb не годится для серверного использования и
> именно поэтому они создали rocksdb. Только вот биндингов окромя официально поддерживаемого
> Java там нет.

Сложно мне судить, почему разрабы из книгоморды такое говорят, если учитывать тот маленький факт, что LevelDB специально гугловцами разрабатывался для использования на своих серверах)) Не просто для использования, а для очень энергичного использования. Если ещё вспомнить про тарантул (который тоже LSN) -- у меня сомнения закрадываются...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

43. Сообщение от lor (?), 11-Сен-21, 02:39   –1 +/
Название конечно прикольное.
Ответить | Правка | Наверх | Cообщить модератору

44. Сообщение от Фу (?), 09-Сен-22, 21:12   +/
А чего не в 5 раз? Врать так уже врать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру