The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Компания Google открыла исходные тексты БД LevelDB, opennews (ok), 28-Июл-11, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


19. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 28-Июл-11, 13:17 
Говорили вот, что RedisDB какой-то нереально быстрый.

Как я понял, такая производительность - обычное дело для key-value хранилищ "/

Ответить | Правка | Наверх | Cообщить модератору

20. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Аноним (-), 28-Июл-11, 13:33 
Редис быстрый так как вся база в оперативной памяти. При падении системы потеря всей информации, наработанной после последней синхронизации.
А вообще, да NoSQL быстрее. Например можно хранить все в бинарных деревьях, как в Couchdb. Да и атомарность у них обычно на уровне одной записи, то есть пол базы в залоченном состоянии не висит.
Ответить | Правка | Наверх | Cообщить модератору

29. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Crazy Alex (ok), 28-Июл-11, 13:58 
> Редис быстрый так как вся база в оперативной памяти. При падении системы
> потеря всей информации, наработанной после последней синхронизации.
> А вообще, да NoSQL быстрее. Например можно хранить все в бинарных деревьях,
> как в Couchdb. Да и атомарность у них обычно на уровне
> одной записи, то есть пол базы в залоченном состоянии не висит.

Это у кого ж пол-базы в залоченном состоянии получается? Ну ладно SQLite лочит всю базу целиком. Но уже мускул с MyISAM лочит одну таблицу, а поставь нормальный бакэнд - будут локи на уровне строки. А спор "деревья против хэша" - он давний и однозначного решения не имеет - одно быстрее на чтение, другое на запись. В зависимости от паттерна использования надо выбирать разные реализации.

Что же касается редиса - за скорость там расплачиваемся ещё диким расходом памяти - если не ошибаюсь, её тратится раз в десять больше, чем объём хранимых данных. Что весьма неприятно иногда.

Ответить | Правка | Наверх | Cообщить модератору

31. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 28-Июл-11, 14:17 
> Что же касается редиса - за скорость там расплачиваемся ещё диким расходом
> памяти - если не ошибаюсь, её тратится раз в десять больше,
> чем объём хранимых данных. Что весьма неприятно иногда.

Ошибаетесь.

Ответить | Правка | Наверх | Cообщить модератору

56. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Аноном (?), 28-Июл-11, 22:20 
Я с ним в продакшне работаю, вообще-то. На 64-битной системе с разумными размерами ключей (в пределах пары десятков байт) значений (сотни байт) имено это и видим. Если к размерам ключей/значений будете придираться - это комментарии пользователей, вполне типичный размер.
Ответить | Правка | Наверх | Cообщить модератору

66. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 31-Июл-11, 23:39 
> Я с ним в продакшне работаю, вообще-то. На 64-битной системе с разумными
> размерами ключей (в пределах пары десятков байт) значений (сотни байт) имено
> это и видим. Если к размерам ключей/значений будете придираться - это
> комментарии пользователей, вполне типичный размер.

Извиняюсь, возможно вы и правы.

У Redis, как заявляют сами разработчики, проблемы с хранением мелких данных. Они с этим борются, но вроде безуспешно.

(ЗЫ А если не секрет, зачем вы в Redis комментарии храните ?)

Ответить | Правка | Наверх | Cообщить модератору

32. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 28-Июл-11, 14:20 
> Редис быстрый так как вся база в оперативной памяти. При падении системы
> потеря всей информации, наработанной после последней синхронизации.
> А вообще, да NoSQL быстрее. Например можно хранить все в бинарных деревьях,
> как в Couchdb. Да и атомарность у них обычно на уровне
> одной записи, то есть пол базы в залоченном состоянии не висит.

У Mongo атомарности нет вообще, у Couch ЕМНИП тоже.

>  При падении системы потеря всей информации, наработанной после последней синхронизации.

Там есть Safe-mode. Правда в нем он всего в пару раз быстрее SQL.

Я к тому, что LevelDB по скорости как раз вполне сравним с RedisDB (судя по представленным данным). А с включенным fsync (упомянутый safe-mode) уделывает его во много раз.


Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

34. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Аноним (-), 28-Июл-11, 15:00 
>>у Couch ЕМНИП тоже.

Изменяет. Атомарность там на уровне записи единичного документа.
http://guide.couchdb.org/editions/1/en/documents.html


Ответить | Правка | Наверх | Cообщить модератору

28. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Crazy Alex (ok), 28-Июл-11, 13:53 
Redis - он не совсем key-value, вообще-то. А так - ну, собственно, выборка по первичному ключу (ближайший аналог этой библиотеки) даже в мускуле весьма шустра, особенно если воспользоваться кодом японцев и избавиться от парсинга SQL. HandlerSocket выдавал у них в тестах около 750000 операций чтения в секунду - это на восьми ядрах, но зато по сети. В общем, цифры сравнимые.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

30. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 28-Июл-11, 14:16 
> Redis - он не совсем key-value, вообще-то. А так - ну, собственно,
> выборка по первичному ключу (ближайший аналог этой библиотеки) даже в мускуле
> весьма шустра, особенно если воспользоваться кодом японцев и избавиться от парсинга
> SQL. HandlerSocket выдавал у них в тестах около 750000 операций чтения
> в секунду - это на восьми ядрах, но зато по сети.
> В общем, цифры сравнимые.

Достали уже.

1) Redis key-value, просто со структурами данных.
2) Неправильно считают. Надо считать транзакции, а не операции. Тогда SQL вчистую сливает. Проверено.

Ответить | Правка | Наверх | Cообщить модератору

41. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Аноним (-), 28-Июл-11, 16:53 
> просто со структурами

Структуры данных индексировать гораздо сложнее, чем текстовые строки. Следовательно и сам движок существенно отличается от других key-value БД.

>> операций чтения
> Надо считать транзакции, а не операции

Что за транзакции чтения такие?

Ответить | Правка | Наверх | Cообщить модератору

45. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от Аноним (-), 28-Июл-11, 19:04 
А кстати, что насчет Exadata 2? Это если говорить о транзакциях? Кто там кому сливает?
Ответить | Правка | Наверх | Cообщить модератору

64. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 31-Июл-11, 23:25 
>> просто со структурами
> Структуры данных индексировать гораздо сложнее, чем текстовые строки. Следовательно и
> сам движок существенно отличается от других key-value БД.
>_<

Массивы и словари обычные. И о какой индексации, вообще идет речь ?

Redis - это очень круто, не спорю. Он поддерживает не только хранение всякого разного,
но и потоки сообщений, крайне (для key-value DB)

>>> операций чтения
>> Надо считать транзакции, а не операции
> Что за транзакции чтения такие?

Пруф теста, пожалуйста.


Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

65. "Компания Google открыла исходные тексты БД LevelDB"  +/
Сообщение от uhbif19 (?), 31-Июл-11, 23:28 
... крайне (для key-value DB) сложные операции над данными. И очень хорошая документация кстати.

Но это не отменяет того, что она k-v База Данных. Продвинутая, но все-же.


Ответить | Правка | Наверх | Cообщить модератору

54. "Компания Google открыла исходные тексты БД LevelDB"  +1 +/
Сообщение от Аноном (?), 28-Июл-11, 22:15 
Покажите мне в MyISAM транзакции. Что до редиса - штуковину, умеющую делать intersert для множеств, я в чистые key-value (рядом с TokyoCabinet и memcached) записывать не готов.
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру