The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Опубликован MyRocks, движок хранения к СУБД MySQL от Facebook

01.09.2016 23:32

Facebook представил проект MyRocks, в рамках которого развивается новый движок хранения для СУБД MySQL 5.6, основанный на системе хранения RocksDB, оптимизированной для Flash-накопителей. Главными целями создания MyRocks является повышение эффективности хранения данных на Flash-накопителях и сокращение размера БД.

В качестве основных причин большого потребления дискового пространства в InnoDB отмечается фрагментация, низкая степень сжатия и выравнивание сжатых данных внутри хранилища по страницам фиксированного размера (размер страницы 8 Кб и даже если данные упакованы в 5 Кб всё равно будет израсходован блок в 8 Кб). Хранилище MyRocks лишено данных недостатков, так как применяет размер страницы плавающего размера и предоставляет значительно более эффективный метод сжатия. MyRocks также выполняет меньше операций последовательного чтения/записи за счёт использования модели хранения данных в форме лога (Log Structured Merge Trees), допускающей только дополнение (чистка производится сборщиком мусора).

При хранении аналогичного объёма данных внедрение нового хранилища на основные серверы Facebook позволило на 50% сократить размер БД по сравнению со сжатым хранилищем InnoDB и в 3.5 раза по сравнению с InnoDB без применения сжатия. Кроме сокращения размера применение MyRocks также привело к ускорению репликации за счёт сокращения операций чтения при обновлении ключей. Также ускорились операции загрузки данных в БД, благодаря пакетной обработке входящих данных.

При этом MyRocks пока имеет ряд ограничений, таких как отсутствие поддержки внешних ключей, online DDL, автоматического определения взаимных блокировок, партицирования, полнотекстовых и пространственных индексов. Со временем имеющиеся недостатки планируется устранить.

  1. Главная ссылка к новости (https://code.facebook.com/post...)
  2. OpenNews: Facebook представил WebScaleSQL, высоко масштабируемый вариант MySQL
  3. OpenNews: Проект NewSQL призван решить проблемы, с которыми столкнулся Facebook, используя MySQL
  4. OpenNews: Facebook открыл код инструмента для ускорения смены схемы данных в MySQL
  5. OpenNews: Компания Google открыла исходные тексты БД LevelDB
  6. OpenNews: Facebook открыл код NoSQL БД RocksDB, оптимизированной для Flash-накопителей
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/45064-facebook
Ключевые слова: facebook, mysql, rocksd
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (74) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, S.Atahla (?), 23:54, 01/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Слава Нью Гэйблу
     
  • 1.2, YetAnotherOnanym (ok), 00:05, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Кстати, в тему движков хранения: https://eng.uber.com/mysql-migration/
    Может, кому-то интересно будет.
     
     
  • 2.8, Аноним (-), 03:01, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну вот, а бздюки так вопили что постгр рулит, а мускул нет. И тут пришел uber и как обычно малину обоцрал.
     
     
  • 3.31, Аноним (-), 11:21, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    постгрес все еще рулит, а вот спецы убера точно нет
     
     
  • 4.38, Аноним (-), 13:32, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > постгрес все еще рулит, а вот спецы убера точно нет

    Только спецы из убера технически обосновали, с глубоким пониманием механики работы базы. А опеннетовские эксперты как обычно только мнение имеют.

    Отличный пример почему "факты" и "мнения" опеннетовских экспертов стоит перепроверять. Дважды. А если это бсдшники - минимум трижды, потому что эти пи...т больше всех остальных вместе взятых.

     
     
  • 5.52, fi (ok), 15:47, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Заметка интересная.

    И всё же есть некоторые сомнения, та же глава 'Data Corruption' - такие баги обычно легко обнаруживаются и фиксятся в миноре, а тут …. Да и проблема с MVCC не вызывает доверия.
    Btw. futexes еще тот крендель - сколько натыкался на него :)))  

    Надо попросить прокомментировать разработчиков Pg. :))


     
     
  • 6.53, User (??), 15:55, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgres-limitations/
     
     
  • 7.71, Аноним (-), 21:55, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgres-limitations/

    One more step
    Please complete the security check to access blog.2ndquadrant.com

    Оок, DBA-затейники не могут себя обслужить без шпионской CDN. Так и запишем.

     
  • 7.72, Аноним (-), 22:09, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgres-limitations/

    В общем там стандартные отписки разработчиков что все не так плохо, этонебагафича!!!11 потому что они так за всех решили.

    Пару вещей отписана в духе
    - Сделаем в 10.0
    - Сделаем когданибудь

    ...что не очень поможет уберу с нагруженным в потолок продакшном прямо сейчас.

    И жестокое непонимание проблем больших компаний, которым оплата за бандвиз икается больше чем какая-то там нагрузка на какие-то там сервера. И никто не хочет разгружать проц если это ведет к росту бандвиза.

     
  • 7.77, fi (ok), 00:23, 05/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgres-limitations/

    вот, хорошие ответы, я как-то это и подозревал по многим пунктам, те же вторичные индексы - промежуточная ступень PK не есть гут, тем более он может быть составной, проблема с MVCC явно надумана.

    зы. наверно уволился Pg DBA :))))))))))))

    зы2. собственно Убера понять можно -  Schemaless как надстройка над mysql, и Pg тут не причем. Как собственно MyRocks у ФБ


     
  • 6.69, Аноним (-), 21:38, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > такие баги обычно легко обнаруживаются и фиксятся в миноре, а тут

    А тут большая компания обнаруживает веселые баги в продакшне, у них глючит софт и они сношаются с изобретением воркэраундов хотя-бы в своем софте, которому прилетают дубликаты записей. После чего они имеют радость resilvering всего продакшна в неиспорченный вид по всем серверам, выискивая реплики которые не битые. Наверняка они именно этим мечтали заниматься вместо организации извоза.

    > Надо попросить прокомментировать разработчиков Pg. :))

    Там не самый свежий релиз но утверждается что по крупному в этих механизмах ничего не меняли. Впрочем пользователи 1С это не убер, они не заметят подвоха даже если им вместо базы /dev/urandom отгружать.

     
     
  • 7.76, fi (ok), 00:04, 05/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Uber  использует продакшен для QA? :D :D :D

    количество записей - базовая часть регрешен тестов.

    зы btw, я использовал 9.0 и 9.2 (как и 9.4) в продакшен - этой проблемы не наблюдал, скорей всего очень специфическая проблема.  

     

  • 1.3, KOT040188 (ok), 00:28, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Facebook разошёлся… Казалось бы при чём здесь соцсеть…
     
     
  • 2.4, Crazy Alex (ok), 00:36, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +5 +/
    При том, что с определённого объёма у них не осталось другого выбора, кроме как разрабатывать софт под себя. А так как они всё же социальная сеть, а не софтописатель - вываливают всё, что могут, в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё и не надо будет тащить затраты в одиночку. Хорошая современная модель, в общем-то - только мало кто это догоняет.

    Edit: впрочем, я не прав. уникальность фейсбука в том, что их основной asset - это железки и не "интеллектуальная собыственность", а собственно сеть - люди. Если они хоть весь свой софт откроют - конкурентам от этого особо легче не станет. Поэтому открытие кода никаких рисков не несёт, а вот плюшки получить можно.

     
     
  • 3.5, Аноним (-), 02:01, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    давно facebook  работает на asic?
     
     
  • 4.6, XoRe (ok), 02:46, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > давно facebook  работает на asic?

    А вы давно перестали бить свою жену?

     
     
  • 5.13, Аноним (-), 05:18, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    ББПЕ
     
  • 4.9, Аноним (-), 03:04, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > давно facebook  работает на asic?

    С тех пор как начали проектировать свои свичи. Захотев ни много ни мало открытую фирмварь управления, которая интегрируется с их остальной инфраструетурой. Будучи фэйсбуком можно позволить себе не подлизывать цискам и жуниперам.

     
     
  • 5.16, Дегенератор (?), 07:28, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Их первый спутник для Африки за 200 лимонов сожгли, как-бы не психанули и не начали сами ракеты строить...
     
     
  • 6.18, Аноним (-), 08:04, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Думаю, потомки африканцев будут благодарны тому, кто накосячил на стартовой площадке нумер 40
     
  • 6.39, Аноним (-), 13:36, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Их первый спутник для Африки за 200 лимонов сожгли, как-бы не психанули
    > и не начали сами ракеты строить...

    Как показал пример того же маска - это перспективнее чем всякие печальные роскосмосы, отставшие в развитии на полвека. Да-да, почитай кто и где исследует всякие фотонные, ионные и какие там еще двигатели с гораздо более высокой удельной тягой. Ну и кто позволит курсировать в результате челнокам между планетами по типу автобусов и поездов. Наверное это будет не роскосмос.

     
     
  • 7.49, angra (ok), 15:11, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Пример Маска показывает, что нашим мастерам распила и вешанья лапши на уши электорату до американских как до Луны пешком. Что не удивительно, там распилом и околпачиванием уже не первое столетие занимаются.
     
     
  • 8.58, Аноним (-), 19:00, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Самый дорогой космодром планеты - почему-то получился у россиян Расскажешь что ... текст свёрнут, показать
     
     
  • 9.60, Дегенератор (?), 19:06, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Качественно ты набросил в тему политоты, давай заменим слово россиян на амери... текст свёрнут, показать
     
     
  • 10.70, Аноним (-), 21:53, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А что - стелс Стелс логичное семейство технологий Когда есть куча компьютеров,... текст свёрнут, показать
     
  • 9.73, angra (ok), 22:37, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Уникален Уже более двух тысяч лет по всему миру регулярно пилят и откатывают б... текст свёрнут, показать
     
  • 9.74, Ilya Indigo (ok), 22:48, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Справедливости ради, хотя бы то, что мы первые запустили спутник, облетели луну ... текст свёрнут, показать
     
     
  • 10.75, Led (ok), 16:20, 04/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Прикинь, какая Фау-2 удачная получилась ... текст свёрнут, показать
     
     
  • 11.79, _ (??), 19:23, 06/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    В ракетах и женщинах ты не разбираешься Диагноз окончательный АЗЪ ... текст свёрнут, показать
     
  • 7.59, Дегенератор (?), 19:02, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Британцы много исследуют - однозначно они будут первыми.
     
  • 4.25, АНоним (?), 09:50, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    и ASIC и FPGA эксперименты у них - вяло текут а вот с ARM, MIPS и что интереснее Power8/9 серваками кастомными(по заказу ODM входящим в OpenPower, азиатским)- весьма бодро внедряют.
    к "аппаратным" реализациям нейронных сетей навроде гуглевских они впрочем пока прохладно и это оправданно в их Текущем виде. но мб все изменится и Тут.\

    p.s.
    а вот распределенные ДБ пилить(с кассандры начиная)и адаптировать их и message-passing в основной тушке сервисов - они подзабросили(хотя в почту и мессенджер - помаленьку проникает в силу бенефитов).

     
     
  • 5.35, Crazy Alex (ok), 13:04, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это я там "не" пропустил. Поинт как раз в том, что они могут себе позволить не только экспериментирровать, но и результаты экспериментов в открытую отдавать, так как зарабатывать на железе явно не собираются и возятся с ним только ради уменьшения расходов.
     
  • 4.34, Crazy Alex (ok), 13:02, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Сорри - "не" пропустил.
     
  • 3.10, Аноним (-), 03:09, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > же социальная сеть, а не софтописатель - вываливают всё, что могут,
    > в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё
    > и не надо будет тащить затраты в одиночку. Хорошая современная модель,
    > в общем-то - только мало кто это догоняет.

    Да не скажи. Сейчас сколь-нибудь серьезные компании без своего гитхаба выглядят как ископаемые из прошлого столетия. Даже у цыски оказывается есть закоулок на гитхабе. Не то чтобы сверхкрутой, но там вывалены всякие openh264, thor и немало всяких (полу)внутренних проектов. А у гугля один только список репов - 30 страниц, с проектами на все вкусы.

     
     
  • 4.36, Crazy Alex (ok), 13:06, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так это как раз следствие того, что опенсорс - неплохой вариант сэкономить. И если этой возможностью не пользуются - возникают закономерные вопросы. Гугл - песня отдельная, конечно.
     
     
  • 5.40, Аноним (-), 13:47, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Большинство самых крутых стартапов современности - на этом самом опенсорсе как р... большой текст свёрнут, показать
     
     
  • 6.56, Crazy Alex (ok), 18:18, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ну да, вроде того. Надо просто понимать, что это не идеализм какой, а чистая прагматика.

    Взять стартапы те же - ясен пень, что они на опенсорсе взлетели. Стартап - это по определению минимизация затрат на старте. И о "совсем не в их интересах чтобы то что им позволяет работать сдувалось бы" я и говорю - в одно рыло софт писать дороговато. А так как они не софтом торгуют - им поддержка открытого кода проблем не создаёт. Софтовым же компаниям приходится как-то исхитряться, чтобы таки получать деньги за то, что они пишут. Как по мне - с хорошей системой краудфандингового найма разработчиков (на базе даже не опенсорса, а скорее свободного софта) 90% этим софтовых компаний загнутся, и туда им дорога.

     
     
  • 7.61, Аноним (-), 19:13, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    А опенсорс вообще штука прагматичная - люди берут и делают что им было надо, с м... большой текст свёрнут, показать
     
  • 3.37, МимоКрокодил (?), 13:15, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    >вываливают всё, что могут, в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё и не надо будет тащить затраты в одиночку

    Это не про затраты. это про качество
    https://changelog.com/211/

     
     
  • 4.55, Crazy Alex (ok), 18:09, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так цена/качество - вечный вопрос
     

  • 1.7, Аноним (-), 02:58, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > MyRocks пока имеет ряд ограничений, таких как отсутствие поддержки внешних ключей, online DDL, автоматического определения взаимных блокировок, партицирования, полнотекстовых и пространственных индексов.

    По сути кроме хранения ничего он и не умеет.

     
     
  • 2.11, Аноним (-), 03:36, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > По сути кроме хранения ничего он и не умеет.

    Как ни странно - это то что и требуется от базы данных чаще всего.

     
     
  • 3.12, Аноним (-), 04:51, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Это подтверждено на NoSQL
     
     
  • 4.41, Аноним (-), 13:49, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Это подтверждено на NoSQL

    ИМХО, не в обиду переросткам типа Oracle, но их место - там же где и майнфреймов. Deprecated технологии.

     
  • 2.65, Ilya Indigo (ok), 20:12, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А ещё транзакции он вполне себе поддерживает, так что можно вполне уже сейчас это использовать.
     
     
  • 3.67, Led (ok), 20:34, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > так что можно вполне уже сейчас это использовать.

    Да ПХП-исты вообще что угодно могут использовать (и за буйки заплывать, и улицу на красный свет переходить) - что с них возмёшь? Миллион уволили - миллион наняли... Какая раница? Так, расходный материал...

     

  • 1.14, Аноним (-), 07:15, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц назад, и в ответ никакого ответа!
     
     
  • 2.19, Аноним (-), 08:17, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А это не баг
     
  • 2.24, Аноним (-), 08:42, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц
    > назад, и в ответ никакого ответа!

    make install -DTOKUDB=on -C /usr/ports/databases/mariadb101-server

     
  • 2.42, Аноним (-), 13:51, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц
    > назад, и в ответ никакого ответа!

    Тогда придется тебе еще взять в руки редактор, компилер и дебагер и обслужить себя самому. Фэйсбук AFAIK не пользуется FreeBSD, поэтому они скорее всего даже воспроизвести не смогут. Ты же не думаешь что для починки того что надо ТЕБЕ они резко побегут нанимать тех кто разбирается в бсд? Если случайно кто-то сможет замахать - скажи спасибо. Иначе придется самому.

     

  • 1.15, Mail (?), 07:23, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот когда допилят "поддержку внешних ключей, online DDL, автоматическое определение взаимных блокировок, партицирование, полнотекстовые и пространственные индексы" тогда и будем сравнивать.

    А пока это клон какой-то mongodb.

     
     
  • 2.21, Аноним (-), 08:30, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они могут это никогда так не начать пилить. Т.к. им это не нужно. А если добавить этот функционал появиться overhead
     

  • 1.17, Аноним (-), 08:03, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    плохое название, могли бы MySwag зделоть
     
     
  • 2.23, Аноним (-), 08:40, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > плохое название, могли бы MySwag зделоть

    MyClass {
        public function HelloWorld () {
        }
    }

     

  • 1.20, anonimnous (?), 08:19, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Tokudb обходит?
     
     
  • 2.22, Аноним (-), 08:39, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, там даже возможностей и фич меньше. Главное разработка в facebook пыхапе любителями...
     
     
  • 3.43, Аноним (-), 13:55, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет, там даже возможностей и фич меньше. Главное разработка в facebook пыхапе
    > любителями...

    Эти любители пэхапэ однако ж держат на себе МИЛЛИАРД хомяков со всеми их фоточками котят и не падают. Но, конечно, можно слушать и мнение экспертов с 10 пыльных роутеров на бсд в подвале из ближайшего пыанэрхостинга, покуда фэйсбук окрутел настолько что запиливает сам себе нормальные свичи с ASIC.

     
     
  • 4.46, Аноним (-), 14:16, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Думаю сервера у них падают чаще чем ты думаешь, мой маленький любознатель.
     
     
  • 5.50, angra (ok), 15:21, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А сервис при этом остается рабочим. Пользователя не интересует какой процент серверов фейсбука лежит в данный момент, если при этом все продолжает работать на оставшихся в строю.
     
  • 5.62, Аноним (-), 19:14, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Думаю сервера у них падают чаще чем ты думаешь, мой маленький любознатель.

    Но хомяки это не видят. Это называется правильная архитектура сервиса. Но тебе это ессно не грозит.

     
     
  • 6.63, Аноним (-), 19:17, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > правильная архитектура сервиса

    Синяя изолента и аппаратное железцо!

     

  • 1.26, Аноним (-), 09:57, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Facebook позволило на 50% сократить размер БД по сравнению со сжатым хранилищем InnoDB

    Вообще то как бэ сжатая InnoDB в 2 раза больше несжатой MyISAM. Чего они добились не понятно...

     
     
  • 2.27, Аноним (-), 10:04, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
                     | Data Size    | Comp. size    | Table size    | CPU load
    --------------------------------------------------------------------------------------------
    MyIsam            | 9.76 MB      | 19 KB         | 9,80 MB       | 5%
    InnoDB            | 9.76 MB      | 19 KB         | 62,52 MB      | 40%
    InnoDB compr | 9.76 MB      | 19 KB         | 22,60 MB      | 99%
    TokuDB            | 9.76 MB      | 19 KB         | 9,79 MB       | 20%
    ARCHIVE         | 9.76 MB      | 19 KB         | 76,59 KB      | -

    Там даже больше, чем в 2 раза. Из-за того, что страничная структура InnoDB вообще не предназначена для сжатия.

     
  • 2.28, Аноним (-), 10:10, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    В Percona уже 6 лет собираются решить эту проблему с помощью найтивного сжатия строк и столбцов на уровне самой базы, а не движков:
    https://blueprints.launchpad.net/percona-server/+spec/change-compression
    https://bugs.launchpad.net/percona-server/+bug/1509991
     

  • 1.29, Лютый жабист_ (?), 10:39, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Недавно тестил Postgres vs Mysql на задаче максимально быстрая выборка из базы с 5млн key-value. Выборки в обе стороны.

    Увидительно, но Pg порвал даже Mysql с MEMORY базой. Лежащая на диске оказалась вообще тормозом, что исам, что инно. При этом ел меньше ОЗУ.

    Понятно, что джава с Bidimap в ОЗУ была разрывающе быстрее обоих вариантов. Но миф про быстрый мускуль был развенчан! :D

     
     
  • 2.30, _hide_ (ok), 10:53, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Попробуйте в памяти и из отсортированного файла без базы. Будет быстрее (хотя это от рук зависит). И да, чтобы что-то развенчать - нужно это смочь понять.
     
     
  • 3.45, Аноним (-), 13:58, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Попробуйте в памяти и из отсортированного файла без базы. Будет быстрее

    А если еще на си или плюсах запилить - хм, да, а чему там тормозить? Но есть некоторые нюансы :)

     
  • 2.33, Аноним (-), 12:57, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Вы определенно где-то допустили ошибку
     
     
  • 3.44, Аноним (-), 13:57, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вы определенно где-то допустили ошибку

    Ты на его ник посмотри. Наверное - в ДНК.

     
  • 2.51, angra (ok), 15:26, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Мускул быстрый в реальных задачах, а не в примитивном тесте.
    При этом существуют задачи, где мускул не является оптимальным выбором.
     
  • 2.64, Аноним (-), 19:37, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Мускул очень гибок. Как минимум благодаря только движкам, его можно очень тонко подстроить под нужную задачу. На постгресе вы не добъетесь полнотабличного сжатия, которое есть в движке ARCHIVE, не добьетесь сжатия, которое есть в tokudb, не создадите простую таблицу в памяти (без костылей), которая обеспечивается MEMORY. Мускул значительно выигрывает в партицировании, которое в следующем релизе вообще обещают сделать найтивным, и можно будет создавать таблицы из комбинаций движков.
    Единственный момент, где мускул проигрывает, это оптимизация запросов. Но Сложные запросы - это частный случай. Обычно мускул используется как простое key-value хранилище.
     

  • 1.47, Аноним (-), 14:27, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >MyRocks

    Ждём воя феминисток.

     
  • 1.66, Ilya Indigo (ok), 20:19, 02/09/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А в MariaDB эго собираются включать?
    Погуглил и ничего не нащёл на эту тему.
     
     
  • 2.68, Аноним (-), 20:36, 02/09/2016 [^] [^^] [^^^] [ответить]  
  • –3 +/
    В Percona точно включат. А MariaDB окончательно отделилась, и сейчас разработка еле тащится.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру