The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей

21.11.2022 22:27

Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0.

HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей. Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю. Движок может применяться для низкоуровневого хранения данных в NoSQL СУБД, программных хранилищах (SDS, Software-Defined Storage) типа Ceph и Scality RING, платформах для обработки больших объёмов данных (Big Data), системах высокопроизводительных вычислений (HPC), устройствах интернета вещей (IoT) и решениях для систем машинного обучения. В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

Основные возможности HSE:

  • Поддержка типовых и расширенных операторов для обработки данных в формате ключ/значение;
  • Полная поддержка транзакций с возможностью изоляции срезов хранилища через создание снапшотов (снапшоты также могут применяться для поддержания независимых коллекций в одном хранилище);
  • Возможность использования курсоров для перебора данных в представлениях на основе снапшота;
  • Модель данных, оптимизированная для смешанных типов нагрузки;
  • Гибкие механизмы управления надёжностью хранения;
  • Настраиваемые схемы оркестровки данных (распределения по разным типам памяти, присутствующим в хранилище);
  • Библиотека с C API, которая может динамически связываться с любыми приложениями. Наличие привязок для Python и Java;
  • Поддержка хранения ключей и данных в сжатом виде.
  • Возможность масштабирования до терабайтов данных и сотен миллиардов ключей в хранилище;
  • Эффективная обработка тысяч параллельных операций;
  • Возможность использования в одном хранилище SSD-накопителей разных классов для оптимизации производительности и продления срока службы накопителя.



Значительное изменение номера версии в HSE 3.0 вызвано наличием изменений в API, CLI, параметрах конфигурации, REST-интерфейсе и формате хранения, нарушающих обратную совместимость. При подготовке нового выпуска основное внимание было уделено оптимизации хранения данных для повышения производительности при некоторых важных видах нагрузки. Среди наиболее заметных улучшений:

  • Производительность операций с курсором теперь не зависит от длины фильтра, что позволяет без снижения пропускной способности перебирать ключи, используя курсор с произвольными фильтрами.
  • Увеличена производительность чтения и записи в ситуациях использования монотонно увеличивающихся ключей, например, при хранении срезов значений параметров, записываемых через определённые промежутки времени, в системах мониторинга, финансовых платформах и системах опроса состояний датчиков.
  • В API предоставлена возможность управления сжатием на уровне отдельных значений, что позволяет держать в одном хранилище как сжатые, так и несжатые записи.
  • Добавлены новые режимы открытия KVDB, позволяющие формировать запросы к БД в хранилищах, доступных только на чтение.


  1. Главная ссылка к новости (https://github.com/hse-project...)
  2. OpenNews: Новая проблема в SSD-накопителях HPE, приводящая к потере данных через 40000 часов
  3. OpenNews: Facebook выпустил модуль Flashcache 3.0 для организации кэширования на SSD-накопителях
  4. OpenNews: Доступен dm-writeboost, Linux-модуль для кэширования на SSD-накопителях
  5. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
  6. OpenNews: Micron открыл код движка хранения HSE, оптимизированного для SSD
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/58165-hse
Ключевые слова: hse, micron, nosql, mongo, ssd, memory
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 22:52, 21/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +23 +/
    "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"

    идея поражает своей новизной

     
     
  • 2.2, анонимус (??), 22:56, 21/11/2022 [^] [^^] [^^^] [ответить]  
  • –4 +/
    и че дальше?
     
     
  • 3.4, Аноним (4), 23:23, 21/11/2022 [^] [^^] [^^^] [ответить]  
  • +19 +/
    Очевидно, что всё будет храниться в памяти, ssd станет вечным, а скорость неописуемой. Всё как ты хотел. Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей скоростью и надёжностью.
     
     
  • 4.7, анонна (?), 23:54, 21/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    верно и при этом производители памяти смогут хорошо навариться на увеличенном её расходе = требования к железу станут опять выше. как видим и производителям и этим махинаторам все на руку)) ура прогресс.. или регресс? в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" системы придумали? ждем ноухау - разделяемые куски операционной системы)) ну там системд-ядро или системд выполняющая его функции? короче все счастливы и у всех есть повод поживиться еще раз))
     
     
  • 5.51, n00by (ok), 09:36, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
    > системы придумали?

    Для борьбы с «ожирением» производителей проприетарного ПО.

    Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.

     
     
  • 6.63, анонна (?), 11:54, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    тратилось много, при недостатке оперативной памяти, поскольку грузилось все в не... большой текст свёрнут, показать
     
     
  • 7.87, n00by (ok), 11:18, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это было лишь бы не как в Венде , где исполняемые образы не читались целиком в ... большой текст свёрнут, показать
     
  • 4.27, Аноним (-), 02:04, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей
    > скоростью и надёжностью.

    Вот только после ребута или слета питания будет какая-то подстава, которой SSD не подвержен.

     
     
  • 5.44, пох. (?), 09:10, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Он еще худшей подвержен - вообще может в тыкву превратиться если в этот момент обновлялись страничные таблички.

    Так что все норм. Да и судя по спецификации и примеру применения - там никто и не заметит.

    Системы мониторинга, ага. Которым нужно ssd а лучше nvdimm. Ну мы поняли, поняли, у кого такие системы и что они "мониторят".

     
  • 5.64, Аноним (64), 12:30, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Не разрешайте уборщице грызть силовой кабель.
     
  • 4.40, Аноним (40), 08:02, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Очевидно что ты вообще не знаешь как работает вытеснение памяти, элементарный своп, как кэшируют данные с диска все современные ОС, СУБД, ну и вообще непонятно, что ты знаешь кроме как начёсывать своё ЧСВ этими высерами
     
     
  • 5.59, Аноним (59), 11:17, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ramdisk? не, не слышал
     
  • 2.43, Аноним (43), 09:06, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Кэш в Linux давно уже отправил в ОЗУ и ssd-шка стала спать больше кота.
     
  • 2.49, лютый ж.... (?), 09:30, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

    и оно положит случайные куски базы, индексов или journal в ОЗУ. что же может пойти не так? )

     
     
  • 3.62, пох. (?), 11:24, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде все ж норм - как раз неслучайные, а только нужные. Ну, нужные по мнению разработчиков неведомой хрени, так что неизвестно что хуже.

     
  • 2.58, An onymous (?), 10:58, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"
    > идея поражает своей новизной

    Острословы не прочитали про NVDIMM?

     
  • 2.68, Аноним (68), 14:09, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Что еще ждать от современных разработчиков, не способных придумать ничего новее чем кэшировать данные в озу.
     
  • 2.76, вася (??), 21:47, 23/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    они кешируются в чужой ОЗУ
     

  • 1.3, pashev.ru (?), 23:21, 21/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    В чём суть «оптимизаций»? Есть сравнения с другими? Насколько дольше проживёт флэшка с этой библиотекой, чем с другой?
     
  • 1.14, AleksK (ok), 00:28, 22/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУ

    Почти все актуальные операционные системы так делают. Более у того у всех жестких дисков хоть HDD хоть SSD есть кэш под эти цели.

     
     
  • 2.45, пох. (?), 09:13, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Почти все актуальные операционные системы так делают.

    они в отличие от этой хрени немного не в курсе формата данных, поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя ключи которые понадобятся вотпрямщас а до значений может и не дойдет даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и она вообще не нужна.

    Но учитывая описываему сферу применения - конечно, вряд ли это хоть что-то разумное.

     
     
  • 3.55, AleksK (ok), 10:28, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > они в отличие от этой хрени немного не в курсе формата данных,
    > поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя
    > ключи которые понадобятся вотпрямщас а до значений может и не дойдет
    > даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и
    > она вообще не нужна.

    Это понятно, но те же SQL серверы без проблем могут засунуть в память чуть ли ни всю базу если объем памяти позволяет.

     
     
  • 4.61, пох. (?), 11:23, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    ага, причем у них в памяти будет не дурацкий key-value, а результат обработки сложных запросов. Но для того что эти тут планируют собирать - им не надо sql.

     
  • 2.78, Аноним (78), 00:54, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Отстал ты от прогреcса, тенденция сейчас, а уже как 5 лет назад появилась SSD без своей памяти бараньей (RAM) выпускать. Емею такой SSD, купил из-за цены, нет это не производитель такой мало известный это тенденция такая как я понял выпускать SSD только c flash памятью. Ноль у SSD RAM памяти ноль. Для точности нодо смотреть какой сейчас процент в продаже таких SSD без RAM пямяти.
     
     
  • 3.79, Аноним (78), 00:58, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Я уже и забыл знал я, что SSD покупаю без своей у этого SSD RAM памяти или нет. Может и не знал.
     
     
  • 4.80, Аноним (78), 01:00, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде знал так как изучал, что покупаю. Забыл как было.
     
  • 3.82, Аноним (-), 01:34, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Возможное я не правильно называю наличие в дисках DRAM памяти кешем. Есть такая информация. "Контроллер SSD-накопителя. Чем производительнее контроллер, тем выше будет скорость как до заполнения SLC-кэша, так и после.
    Наличие DRAM-буфера на накопителе. В этом буфере находится таблица с адресами данных в ячейках NAND памяти SSD. А это позволяет не считывать данные лишний раз для проверки. Поэтому при наличии DRAM-буфера скорости накопителя выше как до заполнения SLC-кэша, так и после"
     
  • 3.84, Аоним (?), 02:09, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Все мои слова не совсем к месту. Кеш это кеш, а буфер это буфер.
     
     
  • 4.88, Аноним (88), 21:55, 25/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Кэш.
     
  • 2.81, Аноним (-), 01:11, 24/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Или может имелось ввиду SLC-кэш? Или обстрактно любой кеш в дисках?
     

  • 1.19, Аноним (19), 00:48, 22/11/2022 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • +4 +/
     
     
  • 2.24, Аноним (-), 01:19, 22/11/2022 Скрыто модератором
  • +3 +/
     
     
  • 3.29, Аноним (-), 02:06, 22/11/2022 Скрыто модератором
  • +1 +/
     
     
  • 4.30, Аноним (30), 02:11, 22/11/2022 Скрыто модератором
  • +1 +/
     
     
  • 5.35, Аноним (35), 03:22, 22/11/2022 Скрыто модератором
  • +4 +/
     
  • 3.31, Аноним (31), 02:37, 22/11/2022 Скрыто модератором
  • –1 +/
     
     
  • 4.38, Аноним (-), 06:32, 22/11/2022 Скрыто модератором
  • +/
     
  • 4.39, Аноним (39), 07:34, 22/11/2022 Скрыто модератором
  • +/
     
     
  • 5.48, пох. (?), 09:29, 22/11/2022 Скрыто модератором
  • +/
     

     ....ответы скрыты модератором (8)

  • 1.47, Аноним (43), 09:27, 22/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сейчас объём оперативной памяти так и говорит "кинь в меня кэш"
    и ZRAM очень довольно рациональная технология: зачем свапится на диск, когда много ОЗУ.. можно ещё и пожать там.
    Можно ещё совсем поехать: собрать свой Live дистрибутив Linux со всеми необходимыми прогами, закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.
     
     
  • 2.50, лютый ж.... (?), 09:33, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.

    SSD и так проживёт намного дольше обычного НЖМД ) особенно если купить нормальный типа samsung evo. не понимаю эти все приседания насчёт ресурса ССД в бытовом применении.... я даже не уверен, что ты сможешь специально ресурс такого ССД выжрать, если задашься целью

     
     
  • 3.52, Аноним (43), 09:53, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    да тут не приседание с ресурсом, а скорее с мусором. тебе так хочется чтобы ссдшка пережевывала мусор?
     
  • 3.54, Аноним (54), 10:21, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Так массово дохнут же. SSD живёт дольше только в ноутах ламерья, которые ноут с жёстким диском таскают (да ещё неаккуратно, размахивая ими и резко опуская на поверхности) во включённом состоянии, забывая о гироскопическом эффекте и о том, что головки на нанометры подходят к блинам (при этом бытовые вибрации дадут тряску на несколько нанометров (σ≈0.5 nm, но это СКО, а в распределении встречаются и 3σ, и даже 5σ), а небольшие удары столу - на десятки, даже на виброизолированном с помощью резины и пенопласта основании).
     
     
  • 4.69, анонимоузе (?), 14:31, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Нанометры там не просто воздуха, а воздушной подушки, то есть высокого давления. Потому система достаточно стабильно работает, и в спецификации на хдд указаны допустимые при работе ускорения. Что не говорит, конечно, что надо трясти, колотить или ронять хдд во время работы.
     
     
  • 5.71, Аноним (71), 23:27, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Длина свободного пробега при атмосферном давлении ~100 nm, если между головкой и блином ~1 nm, то число Кнудсена ~100, то есть высокий вакуум.
     
  • 4.75, лютый ж.... (?), 18:12, 23/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Так массово дохнут же

    ссылку покажешь на массовую гибель брендовых SSD? (желательно указанное выше samsung evo)

     
  • 2.56, pin (??), 10:37, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > зачем свапится на диск, когда много ОЗУ, ZRAM

    swapoff, не?

     

  • 1.53, Аноним (54), 10:10, 22/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей.
    >Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти

    Пчёлы против мёда?

     
     
  • 2.57, anonymous (??), 10:41, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    для бигдаты же, её не становится меньше, надо всё покупать и покупать
     
     
  • 3.60, пох. (?), 11:21, 22/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    но она же не влезет на vmdimm?
     

  • 1.70, Попандопала (?), 15:31, 22/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Программисты наконец оптимизировали что-то там. Прогресс и киллерфича.  Пол чемодана ссд на всякий случай... теперь не нужно.
     
     
  • 2.73, Аноним (-), 00:11, 23/11/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Надо полчемодана оперативы.
     

  • 1.74, Пастухов (?), 00:20, 23/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Давайте в etcd затащим
     
  • 1.77, fuggy (ok), 22:45, 23/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это СУБД для ФС или ФС для СУБД. То ли это key-value db с REST интерфейсом, то ли это низкоуровневая библиотека для других СУБД.
     
  • 1.89, Аноним (89), 21:22, 27/11/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Раньше были фс для флюш накопителей (f2fs или как оно?), теперь библиотека:)

    Раньше говорили, что в ssd встраивают умные контроллеры и кэши большие можно и без спец фс.. теперь это.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2022 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру