The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

11.10.2013 12:23  Facebook выпустил модуль Flashcache 3.0 для организации кэширования на SSD-накопителях

Социальная сеть Facebook анонсировала новую значительную версию Flashcache 3.0, системы для прозрачного кэширования данных на быстрых SSD-накопителях, оформленной в виде модуля для ядра Linux, использующего фреймворк Device Mapper (DM). Поддерживается как кэширование чтения с блочных устройств, так и ускорение записи за счёт предварительного сохранения данных на SSD-накопитель с последующим сбросом данных на диск. Код проекта распространяется под лицензией GPLv2.

На базе новой версии Flashcache в Facebook уже развёрнута система массового кэширования данных, охватывающая тысячи серверов. По сравнению с прошлым выпуском переход на Flashcache 3.0 позволил на 40% снизить число операций чтения при обращении к жестким дискам и на 75% сократить интенсивность ввода/вывода при записи. Благодаря использованию более изощрённого алгоритма для принятия решения по помещению данных в кэш эффективность кэширования удалось поднять с 60 до 80%, в среднем 80% всех обращений обрабатывается из кэша. Одновременно минимизировано появление невостребованных данных в кэше и осуществлён переход к более равномерному распределению по кэшу часто обновляемых данных, что уменьшило нагрузку по записи данных на SSD-накопители.

Отмечается три ключевых улучшения в Flashcache 3.0:

  • Изменён алгоритм заполнения кэша, который позволил обеспечить более равномерное распределение данных. Анализ нагрузки на серверах с MySQL (InnoDB) показал, что большинство операций записи концентрируются в нескольких регионах диска, операции чтения также распределяются по диску неравномерно. В этой ситуации используемая ранее схема линейного сопоставления 2 Мб блоков на диске с 2 Мб блоками в кэше приводила к тому, что определённые области SSD-накопителей использовались излишне интенсивно, в то время как другие области простаивали. Для решения проблемы вместо линейной схемы задействован метод случайного хэширования, а также изменён размер блоков - блок на диске был уменьшен до 256 Кб, а блок в кэше увеличен до 16 Мб. В итоге, если раньше 80% всех дисковых операций концентрировались в 50% кэша, то теперь 50% кэша охватывает 50% дисковых операций.
  • Переработана организация вытеснения неактуальных данных из кэша. Вместо ранее используемого алгоритма FIFO, подразумевающего вытеснение записей по времени их добавления, задействован алгоритм LRU, при котором записи вытесняются на основании давности обращения к ним. При использовании FIFO были нередки случаи когда единичные неактуальные данные замещали собой активно используемые записи, которые попали в кэш достаточно давно. Теперь в первую очередь из кэша вытесняются давно не используемые записи, независимо от порядка добавления данных в кэш. Задействована реализация LRU-2Q, подразумевающая помещение новых записей не в самый конец очереди на удаление, что позволяет сохранить 25% старых записей и исключить вытеснение старых записей в результате нетипичной пиковой активности, например при перестроении или миграции узла.
  • Увеличение эффективности сброса данных на диск при кэшировании в режиме отложенной записи (write-back). Ранее сброс на диск осуществлялся при накоплении порции готовой для записи данных в привязке к сегментам кэша и активности в них, что приводило к неравномерной производительности частей кэша (некоторые данные сбрасывались периодически, а некоторые могли достаточно долго ожидать сброса на диск). В новой версии чистка и сброс данных отделены от кэширования на чтение и производятся независимо от активности в кэше, что позволило сгладить производительность кэширования записи и выделить больше места на кэширование чтения.


  1. Главная ссылка к новости (https://www.facebook.com/notes...)
  2. OpenNews: Первый стабильный выпуск BTIER, блочного устройства для агрегирования накопителей в Linux
  3. OpenNews: Для Linux представлен TIER, блочное устройство для агрегирования накопителей
  4. OpenNews: Facebook открыл модуль Flashcache для организации кэширования на SSD-накопителях
  5. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
  6. OpenNews: Доступен dm-writeboost, Linux-модуль для кэширования на SSD-накопителях
Лицензия: CC-BY
Тип: Программы
Ключевые слова: flashcache, ssd, cache
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, vitalif, 12:55, 11/10/2013 [ответить] [смотреть все]    [к модератору]
  • +/
    Куда ещё-то один, когда bcache уже аж в ядро принят и кроме него есть ещё и dm-cache, dm-writeboost и BTIER, как справедливо отмечено в похожих новостях?
     
     
  • 2.3, linux must _RIP_, 13:02, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]
  • –4 +/
    dm-cache - это bcache вид с боку flashcache - это версия bcache c оптимизацией ... весь текст скрыт [показать] [показать ветку]
     
  • 2.5, Nick Knutov, 13:33, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +2 +/
    bacache пока нельзя совместить с OpenVZ, например, а flashcache можно.
     
  • 1.2, Аноним, 13:01, 11/10/2013 [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    мы изобрели файловую систему, которая использует другую файловую систему, котора... весь текст скрыт [показать]
     
     
  • 2.4, linux must _RIP_, 13:03, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –5 +/
    нельзя это не фревый GEOM - тут все гвоздями прибито ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.8, ананим, 14:02, 11/10/2013 [^] [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    Пиндабол Лишь бы срaчь развести Зыж А нормальный не брехлo в первую очередь ... весь текст скрыт [показать]
     
  • 3.12, Crazy Alex, 15:15, 11/10/2013 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Лехко - через DM.
     
  • 1.7, YetAnotherOnanym, 13:57, 11/10/2013 [ответить] [смотреть все]    [к модератору]  
  • +/
    > схема линейного сопоставления 2 Мб блоков на диске с 2 Мб блоками в кэше

    Это как? Получается, размер кэша равен размеру хранилища за кэшем?
    > изменён размер блоков - блок на диске был уменьшен до 256 Кб, а блок в кэше увеличен до 16 Мб

    Молодцы, открыли для себя твикинг, который любой вменяемый админ выполняет сразу после установки.
    И кстати, из текста никак не следует, что пространство внутри блока 16MB будет использоваться равномерно. Не удивлюсь, если SSD будет изношен полосками - 2MB изношено, 14MB свежие.

     
     
  • 2.10, all_glory_to_the_hypnotoad, 14:28, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +4 +/
    да не будет SSD изношен, внутри он сам обеспечивает равномерное использование вс... весь текст скрыт [показать] [показать ветку]
     
  • 1.11, Аноним, 14:46, 11/10/2013 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    Какой это по счету кэшь на ССД?
     
  • 1.13, Аноним, 15:15, 11/10/2013 [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Посдкажите я могу на десктопе использовать китайскую флешку, для ускорения опер... весь текст скрыт [показать]
     
     
  • 2.15, Аноним, 15:18, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –1 +/
    2 какой объем флешки необходим чем больше тем лучше допустим у меня винт 256... весь текст скрыт [показать] [показать ветку]
     
  • 2.16, Аноним, 15:42, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +1 +/
    Если китайская флешка - это SSD-диск нормального производителя, то да, можешь Е... весь текст скрыт [показать] [показать ветку]
     
  • 1.21, renton, 22:26, 11/10/2013 [ответить] [смотреть все]    [к модератору]  
  • +/
    На github до сих пор 2-ая версия лежит. Кто-нибудь знает, где скачать 3-ю?
     
     
  • 2.22, Serge, 22:36, 11/10/2013 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +1 +/
    я вот тоже решил попроовать - а кода-то и нет. просто не успели выложить? Но победная реляция была 2 дня назад  ( October 9, 2013 at 10:01am ). Странно как-то...
     
  • 1.25, медведдд, 05:37, 14/10/2013 [ответить] [смотреть все]    [к модератору]  
  • +/
    Грустно. Такие титанические полеты мысли и траты ресурсов планеты, а всё ради того чтобы у хомячков какой-нибудь "музончик с инета" не тормозил.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor