The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

27.05.2013 10:28  Первый стабильный выпуск BTIER, блочного устройства для агрегирования накопителей в Linux

Представлен первый стабильный релиз проекта BTIER 1.0.0, предназначенного для формирования многоуровневых блочных устройств, состоящих из нескольких разнотипных устройств небольшого размера. Код системы отмечен как стабильный и прошедший тестирование в промышленном использовании, в том числе в достаточно сложных конфигурациях, в которых используются сетевые разделы DRDB и работают приложения Oracle. BTIER оформлен в виде модуля для ядра Linux, который может быть собран для ядер, начиная с выпуска 2.6.32. Изначально проект развивался под именем TIER, но был переименован в BTIER для того чтобы упростить выборку связанной с проектом информации через поисковые системы. Исходные тексты BTIER распространяется под лицензией GPL.

За счёт оптимального разнесения блоков по дискам и использования техники активного кэширования данных в ОЗУ раздел на базе BTIER позволяет заметно поднять производительность сводного раздела. Например, при тестировании BTIER-раздела, созданного на базе SSD-накопителя STEC Zeus и 5 SAS НЖМД, и экспортируемого через iSCSI (SCST), была продемонстрирована способность выполнения заметно большего числа операций в секунду, по сравнению с системой кэширования на SSD-накопителях BCache.

Использование BTIER позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным, использующими SSD-накопители, благодаря применению техники кэширования в оперативной памяти, ранее реализованной в RAM-диске EPRD. При распределении данных по дискам TIER учитывает статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS НЖМД, а редко используемые данные будут размещены на медленных дисках.

В итоге, BTIER позволяет значительно сэкономить, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в BTIER составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как BTIER максимально эффективно использует доступное пространство. Кроме производительности, от других систем виртуального слияния хранилищ BTIER отличается поддержкой автоматической миграции данных между накопителями и обеспечением "умной" балансировки размещения блоков данных на накопителях в зависимости от характера нагрузки.

  1. Главная ссылка к новости (http://www.lessfs.com/wordpres...)
  2. OpenNews: EPRD - реализация RAM-диска, обеспечивающего постоянное хранение данных
  3. OpenNews: Facebook открыл модуль Flashcache для организации кэширования на SSD-накопителях
  4. OpenNews: Система кэширования на SSD-накопителях BCache претендует на включение в ядро Linux
  5. OpenNews: Выпущен первый кандидат в релизы ядра Linux 3.10 (3.10-rc1)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: btier, teir, kernel, module, cache, speed, disk, ssd
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, виндотролль, 11:41, 27/05/2013 [ответить] [смотреть все]
  • +6 +/
    Вот это, я понимаю! Не то что всякие там фюжндрайвы и турбобусты (или как там в винде называется кеширование дллок).
    Да еще и под GPLv3!
     
     
  • 2.4, Andrey Mitrofanov, 11:55, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]
  • +/
    Путаешь с lessfs btier-1 0 0 tar gz лежит COPYING GPLv2, в документации лице... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.12, виндотролль, 12:12, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Пардон, зашел сюда http www lessfs com wordpress , увидел GPLv3 и обрадовался ... весь текст скрыт [показать]
     
     
  • 4.19, ананим, 12:24, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Даже круче 8212 значит можно ожидать в ваниле, то биш изкаропки Не удивлюс... весь текст скрыт [показать]
     
  • 2.6, linux must _RIP_, 11:57, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • –13 +/
    очередной троль - который не потрудился посмотреть исходники GPL v2 таки более ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.13, виндотролль, 12:14, 27/05/2013 [^] [ответить] [смотреть все]  
  • +7 +/
    > очередной троль - который не потрудился посмотреть исходники.

    Спасибо, что прочитали мой ник. А Вы тире не к месту употребили ;)

     
     
  • 4.20, ананим, 12:25, 27/05/2013 [^] [ответить] [смотреть все]  
  • +2 +/
    Так у него как? Если ворд не подчёркивает, значит правильно.
     
     
  • 5.31, linux must _RIP_, 13:17, 27/05/2013 [^] [ответить] [смотреть все]  
  • –8 +/
    хреновый из тебя наблюдатель ;-)
     
     
  • 6.35, ананим, 13:45, 27/05/2013 [^] [ответить] [смотреть все]  
  • +2 +/
    С чего ты взял что я за хренами наблюдаю? :D
     
     
  • 7.48, Аноним, 17:02, 27/05/2013 [^] [ответить] [смотреть все]  
  • +3 +/
    > С чего ты взял что я за хренами наблюдаю? :D

    Судит всех по себе, видимо.

     
  • 3.60, Аноним, 19:21, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Ты настолько лузер, что даже слово тролль не можешь правильно написать Позор ... весь текст скрыт [показать]
     
  • 1.2, Аноним, 11:46, 27/05/2013 [ответить] [смотреть все]  
  • +/
    наконец то, что нужно!!!  годнота!!!
     
  • 1.3, cmp, 11:46, 27/05/2013 [ответить] [смотреть все]  
  • –1 +/
    Дык линукс же и так кеширует весь обмен с фс в ОЗУ, то есть, хошь ускориться добей оперативы; сервера нагруженные, так ведь там и железо соответстующее, в крайнем случае есть своп, который как раз и можно держать на ссд или сас, если данные в оперативу совсем не лезут, в чем профит?
     
     
  • 2.7, Andrey Mitrofanov, 11:59, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Ну, как бы тех, кто пишет и использует БД интересует момент окончания _записи на... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.9, Andrey Mitrofanov, 12:03, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Гм Поправочка ФС и БД ... весь текст скрыт [показать]
     
  • 3.18, linux must _RIP_, 12:23, 27/05/2013 [^] [ответить] [смотреть все]  
  • –3 +/
    я бы сказал - на persistent storage особенно в плане комита транзакций Поэтому... весь текст скрыт [показать]
     
     
  • 4.22, ананим, 12:34, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Дык у всех мультипасов такой баг Они как бэ нагрузку и не предназначены балан... весь текст скрыт [показать]
     
     
  • 5.32, linux must _RIP_, 13:18, 27/05/2013 [^] [ответить] [смотреть все]  
  • –4 +/
    Правильные multi path реализуют правильные барьеры да да - есть командочка та... весь текст скрыт [показать]
     
     
  • 6.37, ананим, 13:50, 27/05/2013 [^] [ответить] [смотреть все]  
  • +3 +/
    Мультипас не реализуют барьеры. Вообще. :D
     
  • 6.46, Аноним, 16:59, 27/05/2013 [^] [ответить] [смотреть все]  
  • +2 +/
    Это где такие Ну, кроме вашего воображения ... весь текст скрыт [показать]
     
  • 2.15, Аноним, 12:18, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +3 +/
    то нужно не городить свопы а разгрузить телегу ... весь текст скрыт [показать] [показать ветку]
     
  • 2.16, ананим, 12:20, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    1 Объединение разнотипных, разноскоростных, разноразмерных и тд устройств в о... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.26, pavlinux, 12:53, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Процессу можно сказать, что данные есть, - а где и как - тя нипёт ... весь текст скрыт [показать]
     
     
  • 4.36, ананим, 13:49, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Можно Но никто в зравом уме этого им не говорит Особенно на рсубд в режиме 2... весь текст скрыт [показать]
     
  • 4.61, Аноним, 19:24, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Можно Только когда у тебя при крахе потом навороченный двигун БД не сможет отре... весь текст скрыт [показать]
     
  • 3.66, Аноним, 22:02, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    в смысле как? initrd
     
  • 1.5, Аноним, 11:56, 27/05/2013 [ответить] [смотреть все]  
  • –1 +/
    еще бы совместно с  EPRD  заюзать, будет просто супер!
     
     
  • 2.14, Аноним, 12:15, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Зачем? Задачи разные. Никто не мешает сделать EPRD поверх.
     
  • 2.25, Аноним, 12:52, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    А разве EPRD не блочное устройство Или BTIER блочные устройства не поддерживает... весь текст скрыт [показать] [показать ветку]
     
  • 2.65, saNdro, 21:43, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Так никто и не мешает их юзать параллельно Можешь не сомневаться ERPD был убра... весь текст скрыт [показать] [показать ветку]
     
  • 1.8, Аноним, 12:02, 27/05/2013 [ответить] [смотреть все]  
  • –1 +/
    DRBD
     
     
  • 2.10, Andrey Mitrofanov, 12:04, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    > DRBD

    Семнадцать!

     
  • 2.23, Аноним, 12:35, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Асфальт
     
     
  • 3.29, Нанобот, 12:58, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    не согласен
     
     
  • 4.45, Аноним, 16:58, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Неожиданный ход.
     
     
  • 5.82, anoncppagli, 11:43, 29/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Макароны
     
  • 2.24, Аноним, 12:43, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Distributed Replicated Block Device для тех кто не понял, это было на сетевые р... весь текст скрыт [показать] [показать ветку]
     
  • 1.11, Аноним, 12:07, 27/05/2013 [ответить] [смотреть все]  
  • +/
    Аналог технологии FAST (Fully Automated Storage Tiering).
    Хорошо.
     
  • 1.17, pavlinux, 12:22, 27/05/2013 [ответить] [смотреть все]  
  • +/
    НоtSwap и Hot Spare надо, в виде утилиты хотя бы.
     
     
  • 2.49, Moomintroll, 17:11, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Hot Spare не спасёт ввиду отсутствия избыточности Если хоть один из носителей в... весь текст скрыт [показать] [показать ветку]
     
  • 1.21, NikolayV81, 12:27, 27/05/2013 [ответить] [смотреть все]  
  • –1 +/
    Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD, а то определить какие данные потерялись при вылете SSD будет проблематично, хотя вероятнее всего самые нужные ;)
     
     
  • 2.27, pavlinux, 12:57, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    можно замутить RAID 1 из BTIER дисков -o ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.43, Аноним, 15:44, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Зачем Диск переходит в RO режим Просто выводишь RO диск из массива, ставишь но... весь текст скрыт [показать]
     
     
  • 4.57, проходил мимо, 18:49, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    ssd перешел в ro,как его заменить это raid5 из 5-ти hdd ssd, а tier 1 raid5 и... весь текст скрыт [показать]
     
  • 4.68, pavlinux, 22:24, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    А куда они денутся BTIER - по сути, это RAID0 в режиме FIFO, где верх кучи это... весь текст скрыт [показать]
     
  • 2.28, Аноним, 12:57, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Интересная штука, используя N x RAID1 из SSD мы поднимаем отказоустойчивость от ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.34, NikolayV81, 13:33, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    если исключить вроде как не подтверждённую проблему SSD зеркалу иногда имеет ос... весь текст скрыт [показать]
     
     
  • 4.38, Аноним, 14:38, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    В зеркале износ одинаковый для всех компонент, общий ресурс равен наибольшему из... весь текст скрыт [показать]
     
     
  • 5.39, NikolayV81, 14:44, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    И к чему это на серверах всегда выходили из строя диски, и весь смысл зеркалиро... весь текст скрыт [показать]
     
     
  • 6.40, Аноним, 15:06, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Если не говорить об отказах электроники, а только об износе механическом HDD и... весь текст скрыт [показать]
     
     
  • 7.41, NikolayV81, 15:11, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Что вы понимаете под ресурсом если ресурс это возможность отдать информацию в т... весь текст скрыт [показать]
     
     
  • 8.44, Аноним, 15:52, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Для начала подумайте, с чего бы это ресурс в SSD измеряют в циклах записи а то и... весь текст скрыт [показать]
     
     
  • 9.53, NikolayV81, 17:38, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    физически у вас отказ перезаписи ячейки, на практике развал фс ячейка оказалос... весь текст скрыт [показать]
     
     
  • 10.59, Аноним, 19:15, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Не совсем понятно, что вы хотите доказать И кому Я выразил свою точку зрения н... весь текст скрыт [показать]
     
     
  • 11.70, nikolayv81, 23:00, 27/05/2013 [^] [ответить] [смотреть все]  
  • –1 +/
    в общем начали с этого, возможно по пути потерял где то ход мысли ... весь текст скрыт [показать]
     
  • 10.67, Аноним, 22:10, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Вы хоть почитай не про устройство фс и в каких фс как хранят данные и как работа... весь текст скрыт [показать]
     
     
  • 11.83, Аноним, 15:15, 29/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Он о метаданных, упырь ... весь текст скрыт [показать]
     
  • 2.42, Аноним, 15:38, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    В LSI есть CacheCade И помнится на семинаре представителю LSI задавали вопрос ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.58, проходил мимо, 18:52, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Смотря что вылитит, если карта реаллокации блоков - то сильно врядли Да, выле... весь текст скрыт [показать]
     
     ....нить скрыта, показать (18)

  • 1.30, Анонимко, 13:07, 27/05/2013 [ответить] [смотреть все]  
  • –6 +/
    Они изобрели FreeBSD-шный GEOM для Linux и добавили местечковых костылей, вот и ... весь текст скрыт [показать]
     
     
  • 2.33, Аноним, 13:30, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Толстопуз, окстись. GEOM тут ни с одной из шести сторон.
     
  • 2.47, Аноним, 17:01, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    Ликвидируем безграмотность среди школьников FreeBSD-шный GEOM - это просто ко... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.50, Аноним, 17:21, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    А можно еще сказать, что возможности ZFS, имеющиеся во FreeBSD, в линуксе реализ... весь текст скрыт [показать]
     
     
  • 4.51, Аноним, 17:33, 27/05/2013 [^] [ответить] [смотреть все]  
  • +2 +/
    Или наоборот возможности ZFS и Btrfs, имеющиеся в линуксе, во FreeBSD реализуют... весь текст скрыт [показать]
     
     
  • 5.52, Аноним, 17:34, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Даже так: возможности ZFS, Btrfs и BTIER.
     
  • 5.54, Аноним, 17:39, 27/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Да, несчастные бсдешники уже и забыли, что с появлением zfsonlinux количество пр... весь текст скрыт [показать]
     
     
  • 6.75, Школьник, 10:36, 28/05/2013 [^] [ответить] [смотреть все]  
  • –1 +/
    Пока zfsonlinux не появится в ядре, оно будет просто детской игрушкой для энтузи... весь текст скрыт [показать]
     
     
  • 7.78, ананим, 21:04, 28/05/2013 [^] [ответить] [смотреть все]  
  • +/
    Какая религия Видел я твой коммент, смесь спеси, хамства и невежества Ау Это ... весь текст скрыт [показать]
     
  • 3.62, Аноним, 19:24, 27/05/2013 [^] [ответить] [смотреть все]  
  • +/
    В ZFS это просто банальный кэш Ни о каком tiering е там сегодня речи быть не мо... весь текст скрыт [показать]
     
     
  • 4.84, Аноним, 15:16, 29/05/2013 [^] [ответить] [смотреть все]  
  • –1 +/
    Потому что он там в пень не уперся Она чутка для других задач, нежели самодельн... весь текст скрыт [показать]
     
  • 3.77, Кирилл, 16:09, 28/05/2013 [^] [ответить] [смотреть все]  
  • +1 +/
    Нет, в ZFS ничего похоже нет.
     
  • 1.55, Кирилл, 17:56, 27/05/2013 [ответить] [смотреть все]  
  • +/
    Это типа FusionDrive в Mac OS X?
     
  • 1.64, Аноним, 21:25, 27/05/2013 [ответить] [смотреть все]  
  • –1 +/
    В начальном посте сказано что данные кэшируются в озу А чего произойдет если бу... весь текст скрыт [показать]
     
     
  • 2.69, pavlinux, 22:28, 27/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    закупка новых бесперебойников... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.71, Аноним, 01:02, 28/05/2013 [^] [ответить] [смотреть все]  
  • –1 +/
    LOL Ну это обойтись малой кровью Конечно же имеется ввиду если нода вылетела в... весь текст скрыт [показать]
     
     
  • 4.86, pavlinux, 03:26, 31/05/2013 [^] [ответить] [смотреть все]  
  • +/
    > LOL. Ну это обойтись малой кровью. Конечно же имеется ввиду если нода
    > вылетела в силу каких-то причин.

    Чо, чо... только своевременные бэкапы, переодические инкрементальные бэкапы.
    Такие вещи продумывают ещё до закупки оборудования. Критически важные данные
    хранят на соседнем RAID61. Если работаш с БД - репликация, с файлам - сетевое зеркалирование/синхронизация.

     
  • 2.72, Аноним, 01:42, 28/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    не закоммитить изменения на диск ... весь текст скрыт [показать] [показать ветку]
     
  • 1.73, анонимм, 09:29, 28/05/2013 [ответить] [смотреть все]  
  • –1 +/
    Не попахивает ли тут Venti?
     
  • 1.74, docent, 10:04, 28/05/2013 [ответить] [смотреть все]  
  • –1 +/
    > Например, близкий аналог flashcache может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как BTIER максимально эффективно использует доступное пространство.

    А эта эффективность нужна?
    Например, размер СХД 12ТБ, для оптимизации работы достаточно SSD скажем на 200ГБ.
    Т.о. получаем "эффективность" 200/12000=1.6%
    Но для надежности придется использовать 2 зазеркаленых диска SSD.
    Мне кажется, что использовать SSD как кэш было бы более эффективно и надежно.

     
     
  • 2.79, ананим, 21:10, 28/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Нужна.
    Во-первых, реализации аля кэш уже есть. Пользуйтесь.
    Во-вторых, вот есть у меня ноут. Двд сменил на ссд. Вот сабж более чем к месту тут.
    В-третьих, в случае кэша в/в всё равно дублируется. Что может быть критично. Графики выше.
     
  • 1.76, amorphine, 15:42, 28/05/2013 [ответить] [смотреть все]  
  • –1 +/
    Ну все. Теперь линукс точно готов для десктопа
     
     
  • 2.80, Аноним, 06:33, 29/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Дааа  ... теперь походу десктоп не готов для линукса :)
     
  • 1.81, anoncppagli, 11:41, 29/05/2013 [ответить] [смотреть все]  
  • –2 +/
    А можно простыми словами для чего оно нужно?
     
     
  • 2.85, Кирилл, 12:45, 30/05/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вот есть у вас очень быстрый ссд, но он мелкий и относительно дорогой, и есть очень большой и дешёвый, но медленный жёсткий диск. Вы можете сами раскладывать то, что по-вашему, требует быстрого чтения и редко изменяется на быстрый ссд, а жёсткий диск использовать для данных, которые не так критичны к скорости загрузки. Но как определить что куда класть, да и следить за этим нужно. В общем, слишком много мороки. А эта технология позволяет залепить из ссд и жёсткого диска один раздел, а потом сама ведёт статистку использования и решает какие файлы (или блоки) на какой физический носитель пихать. За счёт этого конечный пользователь получает и высокую скорость загрузки и преимущества большого и дешёвого носителя.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor