URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 85052
[ Назад ]
Исходное сообщение
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено opennews , 14-Июн-12 13:19 
Марк Райтер (Mark Ruijter), автор работающей в пространстве пользователя файловой системы LessFS (http://www.lessfs.com) с автоматической дедупликацией, master/slave-репликацией, сжатием и шифрованием данных, представил (http://www.lessfs.com/wordpress/?p=776) для ядра Linux модуль TIER (http://sourceforge.net/projects/tier/), позволяющий сформировать многоуровневое блочное устройство  из нескольких устройств небольшого размера, обеспечивающее высокую производительность за счёт оптимального разнесения блоков по дискам и использования техники активного кэширования данных в ОЗУ.


От других систем виртуального слияния хранилищ  TIER отличается поддержкой автоматической миграции данных между накопителями и обеспечением "умной" балансировки размещения блоков данных на накопителях в зависимости от характера нагрузки. Первая реализация TIER поддерживает агрегацию в виде одного виртуального диска до 16 SSD, SAS или SATA-накопителей.  Код проекта распространяется под лицензией GPL.

Использование TIER позволяет достигнуть более высокой производительности, чем при применении только SSD за счёт использования техники кэширования в оперативной памяти, ранее реализованной в RAM-диске EPRD (https://www.opennet.ru/opennews/art.shtml?num=33541). При распределении данных по дискам TIER учитывает статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS, а редко используемые данные будут размещены на медленных дисках.


В отличие от кэширования с использованием только SSD-дисков, TIER позволяет значительно сэкономить, используя SSD только для действительно востребованных данных, при том что общая ёмкость всего быстрого хранилища в  TIER составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (https://www.opennet.ru/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как TIER максимально эффективно использует доступное пространство.


URL: http://www.lessfs.com/wordpress/?p=776
Новость: https://www.opennet.ru/opennews/art.shtml?num=34100

Содержание
Сообщения в этом обсуждении
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 13:19 
Ура товарищи, скоро солярка станет не нужна!
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено гмо , 14-Июн-12 13:24 
Вообще диски не нужны, раз есть облака и громоотводы
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Andrey Mitrofanov , 14-Июн-12 13:27 
>есть облака и громоотводы

Втыкаем тандерболты прямо в облаки!

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Tamahome , 14-Июн-12 13:29 
Только облакам свойственно вытекать и испаряться, также быстро как и появлялись..
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 13:51 
И когда испарится амазон? Видимо, вы распадетесь быстрее.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено pro100master , 14-Июн-12 14:18 
когда строители в каком-нибудь Техасе в очередной раз не порвут кабель ДЦ - ваш амазон испарится на сутки :)
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 15:34 
> И когда испарится амазон?

Вообще-то разок они уже сделали недоступными инстансы. Даже географически разнесенные, что вдвойне забавно.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено кевин , 14-Июн-12 15:29 
давайте скажем амазону что им не нужны диски пускай всё в облака перекладут.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Anonim , 14-Июн-12 15:37 
Они поди так и делают. Используют более дешевые облака, а разницу в цене оставляют себе  ))

Самый важный вопрос Что будет с данными когда один из дисков в массиве умрет? На счет LVM2 тоже нет внятного ответа по этому вопросу.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено 8 , 14-Июн-12 16:21 
клади лвм на рейд
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Anonim , 14-Июн-12 18:00 
Это не ответ. Это значит "я не знаю что будет, но точно что-то нехорошее, поэтому надо на всякий случай..."
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено 8 , 18-Июн-12 12:25 
> Это не ответ. Это значит "я не знаю что будет, но точно
> что-то нехорошее, поэтому надо на всякий случай..."

помните анекдот про попугая?
- а что будет, если попугай и другую лапу поднимет?
- что-что! на Ж шмякнусь!

вот это был конкретный ответ.

как я вам отвечу что-то более конкретное, если вы сами вопрос поставили абстрактно?

и еще про мою неконкретику: у меня одна из инсталляций на LVM поверх raid уже более 10 лет переползает по винтам без дрожи в органах размножения (а винты, тем временем, рутинно дохнут).

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 17-Июн-12 16:25 
>Что будет с данными когда один из дисков в массиве умрет?

Они отправятся в вайловый рай

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено pavlinux , 14-Июн-12 17:31 
Вместо дисков надо втыкать конденсаторы! Один кондёр - один бит! (заряжен/незаряжен) :)
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 17:56 
Ты придумал DRAM?
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Whois , 14-Июн-12 17:59 
Pavlin изобрел DRAM! :-)
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено ананим , 15-Июн-12 05:29 
Нет.
Электрический стул.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено ананим , 15-Июн-12 05:31 
Зыж
При чём в фразе "один бит" бит — это глагол.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено JL2001 , 14-Июн-12 13:41 
неизвестно нет ли планов сделать аналогично ещё и для мест хранения доступных через сеть ? тоесть собирать абстрактные данные по скорости доступа, задержке, частоте и характеру ошибок + "статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются"
весьма бы пригодилось мне
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено ig0r , 14-Июн-12 14:18 
не вижу проблемы собрать хранилище из network block device с помощью сабжа
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 14:52 
изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Andrey Mitrofanov , 14-Июн-12 15:04 
> изобретаем ZFS через задницу...

Интересно там у Вас, в Сане.

> хотя и это тоже хорошо без других альтернатив

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Crazy Alex , 14-Июн-12 15:52 
Еще чего. Тут как раз тщательно стараются комбайны не изобретать, а придерживаться принципа "одна сущность - одна ответственность"
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 16:54 
И какую одну ответственность исполняет такая сущность как ядро линукса?
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Andrey Mitrofanov , 14-Июн-12 17:34 
> И какую одну ответственность исполняет такая сущность как ядро линукса?

Предоставлет юрес-спейсу единообразный доступ к жОлезу. Как и любое другое ядро.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 22:59 
ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 15-Июн-12 00:46 
> ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде

Да. Вот в microsoft прекрасно это понимали, и сделали очень быструю, надежную и фичастую ОС.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 19:29 
Куда уж им до требований ZFS в гигабайты памяти.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 15-Июн-12 00:49 
> изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив

С нетерпением ждем, когда в ZFS изобретут direct IO, хотя бы и через задницу.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено chemtech , 14-Июн-12 16:02 
Когда в ядре будет?
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Кирилл , 14-Июн-12 16:38 
В 3.6 увидим =)
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено pavlinux , 14-Июн-12 17:36 
Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600 MB/s ???
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено John , 14-Июн-12 17:57 
> Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
> MB/s ???

Шина?

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 14-Июн-12 19:30 
> Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
> MB/s ???

SATA 3.0?

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Пиу , 14-Июн-12 18:04 
лучше бы в lvm это реализовал, а не через отдельный костыль
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено anonymous , 14-Июн-12 18:33 
больше велосипедов! хороших и разных!
а если серьёзно - то да, есть же raid/lvm.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено 88 , 14-Июн-12 21:07 
"при том что общая ёмкость всего быстрого хранилища в TIER составляет сумму из всех подключенных устройств хранения."

То бишь - отказоустойчивости нет :)

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено umbr , 15-Июн-12 00:16 
RAID -1
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено 88 , 15-Июн-12 07:59 
что Вы этим хотели сказать?
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Andrey Mitrofanov , 15-Июн-12 09:51 
"RAID? Вычёркиваем."
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Andrey Mitrofanov , 15-Июн-12 09:49 
> То бишь - отказоустойчивости нет :)

Отказоустойчивость есть: терабайтом больше, терабайтом меньше -- _совершенно_ не важно.

"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 15-Июн-12 14:18 
sourceforge? фууу. а почему не github ?!
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено umbr , 15-Июн-12 23:00 
На github переедут когда весь код перепишут на JavaScript или Ruby.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 17-Июн-12 13:08 
А слово съэкономить пишется с твёрдым знаком. Убейте автора, пожалуйста.
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Отправлено Аноним , 17-Июн-12 16:32 
Призыв к насилию и физической расправе.