The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Для Linux представлен TIER, блочное устройство для агрегиров..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от opennews (??) on 14-Июн-12, 13:19 
Марк Райтер (Mark Ruijter), автор работающей в пространстве пользователя файловой системы LessFS (http://www.lessfs.com) с автоматической дедупликацией, master/slave-репликацией, сжатием и шифрованием данных, представил (http://www.lessfs.com/wordpress/?p=776) для ядра Linux модуль TIER (http://sourceforge.net/projects/tier/), позволяющий сформировать многоуровневое блочное устройство  из нескольких устройств небольшого размера, обеспечивающее высокую производительность за счёт оптимального разнесения блоков по дискам и использования техники активного кэширования данных в ОЗУ.


От других систем виртуального слияния хранилищ  TIER отличается поддержкой автоматической миграции данных между накопителями и обеспечением "умной" балансировки размещения блоков данных на накопителях в зависимости от характера нагрузки. Первая реализация TIER поддерживает агрегацию в виде одного виртуального диска до 16 SSD, SAS или SATA-накопителей.  Код проекта распространяется под лицензией GPL.

Использование TIER позволяет достигнуть более высокой производительности, чем при применении только SSD за счёт использования техники кэширования в оперативной памяти, ранее реализованной в RAM-диске EPRD (http://www.opennet.ru/opennews/art.shtml?num=33541). При распределении данных по дискам TIER учитывает статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS, а редко используемые данные будут размещены на медленных дисках.


В отличие от кэширования с использованием только SSD-дисков, TIER позволяет значительно сэкономить, используя SSD только для действительно востребованных данных, при том что общая ёмкость всего быстрого хранилища в  TIER составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (http://www.opennet.ru/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как TIER максимально эффективно использует доступное пространство.


URL: http://www.lessfs.com/wordpress/?p=776
Новость: http://www.opennet.ru/opennews/art.shtml?num=34100

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним email(??) on 14-Июн-12, 13:19 
Ура товарищи, скоро солярка станет не нужна!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –6 +/
Сообщение от гмо on 14-Июн-12, 13:24 
Вообще диски не нужны, раз есть облака и громоотводы
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +6 +/
Сообщение от Andrey Mitrofanov on 14-Июн-12, 13:27 
>есть облака и громоотводы

Втыкаем тандерболты прямо в облаки!

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +1 +/
Сообщение от Tamahome on 14-Июн-12, 13:29 
Только облакам свойственно вытекать и испаряться, также быстро как и появлялись..
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –1 +/
Сообщение от Аноним (??) on 14-Июн-12, 13:51 
И когда испарится амазон? Видимо, вы распадетесь быстрее.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +5 +/
Сообщение от pro100master (ok) on 14-Июн-12, 14:18 
когда строители в каком-нибудь Техасе в очередной раз не порвут кабель ДЦ - ваш амазон испарится на сутки :)
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +5 +/
Сообщение от Аноним (??) on 14-Июн-12, 15:34 
> И когда испарится амазон?

Вообще-то разок они уже сделали недоступными инстансы. Даже географически разнесенные, что вдвойне забавно.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +5 +/
Сообщение от кевин on 14-Июн-12, 15:29 
давайте скажем амазону что им не нужны диски пускай всё в облака перекладут.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

13. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от Anonim (??) on 14-Июн-12, 15:37 
Они поди так и делают. Используют более дешевые облака, а разницу в цене оставляют себе  ))

Самый важный вопрос Что будет с данными когда один из дисков в массиве умрет? На счет LVM2 тоже нет внятного ответа по этому вопросу.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от 8 on 14-Июн-12, 16:21 
клади лвм на рейд
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

25. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Anonim (??) on 14-Июн-12, 18:00 
Это не ответ. Это значит "я не знаю что будет, но точно что-то нехорошее, поэтому надо на всякий случай..."
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

45. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от 8 on 18-Июн-12, 12:25 
> Это не ответ. Это значит "я не знаю что будет, но точно
> что-то нехорошее, поэтому надо на всякий случай..."

помните анекдот про попугая?
- а что будет, если попугай и другую лапу поднимет?
- что-что! на Ж шмякнусь!

вот это был конкретный ответ.

как я вам отвечу что-то более конкретное, если вы сами вопрос поставили абстрактно?

и еще про мою неконкретику: у меня одна из инсталляций на LVM поверх raid уже более 10 лет переползает по винтам без дрожи в органах размножения (а винты, тем временем, рутинно дохнут).

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

43. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 17-Июн-12, 16:25 
>Что будет с данными когда один из дисков в массиве умрет?

Они отправятся в вайловый рай

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

19. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от pavlinux (ok) on 14-Июн-12, 17:31 
Вместо дисков надо втыкать конденсаторы! Один кондёр - один бит! (заряжен/незаряжен) :)
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

22. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от Аноним (??) on 14-Июн-12, 17:56 
Ты придумал DRAM?
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

24. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +3 +/
Сообщение от Whois on 14-Июн-12, 17:59 
Pavlin изобрел DRAM! :-)
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

35. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от ананим on 15-Июн-12, 05:29 
Нет.
Электрический стул.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

36. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +3 +/
Сообщение от ананим on 15-Июн-12, 05:31 
Зыж
При чём в фразе "один бит" бит — это глагол.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

5. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от JL2001 (ok) on 14-Июн-12, 13:41 
неизвестно нет ли планов сделать аналогично ещё и для мест хранения доступных через сеть ? тоесть собирать абстрактные данные по скорости доступа, задержке, частоте и характеру ошибок + "статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются"
весьма бы пригодилось мне
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +1 +/
Сообщение от ig0r (??) on 14-Июн-12, 14:18 
не вижу проблемы собрать хранилище из network block device с помощью сабжа
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –4 +/
Сообщение от Аноним (??) on 14-Июн-12, 14:52 
изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +1 +/
Сообщение от Andrey Mitrofanov on 14-Июн-12, 15:04 
> изобретаем ZFS через задницу...

Интересно там у Вас, в Сане.

> хотя и это тоже хорошо без других альтернатив

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

14. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –2 +/
Сообщение от Crazy Alex (ok) on 14-Июн-12, 15:52 
Еще чего. Тут как раз тщательно стараются комбайны не изобретать, а придерживаться принципа "одна сущность - одна ответственность"
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 14-Июн-12, 16:54 
И какую одну ответственность исполняет такая сущность как ядро линукса?
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

20. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +1 +/
Сообщение от Andrey Mitrofanov on 14-Июн-12, 17:34 
> И какую одну ответственность исполняет такая сущность как ядро линукса?

Предоставлет юрес-спейсу единообразный доступ к жОлезу. Как и любое другое ядро.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

31. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –4 +/
Сообщение от Аноним (??) on 14-Июн-12, 22:59 
ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

33. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от Аноним (??) on 15-Июн-12, 00:46 
> ну так вот это и есть через задницу. Такой подход хорош в узких пределах и не везде

Да. Вот в microsoft прекрасно это понимали, и сделали очень быструю, надежную и фичастую ОС.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

28. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 14-Июн-12, 19:29 
Куда уж им до требований ZFS в гигабайты памяти.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

34. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +1 +/
Сообщение от Аноним (??) on 15-Июн-12, 00:49 
> изобретаем ZFS через задницу... хотя и это тоже хорошо без других альтернатив

С нетерпением ждем, когда в ZFS изобретут direct IO, хотя бы и через задницу.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

15. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от chemtech email(ok) on 14-Июн-12, 16:02 
Когда в ядре будет?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Кирилл (??) on 14-Июн-12, 16:38 
В 3.6 увидим =)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от pavlinux (ok) on 14-Июн-12, 17:36 
Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600 MB/s ???
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от John (??) on 14-Июн-12, 17:57 
> Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
> MB/s ???

Шина?

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

29. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 14-Июн-12, 19:30 
> Кстати, никто не в курсе, почему скорость упёрлась в магическое число ~600
> MB/s ???

SATA 3.0?

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Пиу on 14-Июн-12, 18:04 
лучше бы в lvm это реализовал, а не через отдельный костыль
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –1 +/
Сообщение от anonymous (??) on 14-Июн-12, 18:33 
больше велосипедов! хороших и разных!
а если серьёзно - то да, есть же raid/lvm.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

30. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от 88 (??) on 14-Июн-12, 21:07 
"при том что общая ёмкость всего быстрого хранилища в TIER составляет сумму из всех подключенных устройств хранения."

То бишь - отказоустойчивости нет :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от umbr (ok) on 15-Июн-12, 00:16 
RAID -1
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

37. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от 88 (??) on 15-Июн-12, 07:59 
что Вы этим хотели сказать?
Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

39. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Andrey Mitrofanov on 15-Июн-12, 09:51 
"RAID? Вычёркиваем."
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

38. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Andrey Mitrofanov on 15-Июн-12, 09:49 
> То бишь - отказоустойчивости нет :)

Отказоустойчивость есть: терабайтом больше, терабайтом меньше -- _совершенно_ не важно.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

40. "Для Linux представлен TIER, блочное устройство для агрегиров..."  –2 +/
Сообщение от Аноним (??) on 15-Июн-12, 14:18 
sourceforge? фууу. а почему не github ?!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +2 +/
Сообщение от umbr (ok) on 15-Июн-12, 23:00 
На github переедут когда весь код перепишут на JavaScript или Ruby.
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

42. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 17-Июн-12, 13:08 
А слово съэкономить пишется с твёрдым знаком. Убейте автора, пожалуйста.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

44. "Для Linux представлен TIER, блочное устройство для агрегиров..."  +/
Сообщение от Аноним (??) on 17-Июн-12, 16:32 
Призыв к насилию и физической расправе.
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру