The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Первый стабильный выпуск BTIER, блочного устройства для агре..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от opennews (ok) on 27-Май-13, 11:41 
Представлен (http://www.lessfs.com/wordpress/?p=909) первый стабильный релиз проекта BTIER 1.0.0 (http://www.lessfs.com), предназначенного для формирования многоуровневых блочных устройств, состоящих из нескольких разнотипных устройств небольшого размера. Код системы отмечен как стабильный и прошедший тестирование в промышленном использовании, в том числе в достаточно сложных конфигурациях, в которых используются сетевые разделы DRDB и работают приложения Oracle. BTIER оформлен в виде модуля для ядра Linux, который может быть собран для ядер, начиная с выпуска 2.6.32. Изначально проект развивался под именем TIER, но был переименован (http://www.lessfs.com/wordpress/?p=850) в BTIER для того чтобы упростить выборку связанной с проектом информации через поисковые системы. Исходные тексты BTIER распространяется под лицензией GPL.


За счёт оптимального разнесения блоков по дискам и использования техники активного кэширования данных в ОЗУ раздел на базе BTIER позволяет заметно поднять производительность сводного раздела. Например, при тестировании BTIER-раздела, созданного на базе SSD-накопителя STEC Zeus и 5 SAS НЖМД, и экспортируемого через iSCSI (SCST), была продемонстрирована (http://www.lessfs.com/wordpress/?p=850) способность выполнения заметно большего числа операций в секунду, по сравнению с системой кэширования на SSD-накопителях BCache (http://www.opennet.ru/opennews/art.shtml?num=35849).

<center><a href="http://www.lessfs.com/wordpress/wp-content/docimages/btier_m... src="http://www.opennet.ru/opennews/pics_base/0_1369637152.png" style="border-style: solid; border-color: #606060; border-width: 1px;" title="BTIER" border=0></a><a href="http://www.lessfs.com/wordpress/wp-content/docimages/bcache_... src="http://www.opennet.ru/opennews/pics_base/0_1369637182.png" style="border-style: solid; border-color: #606060; border-width: 1px;" title="BCACHE" border=0></a></center>

Использование BTIER позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным, использующими SSD-накопители, благодаря применению техники кэширования в оперативной памяти, ранее реализованной в RAM-диске EPRD (http://www.opennet.ru/opennews/art.shtml?num=33541). При распределении данных по дискам TIER учитывает статистику доступа к уже размещённым данным, например, принимает во внимание то, когда данные использовались последний раз и как часто они запрашиваются. При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS, а редко используемые данные будут размещены на медленных дисках.


В итоге, BTIER позволяет значительно сэкономить, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в BTIER составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (http://www.opennet.ru/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как BTIER максимально эффективно использует доступное пространство. Кроме производительности, от других систем виртуального слияния хранилищ BTIER отличается поддержкой автоматической миграции данных между накопителями и обеспечением "умной" балансировки размещения блоков данных на накопителях в зависимости от характера нагрузки.

URL: http://www.lessfs.com/wordpress/?p=909
Новость: http://www.opennet.ru/opennews/art.shtml?num=37023

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +6 +/
Сообщение от виндотролль (ok) on 27-Май-13, 11:41 
Вот это, я понимаю! Не то что всякие там фюжндрайвы и турбобусты (или как там в винде называется кеширование дллок).
Да еще и под GPLv3!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Andrey Mitrofanov on 27-Май-13, 11:55 
> Да еще и под GPLv3!

Путаешь с lessfs.

btier-1.0.0.tar.gz лежит COPYING =GPLv2, в "документации" лицензия не поминается, в исходнике модуля, в _одном файле из _7_:

* Partly based up-on sbd and the loop driver.
* Redistributable under the terms of the GNU GPL.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

12. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от виндотролль (ok) on 27-Май-13, 12:12 
Пардон, зашел сюда http://www.lessfs.com/wordpress/, увидел GPLv3 и обрадовался... Спасибо.

Да все-равно круто же.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

19. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от ананим on 27-Май-13, 12:24 
Даже круче — значит можно ожидать в ваниле, то биш "изкаропки".
Не удивлюсь что именно поэтому и гпл2.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

6. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –13 +/
Сообщение от linux must _RIP_ on 27-Май-13, 11:57 
очередной троль - который не потрудился посмотреть исходники. GPL v2 таки более популярна и она использована.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +7 +/
Сообщение от виндотролль (ok) on 27-Май-13, 12:14 
> очередной троль - который не потрудился посмотреть исходники.

Спасибо, что прочитали мой ник. А Вы тире не к месту употребили ;)

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

20. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от ананим on 27-Май-13, 12:25 
Так у него как? Если ворд не подчёркивает, значит правильно.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

31. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –8 +/
Сообщение от linux must _RIP_ on 27-Май-13, 13:17 
хреновый из тебя наблюдатель ;-)
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

35. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от ананим on 27-Май-13, 13:45 
С чего ты взял что я за хренами наблюдаю? :D
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

48. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +3 +/
Сообщение от Аноним (??) on 27-Май-13, 17:02 
> С чего ты взял что я за хренами наблюдаю? :D

Судит всех по себе, видимо.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

60. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 19:21 
> очередной троль

Ты настолько лузер, что даже слово "тролль" не можешь правильно написать. Позор!

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

2. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 11:46 
наконец то, что нужно!!!  годнота!!!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от cmp (??) on 27-Май-13, 11:46 
Дык линукс же и так кеширует весь обмен с фс в ОЗУ, то есть, хошь ускориться добей оперативы; сервера нагруженные, так ведь там и железо соответстующее, в крайнем случае есть своп, который как раз и можно держать на ссд или сас, если данные в оперативу совсем не лезут, в чем профит?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Andrey Mitrofanov on 27-Май-13, 11:59 
> Дык линукс же и так кеширует весь обмен с фс в ОЗУ,
> то есть, хошь ускориться добей оперативы;

Ну, как бы тех, кто пишет и использует БД интересует момент окончания _записи на ...[ммм, как это есть по-русски]... non-volatile носитель.

> в крайнем случае есть своп, который как раз  и можно держать на ссд

:*)))

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Andrey Mitrofanov on 27-Май-13, 12:03 
> кто пишет и использует БД интересует момент окончания _записи на

Гм. Поправочка "ФС и БД".

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

18. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –3 +/
Сообщение от linux must _RIP_ on 27-Май-13, 12:23 
я бы сказал - на persistent storage. особенно в плане комита транзакций. Поэтому в linux был в свое время (может и даже сейчас) смешной баг у dm_multipath - когда один из каналов более быстрый и более новые транзакции комитились раньше старых, что приводило к неработоспособности барьеров внутри FS.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

22. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от ананим on 27-Май-13, 12:34 
Дык у всех мультипасов такой "баг". Они как бэ нагрузку и не предназначены балансировать.
Пихание разнотипных носителей по такой схеме сродни забиванию гвоздей буратинами.
Тоже было (на личном опыте своими глазами видел) и в соляре, а в винде (2000) вообще отвалившийся девайс только минут через 20 "обнаруживался" пропавшим. И все транзакции за это время как в /dev/null ушли.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

32. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –4 +/
Сообщение от linux must _RIP_ on 27-Май-13, 13:18 
> Дык у всех мультипасов такой "баг". Они как бэ нагрузку и не
> предназначены балансировать.
> Пихание разнотипных носителей по такой схеме сродни забиванию гвоздей буратинами.
> Тоже было (на личном опыте своими глазами видел) и в соляре, а
> в винде (2000) вообще отвалившийся девайс только минут через 20 "обнаруживался"
> пропавшим. И все транзакции за это время как в /dev/null ушли.

Правильные multi path реализуют правильные барьеры :) да да - есть командочка такая в bio уровне.
не правильные - убивают FS в хлам. Вывод делать вам :)

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

37. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +3 +/
Сообщение от ананим on 27-Май-13, 13:50 
Мультипас не реализуют барьеры. Вообще. :D
Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

46. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от Аноним (??) on 27-Май-13, 16:59 
> Правильные multi path реализуют правильные барьеры

Это где такие? Ну, кроме вашего воображения.

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

15. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +3 +/
Сообщение от Аноним (??) on 27-Май-13, 12:18 
> если данные в оперативу совсем не лезут

то нужно не городить свопы а разгрузить телегу

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

16. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от ананим on 27-Май-13, 12:20 
1. Объединение разнотипных, разноскоростных, разноразмерных (и тд) устройств в одно логическое.
2. Никакой кэшЪ не поможет от синк. Если процессу нужно точно знать, что данные на диске, то будет иовэйт по-любому. К примеру в оракле (по-мимо транзакций и тд) каждые 3 секунды чекпоинт, скидывает "грязные" блоки на диск.

Зыж
Вопрос по сабжу — как с загрузкой с таких разделов? И когда будет в ванниле?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

26. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от pavlinux (ok) on 27-Май-13, 12:53 
> Если процессу нужно точно знать, что данные на диске, то будет иовэйт по-любому.

Процессу можно сказать, что данные есть, "- а где  и как - тя нипёт!".

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

36. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от ананим on 27-Май-13, 13:49 
Можно.
Но никто (в зравом уме) этого им не говорит.
Особенно на рсубд в режиме 24*7*365.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

61. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 19:24 
> Процессу можно сказать, что данные есть, "- а где  и как - тя нипёт!".

Можно. Только когда у тебя при крахе потом навороченный двигун БД не сможет отреплеить свой журнал и транзакционность факапнется - будешь писать жалобы в спортлото и копить деньги на оптовую закупку вазелина.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

66. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 22:02 
в смысле как? initrd
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

5. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним (??) on 27-Май-13, 11:56 
еще бы совместно с  EPRD  заюзать, будет просто супер!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 12:15 
Зачем? Задачи разные. Никто не мешает сделать EPRD поверх.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

25. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 12:52 
> еще бы совместно с  EPRD  заюзать, будет просто супер!

А разве EPRD не блочное устройство?
Или BTIER блочные устройства не поддерживает?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

65. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от saNdro on 27-Май-13, 21:43 
Так никто и не мешает их юзать параллельно. Можешь не сомневаться. ERPD был убран из TIER автором уже вроцессе развития, что бы не дублировать код проекта. Автор, кстати, у них один и тот же.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним (??) on 27-Май-13, 12:02 
DRBD
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от Andrey Mitrofanov on 27-Май-13, 12:04 
> DRBD

Семнадцать!

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

23. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 12:35 
Асфальт
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

29. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Нанобот on 27-Май-13, 12:58 
не согласен
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

45. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 16:58 
Неожиданный ход.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

82. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от anoncppagli on 29-Май-13, 11:43 
Макароны
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

24. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним (??) on 27-Май-13, 12:43 
Distributed Replicated Block Device

для тех кто не понял, это было на "сетевые разделы DRDB"

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 12:07 
Аналог технологии FAST (Fully Automated Storage Tiering).
Хорошо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от pavlinux (ok) on 27-Май-13, 12:22 
НоtSwap и Hot Spare надо, в виде утилиты хотя бы.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

49. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Moomintroll (ok) on 27-Май-13, 17:11 
Hot Spare не спасёт ввиду отсутствия избыточности. Если хоть один из носителей вылетит, то менять его будет уже поздно - данные потеряны. А вот Ноt Swap таки поможет, если за S.M.A.R.T.ом следить и вовремя диски менять.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

21. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от NikolayV81 on 27-Май-13, 12:27 
Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD, а то определить какие данные потерялись при вылете SSD будет проблематично, хотя вероятнее всего самые нужные ;)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от pavlinux (ok) on 27-Май-13, 12:57 
> Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD,
> а то определить какие данные потерялись при вылете SSD будет проблематично,
> хотя вероятнее всего самые нужные ;)

можно замутить RAID 1 из BTIER дисков =-o

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

43. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 15:44 
>> Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD,
>> а то определить какие данные потерялись при вылете SSD будет проблематично,
>> хотя вероятнее всего самые нужные ;)
> можно замутить RAID 1 из BTIER дисков =-o

Зачем? Диск переходит в RO режим. Просто выводишь RO диск из массива, ставишь новый и продолжаешь работать.
Данные не теряются. Если не может записать на SSD, пишет на другой диск.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

57. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от проходил мимо on 27-Май-13, 18:49 
ssd перешел в ro,как его заменить? это raid5 из 5-ти hdd+ssd, а tier 1 = raid5 из 5 hdd + tier 2 из ssd. В самом деле, сценарий восстановления тут интересен - останов всей конструкции на замену и раздельное зеркалирование ssd, а затем сбор всей конструкции заново -  весьма слабый и непромышленный вариант.
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

68. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от pavlinux (ok) on 27-Май-13, 22:24 
> Данные не теряются. Если не может записать на SSD, пишет на другой диск.

А куда они денутся? BTIER - по сути, это RAID0 в режиме FIFO,
где верх кучи это самый быстрый диск.

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

28. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 12:57 
> Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD,
> а то определить какие данные потерялись при вылете SSD будет проблематично,
> хотя вероятнее всего самые нужные ;)

Интересная штука, используя N x RAID1 из SSD мы поднимаем отказоустойчивость от вероятного "протирания до дырки" грубо в N раз, а применяя на них N x RAID0 мы увеличиваем ресурс в N раз, тем самым снижая эту вероятность.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

34. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от NikolayV81 on 27-Май-13, 13:33 
>> Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD,
>> а то определить какие данные потерялись при вылете SSD будет проблематично,
>> хотя вероятнее всего самые нужные ;)
> Интересная штука, используя N x RAID1 из SSD мы поднимаем отказоустойчивость от
> вероятного "протирания до дырки" грубо в N раз, а применяя на
> них N x RAID0 мы увеличиваем ресурс в N раз, тем
> самым снижая эту вероятность.

если исключить вроде как не подтверждённую проблему "SSD зеркалу иногда имеет особенность умирать целиком", то таки в случае зеркало будет некоторое время для замены ;) ...


Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

38. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 14:38 
В зеркале износ одинаковый для всех компонент, общий ресурс равен наибольшему из устройств, следовательно оно практически не защищает от износа. В страйпе общий ресурс равен наименьшему из компонент умноженному на их количество.
Насчет времени для замены, лучше чтобы его никогда не случилось.
Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

39. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от NikolayV81 on 27-Май-13, 14:44 
> В зеркале износ одинаковый для всех компонент, общий ресурс равен наибольшему из
> устройств, следовательно оно практически не защищает от износа. В страйпе общий
> ресурс равен наименьшему из компонент умноженному на их количество.
> Насчет времени для замены, лучше чтобы его никогда не случилось.

И к чему это? на серверах всегда выходили из строя диски, и весь смысл зеркалирования, и его "развитий" в том что бы в случае выхода из строя ( который в дата центрах является плановым событием ) в сохранении данных...
> ресурс равен наименьшему из компонент умноженному на их количество.

это неверно если вам не наплевать на данные, как бы ресурс человека не равен наименьшему ресурсу клетки помноженному на их количество...

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

40. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 15:06 
Если не говорить об отказах электроники, а только об износе механическом (HDD) и электронном (SSD), то картина следующая. Чем больше у нас в массиве HDD тем выше вероятность отказа. В случае механики она еще и менее предсказуема. А в случае с SSD наоборот, чем бОльший объем тем бОльший ресурс. Разницу видно?
Ну и RAID10 никто не отменял.

> ресурс человека

Потеря одной клетки не влечет за собой гибель организма.
Если организм не одноклеточный ;)

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

41. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от NikolayV81 on 27-Май-13, 15:11 
> А в случае с SSD наоборот, чем бОльший объем тем бОльший ресурс.

Что вы понимаете под ресурсом?
если ресурс это возможность отдать информацию в том виде ( без ошибок ) в котором она была передана то это не так... и хоть миллиард устройств, в случае отказа не важно что останется на других, если нет копии данных которые лежали на этом устройстве ( и не важно механика там, магнитная лента, ссд или печатная продукция на складе )...

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

44. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 15:52 
>> А в случае с SSD наоборот, чем бОльший объем тем бОльший ресурс.
> Что вы понимаете под ресурсом?
> если ресурс это возможность отдать информацию в том виде ( без ошибок
> ) в котором она была передана то это не так... и
> хоть миллиард устройств, в случае отказа не важно что останется на
> других, если нет копии данных которые лежали на этом устройстве (
> и не важно механика там, магнитная лента, ссд или печатная продукция
> на складе )...

Для начала подумайте, с чего бы это ресурс в SSD измеряют в циклах записи а то и просто в петабайтах. И почему в одинаковой модельной линейке SSD вдвое меньший объем заявляется со вдвое меньшим ресурсом. Если этого не поймете, то и разговаривать дальше нет смысла.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

53. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от NikolayV81 on 27-Май-13, 17:38 
> Для начала подумайте, с чего бы это ресурс в SSD измеряют в
> циклах записи а то и просто в петабайтах. И почему в
> одинаковой модельной линейке SSD вдвое меньший объем заявляется со вдвое меньшим
> ресурсом. Если этого не поймете, то и разговаривать дальше нет смысла.

физически у вас отказ перезаписи ячейки, на практике развал фс ( ячейка оказалось была со служебной информацией ( не я верю что эти все проблемы разобраны и решены, но что-то мне подсказывает обратное), микрокод контроллера ссд пытался работать вплоть до финиша, либо просто не память а что то другое умерло )... так что какая разница, про маркетинг по поводу ресурса на перезапись не надо, микрокод контроллера ssd не разбирали и как он будет падать доподлинно не известно ( были прецеденты и с полным отказом ). изначальный пост был о том, что все привыкли что ssd в схеме используется как быстрый большой кэш на чтение а вся записываемая инфа гарантированно сохранялась зеркальным ( избыточным ) рейдом, а у этого продукта подход другой, т.е. с точки зрения сохранности данных он считает быстрые и медленные носители одинаково надёжными...

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

59. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 19:15 
Не совсем понятно, что вы хотите доказать. И кому.
Я выразил свою точку зрения на отказоустойчивость RAID1 vs RAID0 в свете другой технологии хранения данных. Постулировал что зеркало на SSD не дает преимущества в долговечности. И что скорее наоборот, RAID0 проработает дольше при том же трафике на запись. А вас понесло на ячейки и ФС. Кстати, S.M.A.R.T. ведь никто не отменял. И по сравнению с HDD там намного более точные сведения об оставшемся ресурсе. В чём спорить изволите?
Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

70. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от nikolayv81 email on 27-Май-13, 23:00 
> Не совсем понятно, что вы хотите доказать. И кому.
> Я выразил свою точку зрения на отказоустойчивость RAID1 vs RAID0 в свете
> другой технологии хранения данных. Постулировал что зеркало на SSD не дает
> преимущества в долговечности. И что скорее наоборот, RAID0 проработает дольше при
> том же трафике на запись. А вас понесло на ячейки и
> ФС. Кстати, S.M.A.R.T. ведь никто не отменял. И по сравнению с
> HDD там намного более точные сведения об оставшемся ресурсе. В чём
> спорить изволите?

в общем начали с этого, возможно по пути потерял где то ход мысли :(
>Главное что бы кто-то теперь не задумал RAID 1|5|6 + 1 SSD, а то определить какие данные потерялись при вылете SSD будет проблематично, хотя вероятнее всего самые нужные ;)

Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

67. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 22:10 
> физически у вас отказ перезаписи ячейки, на практике развал фс ( ячейка
> оказалось была со служебной информацией

Вы хоть почитай не про устройство фс и в каких фс как хранят данные и как работают.
А не воображариум устраивать.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

83. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 29-Май-13, 15:15 
>> физически у вас отказ перезаписи ячейки, на практике развал фс ( ячейка
>> оказалось была со служебной информацией
> Вы хоть почитай не про устройство фс и в каких фс как
> хранят данные и как работают.
> А не воображариум устраивать.

Он о метаданных, упырь.

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

42. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 15:38 
В LSI есть CacheCade. И помнится на семинаре представителю LSI задавали вопрос: - "А что происходит и как обрабатывается ситуация, когда SSD умирает?"

Так вот он ответил, что если SSD умирает из-за ресурса, то чтение сохраняется все равно. Т.е. нельзя записать новые данные, а старые прочитать можно. Т.о. ничего страшного не происходит.
Если умирает электроника, то конечно все плохо. Но вылет электроники крайне редок, и теоретически после починки данные возможно вытащить все равно.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

58. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от проходил мимо on 27-Май-13, 18:52 
> Так вот он ответил, что если SSD умирает из-за ресурса, то чтение
> сохраняется все равно. Т.е. нельзя записать новые данные, а старые прочитать
> можно. Т.о. ничего страшного не происходит.
> Если умирает электроника, то конечно все плохо. Но вылет электроники крайне редок,
> и теоретически после починки данные возможно вытащить все равно.

Смотря что вылитит, если карта реаллокации блоков - то сильно врядли... Да, вылет электроники у ssd - зависит от условий эксплуатации, и увы, не редок.

Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

30. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –6 +/
Сообщение от Анонимко on 27-Май-13, 13:07 
Они изобрели FreeBSD-шный GEOM для Linux и добавили местечковых костылей, вот и вся новость.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от Аноним (??) on 27-Май-13, 13:30 
Толстопуз, окстись. GEOM тут ни с одной из шести сторон.
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

47. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +5 +/
Сообщение от Аноним (??) on 27-Май-13, 17:01 
> Они изобрели FreeBSD-шный GEOM для Linux и добавили местечковых костылей, вот и вся новость.

Ликвидируем безграмотность среди школьников: "FreeBSD-шный GEOM" - это просто копипаста с линуксового device mapper.

Также заметим, что на современных FreeBSD аналог BTIER реализуем только средствами ZFS.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

50. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 17:21 
А можно еще сказать, что возможности ZFS, имеющиеся во FreeBSD, в линуксе реализуемы только костылями в виде BTIER и Btrfs :)
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

51. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от Аноним (??) on 27-Май-13, 17:33 
> А можно еще сказать, что возможности ZFS, имеющиеся во FreeBSD, в линуксе реализуемы только костылями в виде BTIER и Btrfs :)

Или наоборот: возможности ZFS и Btrfs, имеющиеся в линуксе, во FreeBSD реализуются только костылями в виде ZFS.

Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

52. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 17:34 
Даже так: возможности ZFS, Btrfs и BTIER.
Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

54. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 27-Май-13, 17:39 
> возможности ZFS..., имеющиеся в линуксе

Да, несчастные бсдешники уже и забыли, что с появлением zfsonlinux количество преимуществ freebsd перед linux вернулось на исторически сложившийся уровень (0).

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

75. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Школьник (ok) on 28-Май-13, 10:36 
Пока zfsonlinux не появится в ядре, оно будет просто детской игрушкой для энтузиастов. А в ядре оно не появится никогда.

ЗЫ Ох, какие у нас линуксолюбивые модераторы пошли, трут неудобные комментарии на раз. А чего бы не стереть тогда уж и тот комментарий, на который я отвечаю? Религия мешает? Как можно любить free software и не любить свободу выражения мнения?

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

78. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от ананим on 28-Май-13, 21:04 
Какая религия? Видел я твой коммент, смесь спеси, хамства и невежества.
Ау? Это ты бсд имел ввиду, говоря про энтерпрайз? Ха.
Патчинг ядра и смена форматов вообще шедевр. Ау, у zfsonlinux тотже формат и версия, что и в бсд. Какой нафиг патчинг?
Такое ощущение, что виндовые вирусы стали поражать уже и вантузятников.
Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

62. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 27-Май-13, 19:24 
> Также заметим, что на современных FreeBSD аналог BTIER реализуем только средствами ZFS.

В ZFS это просто банальный кэш. Ни о каком tiering'е там сегодня речи быть не может.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

84. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним (??) on 29-Май-13, 15:16 
>> Также заметим, что на современных FreeBSD аналог BTIER реализуем только средствами ZFS.
> В ZFS это просто банальный кэш. Ни о каком tiering'е там сегодня
> речи быть не может.

Потому что он там в пень не уперся. Она чутка для других задач, нежели самодельное гогно.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

77. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Кирилл (??) on 28-Май-13, 16:09 
Нет, в ZFS ничего похоже нет.
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

55. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Кирилл (??) on 27-Май-13, 17:56 
Это типа FusionDrive в Mac OS X?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

64. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним email(??) on 27-Май-13, 21:25 
В начальном посте сказано что данные кэшируются в озу. А чего произойдет если будет падение ноды по питанию ? Большие дедьки типа нетаппа гонят данные через nvram кэш, а тут через озу.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

69. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +2 +/
Сообщение от pavlinux (ok) on 27-Май-13, 22:28 
> А чего произойдет если будет падение ноды по питанию ?

закупка новых бесперебойников

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

71. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от Аноним email(??) on 28-Май-13, 01:02 
LOL. Ну это обойтись малой кровью. Конечно же имеется ввиду если нода вылетела в силу каких-то причин.
Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

86. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от pavlinux (ok) on 31-Май-13, 03:26 
> LOL. Ну это обойтись малой кровью. Конечно же имеется ввиду если нода
> вылетела в силу каких-то причин.

Чо, чо... только своевременные бэкапы, переодические инкрементальные бэкапы.
Такие вещи продумывают ещё до закупки оборудования. Критически важные данные
хранят на соседнем RAID61. Если работаш с БД - репликация, с файлам - сетевое зеркалирование/синхронизация.

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

72. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +1 +/
Сообщение от Аноним (??) on 28-Май-13, 01:42 
>> А чего произойдет если будет падение ноды по питанию

не закоммитить изменения на диск

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

73. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от анонимм on 28-Май-13, 09:29 
Не попахивает ли тут Venti?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

74. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от docent (??) on 28-Май-13, 10:04 
> Например, близкий аналог flashcache может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как BTIER максимально эффективно использует доступное пространство.

А эта эффективность нужна?
Например, размер СХД 12ТБ, для оптимизации работы достаточно SSD скажем на 200ГБ.
Т.о. получаем "эффективность" 200/12000=1.6%
Но для надежности придется использовать 2 зазеркаленых диска SSD.
Мне кажется, что использовать SSD как кэш было бы более эффективно и надежно.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

79. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от ананим on 28-Май-13, 21:10 
Нужна.
Во-первых, реализации аля кэш уже есть. Пользуйтесь.
Во-вторых, вот есть у меня ноут. Двд сменил на ссд. Вот сабж более чем к месту тут.
В-третьих, в случае кэша в/в всё равно дублируется. Что может быть критично. Графики выше.
Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

76. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –1 +/
Сообщение от amorphine on 28-Май-13, 15:42 
Ну все. Теперь линукс точно готов для десктопа
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

80. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Аноним (??) on 29-Май-13, 06:33 
Дааа  ... теперь походу десктоп не готов для линукса :)
Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

81. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  –2 +/
Сообщение от anoncppagli on 29-Май-13, 11:41 
А можно простыми словами для чего оно нужно?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

85. "Первый стабильный выпуск BTIER, блочного устройства для агре..."  +/
Сообщение от Кирилл (??) on 30-Май-13, 12:45 
Вот есть у вас очень быстрый ссд, но он мелкий и относительно дорогой, и есть очень большой и дешёвый, но медленный жёсткий диск. Вы можете сами раскладывать то, что по-вашему, требует быстрого чтения и редко изменяется на быстрый ссд, а жёсткий диск использовать для данных, которые не так критичны к скорости загрузки. Но как определить что куда класть, да и следить за этим нужно. В общем, слишком много мороки. А эта технология позволяет залепить из ссд и жёсткого диска один раздел, а потом сама ведёт статистку использования и решает какие файлы (или блоки) на какой физический носитель пихать. За счёт этого конечный пользователь получает и высокую скорость загрузки и преимущества большого и дешёвого носителя.
Ответить | Правка | ^ к родителю #81 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру