The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выпуск Btier 2.0, блочного устройства для агрегирования нако..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от opennews on 18-Янв-15, 19:43 
Представлен (http://www.lessfs.com/wordpress/?p=938) значительный релиз  Btier 2.0.0 (http://www.lessfs.com), модуля для ядра Linux, позволяющего формировать многоуровневые блочные устройства, состоящие из нескольких разнотипных устройств небольшого размера. Исходные тексты проекта распространяется (http://sourceforge.net/projects/tier/) под лицензией GPL.


Версия Btier 2.0 примечательна переработкой внутренней архитектуры, позволившей добиться более высокой производительности. Обратной стороной изменения архитектуры стало прекращение поддержки VFS и возможности использования отдельных файлов в качестве элементов сводного хранилища. Повышены требования к используемым ядрам Linux, если Btier 1 мог работать с ядрами, начиная с 2.6.32, то Btier 2.0 ограничен только поддержкой последних выпусков ядра.


Использование Btier позволяет достигнуть более высокой производительности по сравнению с другими методами ускорения доступа к данным через использование кэша на SSD-накопителях, благодаря применению дополнительной техники кэширования в оперативной памяти и оптимального разнесения блоков по дискам. В частности, для кэширования в ОЗУ применяются наработки, реализованные в RAM-диске EPRD (https://www.opennet.ru/opennews/art.shtml?num=33541), а при распределении данных по дискам учитывается статистика доступа к уже размещённым данным, например, принимается во внимание то, когда данные использовались последний раз и как часто они запрашивались. Для адаптации к меняющимся условиям работы системы, в Btier поддерживается автоматическая миграции данных между накопителями и обеспечивается "умная" балансировка размещения блоков данных на накопителях в зависимости от характера нагрузки.


При наличии разных типов накопителей в пуле, отличающихся скоростными характеристиками, наиболее востребованные данные будут вытеснены на более быстрые накопители, такие как SSD или SAS НЖМД, а редко используемые данные будут размещены на медленных дисках. Таким образом, Btier позволяет сэкономить средства, используя SSD только для действительно востребованных данных, при том, что общая ёмкость всего быстрого хранилища в Btier составляет сумму из всех подключенных устройств хранения. Например, близкий аналог flashcache (https://www.opennet.ru/opennews/art.shtml?num=26440) может поддерживать отдельный кэш из SSD-накопителей поверх традиционных дисков, дублируя данные, в то время как Btier максимально эффективно использует доступное пространство.  


Для тонкого управления миграцией данных между накопителями и получении сведения о физическом размещении данных предусмотрен специальный API, изменение конфигурации может производиться через sysfs. В тестах производительности Btier продемонстрировал возможность передачи потоков в 1100 Мб/сек и обработки 210 тысяч случайных операций ввода/вывода в секунду.


URL: http://www.lessfs.com/wordpress/?p=938
Новость: https://www.opennet.ru/opennews/art.shtml?num=41483

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от Бывший школьник on 18-Янв-15, 19:43 
Шикарно. Когда будет готово для продакшена?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от Mike Lee on 18-Янв-15, 19:57 
Разве lvm не это же делает?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +4 +/
Сообщение от Владимир (??) on 18-Янв-15, 20:16 
lvm позволяет объединить диски, но он не будет за вас делать кэши и переносить куда-то редко или частоиспользуемые данные
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –2 +/
Сообщение от sdog (ok) on 18-Янв-15, 20:53 
dm-cache, сэр!
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

16. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от Аноним (??) on 19-Янв-15, 08:10 
угу. Только непонятно — то ли у кого-то опять nih-синдром, то ли они чем-то радикально отличаются
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

21. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от Stax (ok) on 19-Янв-15, 14:32 
Ну они ставят фишку на то, что у них именно что добавляется объем, а не кэш тупо дублирует кусок обычных данных.
http://tekinerd.com/wp-content/uploads/2010/11/cache-vs-tier...
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

17. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от iZEN (ok) on 19-Янв-15, 10:34 
> Разве lvm не это же делает?

Нет. Это делает ZFS с GEOM на FreeBSD.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

18. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –2 +/
Сообщение от Аноним (??) on 19-Янв-15, 10:41 
С plan9 содрали всё
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

23. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от Андрей (??) on 19-Янв-15, 19:34 
А подробнее?
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +1 +/
Сообщение от uniman (ok) on 19-Янв-15, 15:01 
>Нет. Это делает ZFS с GEOM на FreeBSD.

Точне, geom concat

EXAMPLES
     The following example shows how to configure four disks for automatic
     concatenation, create a file system on it, and mount it:

           gconcat label -v data /dev/da0 /dev/da1 /dev/da2 /dev/da3
           newfs /dev/concat/data
           mount /dev/concat/data /mnt
           [...]
           umount /mnt
           gconcat stop data
           gconcat unload

     Configure concatenated provider on one disk only.  Create file system.
     Add two more disks and extend existing file system.

           gconcat label data /dev/da0
           newfs /dev/concat/data
           gconcat label data /dev/da0 /dev/da1 /dev/da2
           growfs /dev/concat/data

HISTORY
     The gconcat utility appeared in FreeBSD 5.3, 2004

----

Модератор(ы) удаляют сообщения о возможностях BSD =)
Свобода слова как она есть =)

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

25. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от dsdf on 20-Янв-15, 03:48 
> Модератор(ы) удаляют сообщения о возможностях BSD =)
> Свобода слова как она есть =)

И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема не об этом.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

26. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от uniman (ok) on 20-Янв-15, 04:29 
>> Модератор(ы) удаляют сообщения о возможностях BSD =)
>> Свобода слова как она есть =)
> И чё ты там понаписакал? Как Бздя умеет кучковать диски? Так тема
> не об этом.

1 Да неужто? Расскажи это в любой теме, не касающейся Linux =)
2 А те не можешь без попытки унизить, деточка из совка? =)
3 Скажи спасибо, что дал тебе возможность расширить свой кругозор.

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

27. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от count0krsk (ok) on 20-Янв-15, 14:27 
Сколько злости ))
Дышите глубже, все люди братья ;-)
Bob_Marley-Jamming.mp3
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

32. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от Анониммм on 22-Янв-15, 01:49 
Я вот вижу грубость на грубость. Это конечно не оправдание, но ты то обратил внимание только на ответ и его осудил, а изначальный пост проигнорировал. А это называется "двойные стандарты".
"Не суди да, несудим будешь" ©
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

4. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от YetAnotherOnanym (ok) on 18-Янв-15, 20:30 
> возможности использования отдельных файлов в качестве элементов сводного хранилища.

Это чё, значит, я могу нахватать на облачных сервисах халявные 1-2-5-10 гигабайт у каждого и слепить себе облачное хранилище эпического размера?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –5 +/
Сообщение от Петруччо email on 18-Янв-15, 20:53 
Нет, у вас наверняка мозгов не хватит такое сделать. Да и не применимо это для удаленного сервера
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +1 +/
Сообщение от Аноним (??) on 18-Янв-15, 21:05 
Теоретически собрать RAID из ремотных серверов ничему как бы не противоречит. А те кто поумнее и размером с гугл - давно забили на эти абстракции и сделали себе распределенные сетевые ФС. Так что они и популярные данные поближе к пользователям могут перебазировать, в том числе и по мере востребованности, и место добавляют путем добавления еще эн серверов, и вылет 1 сервака всем индифферентен. Но это крутые штучные решения под нужды сильно нескольких контор.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

14. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от Аноним (??) on 19-Янв-15, 02:01 
> популярные данные поближе к пользователям могут перебазировать

Ох зайди на ютуб и попробуй посмотреть видео которое полгода уже не кто не смотрел - это просто ад.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

13. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +1 +/
Сообщение от Chaser (??) on 19-Янв-15, 00:09 
Это уже можно сделать с помощью aufs3 или mhddfs. Я так давно себе завел несколько терабайтный хранилищ для шифрованных бэкапов на разных сервисах.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

30. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от sage (??) on 21-Янв-15, 11:40 
Использую aufs3 уже больше 3 лет для дисков, очень удобно. Этакий raid0 для бедных, только при выходе из строя одного диска теряются данные только на этом диске, а все остальное продолжает работать.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

10. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от Crazy Alex (ok) on 18-Янв-15, 22:13 
Работает мимо подсистем ядра - в топку
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от t28 on 18-Янв-15, 22:59 
> через использование кэша

:facepalm:

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +9 +/
Сообщение от Какаянахренразница (ok) on 19-Янв-15, 06:39 
<дебил mode on>

И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты и CD-RW?

<дебил mode off>

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

28. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +1 +/
Сообщение от count0krsk (ok) on 20-Янв-15, 14:34 
> <дебил mode on>
> И чё, можно сделать быструю файловую систему из старых флэшек, памяти видеокарты
> и CD-RW?
> <дебил mode off>

Я делал рэйд из 2х флэшек. Скорость скажу я Вам... Метров 20 в секунду.
Не, быстрее в 1.5-2 раза, чем по-отдельности. Но даже чтобы угнаться за современным хдд надо столько юсб-портов... И уж поверьте человеку намучавшемуся с софтовыми и полу-софтовыми рэйдами на работе - не стоит оно того.

CD-RW использовал раньше в режиме UDF вроде. Можно было файлы закидывать как на флэшку.
Но после 10+ дописываний начинались глюки.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от gaga (ok) on 19-Янв-15, 11:17 
А что там в с надежностью? Заниматься такими вещами на, по сути, страйпе чревато. Т.е. надо в этот бтьер добавлять либо уже зеркалированные тома, либо зеркалировать диски бтьера. Получается сильно много слоев, не? Звучит так, как будто проще добавить функионал в zfs/btrfs.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –1 +/
Сообщение от клоун on 19-Янв-15, 12:04 
Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в голову мысль, которая была реализована. В Линукс любое "а ведь можно сделать вот такую фигню" имеет название пакета в котором эту фигню уже сделали.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

29. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +2 +/
Сообщение от count0krsk (ok) on 20-Янв-15, 14:38 
> Это Линукс: во время очередного заседания в окружении сан. фаянса пришла в
> голову мысль, которая была реализована. В Линукс любое "а ведь можно
> сделать вот такую фигню" имеет название пакета в котором эту фигню
> уже сделали.

А в виндовс-мире всего 5 пакетов, в которых есть необходимый вам функционал, и ещё много другого, и стоит от 999$ до 5000$ за премиум-версию.
Это как если тебе надо шлифануть доску напильником - предлагают взять в аренду (правом собственности на софт ты обладать не будешь) деревообрабатывающий завод.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

31. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +1 +/
Сообщение от Crazy Alex (ok) on 21-Янв-15, 20:54 
Видишь ли, клоун, Линукс - свободная и открытая система. В том числе это означает то, что любой желающий имеет все возможности, чтобы написать модуль для ядра, делающий что угодно. И, например, пользоваться самостоятельно или выложить у себя на странице. Пока нет вопроса о включении функционала в ядро - нет никаких проблем, какая бы санфаянсовая мысль ни была бы реализована. А ты "случайно" пропустил. что это сторонний модуль, в ядро не входящий.

Впрочем, я не удивлён - идея "всё, что не наносит доказанного вреда другим, запрещено быть не должно" тебе чужда, тебе разрешение хозяина на всё нужно.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

24. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  –2 +/
Сообщение от Аноним (??) on 20-Янв-15, 01:14 
Я не в курсе может быть чего-то, а почему не использовать VFS(FUSE)?  Это намного уджобнее и отладка проще? Зачем городить пользовательскую файловую систему на уровне ядра? Ладно еще там Fat и другие туда впиливают, но это-то зачем?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "Выпуск Btier 2.0, блочного устройства для агрегирования нако..."  +/
Сообщение от dfcz (??) on 23-Янв-15, 09:13 
мб потому что это не файловая система?
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру