The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"FreeBSD как объединить несколько томов в один логический том."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 22-Июн-21, 15:44 
Здравствуйте.
Есть 4 диска по 2Тb. Нужно их объединить в один логический диск 8Tb, но так, чтобы при выходе из строя любого из дисков файлы с остальных можно было без особых усилий восстановить (в идеале вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить. Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия)
Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков.
Спасибо
Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "FreeBSD как объединить несколько томов в один логический том."  +1 +/
Сообщение от Аноним (1), 22-Июн-21, 17:19 
> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
> 8Tb, но так, чтобы при выходе из строя любого из дисков
> файлы с остальных можно было без особых усилий восстановить

Это из области фантастики.

Ответить | Правка | Наверх | Cообщить модератору

2. "FreeBSD как объединить несколько томов в один логический том."  +1 +/
Сообщение от lavremail (ok), 22-Июн-21, 17:24 
>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>> файлы с остальных можно было без особых усилий восстановить
> Это из области фантастики.

но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы волшебным
образом все жило и восстанавливалось и желательно легко и просто)

Ответить | Правка | Наверх | Cообщить модератору

3. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Аноним (1), 22-Июн-21, 18:12 
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>>> файлы с остальных можно было без особых усилий восстановить
>> Это из области фантастики.
> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы
> волшебным
> образом все жило и восстанавливалось и желательно легко и просто)

Да уж...
Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько и если бы склеить эти диски в raid0, плюс будет та самая желанная возможность сохранить "остальное" при выходе из строя любого диска.


Ответить | Правка | Наверх | Cообщить модератору

5. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 22-Июн-21, 19:29 
>[оверквотинг удален]
>>>> файлы с остальных можно было без особых усилий восстановить
>>> Это из области фантастики.
>> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы
>> волшебным
>> образом все жило и восстанавливалось и желательно легко и просто)
> Да уж...
> Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На
> 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько
> и если бы склеить эти диски в raid0, плюс будет та
> самая желанная возможность сохранить "остальное" при выходе из строя любого диска.

А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе из строя одного из них и потом, сменив диск, вводить массив в работу обратно? А если таких массива 4 (на 4-х компах)?

Ответить | Правка | Наверх | Cообщить модератору

8. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Аноним (1), 22-Июн-21, 23:01 
> А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе
> из строя одного из них и потом, сменив диск, вводить массив
> в работу обратно?

Нет, не пробовал, потому что raid0 если и применяют в здравом уме в чистом виде, так только там, где допустима потеря информации.


Ответить | Правка | Наверх | Cообщить модератору

12. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от ыы (?), 23-Июн-21, 00:57 
>[оверквотинг удален]
>>> волшебным
>>> образом все жило и восстанавливалось и желательно легко и просто)
>> Да уж...
>> Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На
>> 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько
>> и если бы склеить эти диски в raid0, плюс будет та
>> самая желанная возможность сохранить "остальное" при выходе из строя любого диска.
> А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе
> из строя одного из них и потом, сменив диск, вводить массив
> в работу обратно? А если таких массива 4 (на 4-х компах)?

А зачем его спасать? Новый ребилд и накатить бэкап быстрее будет :)

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

4. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 22-Июн-21, 19:26 
> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы
> волшебным
> образом все жило и восстанавливалось и желательно легко и просто)

Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, что осталось..

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

11. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от ыы (?), 23-Июн-21, 00:47 
>> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы
>> волшебным
>> образом все жило и восстанавливалось и желательно легко и просто)
> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то,
> что осталось..

При таком подходе бэкап нужен всему массиву... и значит можно рассмотреть крайний вариант- упало все и не осталось ничего. То есть поднимаем из бэкапа 8 Тб.

А дальше все просто -  делайте что хотите-  хотите- страйп.. хотите- lvm...
Это конечно не то что вы хотели изначально, но если у вас есть бэкап всего массива- то не стоит закладываться на экзотику. решайте задачу в рамках традиционных вещей.

Ответить | Правка | Наверх | Cообщить модератору

17. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 23-Июн-21, 10:50 
>[оверквотинг удален]
>> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то,
>> что осталось..
> При таком подходе бэкап нужен всему массиву... и значит можно рассмотреть крайний
> вариант- упало все и не осталось ничего. То есть поднимаем из
> бэкапа 8 Тб.
> А дальше все просто -  делайте что хотите-  хотите- страйп..
> хотите- lvm...
> Это конечно не то что вы хотели изначально, но если у вас
> есть бэкап всего массива- то не стоит закладываться на экзотику. решайте
> задачу в рамках традиционных вещей.

Да, в принципе так и есть - есть копия всего массива.
Но есть два "НО"  -
1 - переписать 2 ТБ в 4 раза быстрее, чес переписать 8 ТБ.
2 - И все-таки при вылете диска 3 дубля их 4-х как то спокойнее чем ни одного дубля

Ответить | Правка | Наверх | Cообщить модератору

13. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Денис (??), 23-Июн-21, 01:42 

> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то,
> что осталось..

для этого нужна избыточность, хотя бы для метаданных. Возможно gconcat стоит посмотреть

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

16. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 23-Июн-21, 10:46 
>> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то,
>> что осталось..
> для этого нужна избыточность, хотя бы для метаданных. Возможно gconcat стоит посмотреть

Интересно, посмотрю на досуге, спасибо

Ответить | Правка | Наверх | Cообщить модератору

6. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 22-Июн-21, 19:31 
>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>> файлы с остальных можно было без особых усилий восстановить
> Это из области фантастики.

Думаю, что решение есть. Оставим интригу...

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

7. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от tonys (??), 22-Июн-21, 19:36 
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>>> файлы с остальных можно было без особых усилий восстановить
>> Это из области фантастики.
> Думаю, что решение есть. Оставим интригу...

mergerfs

Ответить | Правка | Наверх | Cообщить модератору

9. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Аноним (1), 22-Июн-21, 23:01 
> Думаю, что решение есть. Оставим интригу...

Ок, удачи в поисках.


Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

10. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от муу (?), 23-Июн-21, 00:34 
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>>> файлы с остальных можно было без особых усилий восстановить
>> Это из области фантастики.
> Думаю, что решение есть. Оставим интригу...

LVM2

Oh, wait ...

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

14. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от gfh (??), 23-Июн-21, 08:24 
> Здравствуйте.
> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
> 8Tb, но так, чтобы при выходе из строя любого из дисков
> файлы с остальных можно было без особых усилий восстановить (в идеале
> вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить.
> Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия)
> Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков.
> Спасибо

mhddfs, unionfs, ...

Ответить | Правка | Наверх | Cообщить модератору

15. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 23-Июн-21, 10:25 
>> Здравствуйте.
>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск
>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>> файлы с остальных можно было без особых усилий восстановить (в идеале
>> вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить.
>> Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия)
>> Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков.
>> Спасибо
> mhddfs, unionfs, ...

Вот второй адекватный ответ (первый был про mergefs) Спасибо.
Как раз читаю инфу про єти три решения. Надо выбрать наиболее подходящий вариант для FreeBSD.

Ответить | Правка | Наверх | Cообщить модератору

18. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от lavremail (ok), 23-Июн-21, 12:06 
>[оверквотинг удален]
>>> 8Tb, но так, чтобы при выходе из строя любого из дисков
>>> файлы с остальных можно было без особых усилий восстановить (в идеале
>>> вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить.
>>> Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия)
>>> Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков.
>>> Спасибо
>> mhddfs, unionfs, ...
> Вот второй адекватный ответ (первый был про mergefs) Спасибо.
> Как раз читаю инфу про єти три решения. Надо выбрать наиболее подходящий
> вариант для FreeBSD.

в продакшн, unionfs и mhddfs под FreeBSD использовать опасно,
просто имейте это ввиду. Смотрите что есть в портах,
даты последних изменений, и по совокупности, принимайте
решение, но прежде соберите стенд и протестируйте, попробуйте
заполнение до 70-90%. Попробуйте выводить один из дисков
и тд и тп.

Ответить | Правка | Наверх | Cообщить модератору

19. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от DeerFriend (?), 23-Июн-21, 17:58 
Столько ответов по файловой системе и ещё никто не предложил zfs, btrfs?
Ответить | Правка | Наверх | Cообщить модератору

20. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 23-Июн-21, 21:31 
> Столько ответов по файловой системе и ещё никто не предложил zfs, btrfs?

ZFS прекрасная файловая система, но она такого не может. Скорее всего в качестве основной файловой системы на тех четырех дисках будет ZFS. Сейчас там используется RaidZ. Выпадает емкость одного диска из массива + (из собственного опыта) замена вылетевшего диска в массиве занимает почти 12 часов на пересчет и не всегда заканчивается удачно (учитывая, что диcкам по 8-9 лет, а ZFS в RaidZ не любит бэды и т.п.) Так что, учитывая что зеркало все равно есть, хочу попробовать пул MergeFS. Это все делается для GlusterFS, которая критична к скорости сетевых интерфейсов (у меня обычный гигабит) и количеству "кирпичей". Чем меньше бриков в медленной сети, тем быстрее работает GlusterFS, что естественно. Вот и минимизирую брики, объединяя в массивы. Как-то так.

Ответить | Правка | Наверх | Cообщить модератору

21. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Аноним (21), 29-Июн-21, 08:59 
Кто что добавит ещё про кластеризацию? Выше прозвучали названия файловых систем.

Каким решением лучше объединить в сетевую файловую систему, так, как будто каждый диск принадлежит независимому компу в сети. Тупо типа запустить серверов по числу дисков.

Тогда по идее глюк одного процесса сервера, сбой одного диска независимы от остальных. Типа что-то получается похожее на ответ на вопрос - каждый диск независим, консистентность в рамках каждого диска - отслеживается независимым, несвязанным с др. процессом.

На процессор сильна нагрузка?

Ответить | Правка | Наверх | Cообщить модератору

22. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от Аноним (21), 29-Июн-21, 09:01 
GlusterFS ?
https://wiki.freebsd.org/GlusterFS
Ответить | Правка | Наверх | Cообщить модератору

23. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от DeerFriend (?), 29-Июн-21, 17:31 
> GlusterFS ?
> https://wiki.freebsd.org/GlusterFS

RH отказался от поддержки GlusterFS в OpenShift. Поэтому я бы лучше смотрел в сторону Ceph.

Ответить | Правка | Наверх | Cообщить модератору

24. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от sergetv (?), 01-Июл-21, 21:09 
>> GlusterFS ?
>> https://wiki.freebsd.org/GlusterFS
> RH отказался от поддержки GlusterFS в OpenShift. Поэтому я бы лучше смотрел
> в сторону Ceph.

Смотрел я в ее сторону. Слишком много накладных расходов. GlusterFS реализуется проще, прозрачнее и гибче. Для Ceph надо поднимать целую инфраструктуру, отдельно серваки для метаданных и т.п. Если у тебе в наличии 4 машины на которых по 4 диска, то Ceph не оптимальна и бессмыслена, имхо.

Ответить | Правка | Наверх | Cообщить модератору

25. "FreeBSD как объединить несколько томов в один логический том."  +/
Сообщение от DeerFriend (?), 01-Июл-21, 22:50 
> Для Ceph надо поднимать целую инфраструктуру, отдельно серваки для метаданных и т.п.

Оно в контейнерах, можно хоть всю инфраструктуру на 1 серваке поднять.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру