The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Файловое хранилище"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Оптимизация и Промышленные системы (Хранилища данных)
Изначальное сообщение [ Отслеживать ]

"Файловое хранилище"  +/
Сообщение от PashaTurok (ok), 05-Фев-13, 12:48 
Подскажите пожалуйста качественное и БЕЗОПАСНОЕ (как с точки зрения доступа так и целостности данных) решение. Есть 3 сервера на каждом 8 дисков.

1. Возможно ли объединить все дисковое пространство всех серверов в одно большое файловое пространство для работы с самбой? - чтобы у нас было не три диска самбы - по одному на каждый сервер (+LVM), а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись полностью диски первого сервера, потом второго и т.п.

2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер и нужный диск исходя из размера записываемого файла и свободного места на диске и т.п. То есть, чтобы пользователь даже не знал, где размещается файл.

Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в интернете много, но что используется больше всего на практике?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Файловое хранилище"  +/
Сообщение от fantom (ok), 05-Фев-13, 13:12 
>[оверквотинг удален]
> целостности данных) решение. Есть 3 сервера на каждом 8 дисков.
> 1. Возможно ли объединить все дисковое пространство всех серверов в одно большое
> файловое пространство для работы с самбой? - чтобы у нас было
> не три диска самбы - по одному на каждый сервер (+LVM),
> а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
> полностью диски первого сервера, потом второго и т.п.
> 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
> и нужный диск исходя из размера записываемого файла и свободного места
> на диске и т.п. То есть, чтобы пользователь даже не знал,
> где размещается файл.

Решений море, от scsi over IP(Eth) до распределенных файловых систем

http://ru.wikipedia.org/wiki/Список_файловых_систем#.D0.A0.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D1.91.D0.BD.D0.BD.D1.8B.D0.B5_.D1.84.D0.B0.D0.B9.D0.BB.D0.BE.D0.B2.D1.8B.D0.B5_.D1.81.D0.B8.D1.81.D1.82.D0.B5.D0.BC.D1.8B

http://habrahabr.ru/post/133987/

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Файловое хранилище"  +/
Сообщение от pavlinux (ok), 05-Фев-13, 15:09 
> Хотелось бы конечно проверенные временем

iSCSI

> и бесплатные решения.

Рейд из NBD

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Файловое хранилище"  +/
Сообщение от PashaTurok (ok), 05-Фев-13, 16:32 
>> Хотелось бы конечно проверенные временем
> iSCSI
>> и бесплатные решения.
> Рейд из NBD

Спасибо за участие! Но как я понял iSCSI дает в общий доступ определенный диск. Смотрел тут -http://metalcandy.ru/how-to-forge-centos/557-centos-install-...
Или я не правильно понял. Задача-то заключается в том, чтобы сделать единое пространство всех дисков и серверов.То есть выбрать самую стабильную распределенную файловую систему - как я понимаю.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Файловое хранилище"  –1 +/
Сообщение от pavlinux (ok), 05-Фев-13, 18:59 
> ... как я понял iSCSI дает в общий доступ определенный диск.

Да, и на основной машине собираешь всё в кучу. (RAID0)

---
Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
Не, ну как вариант можно использовать, только у них оверхед больше чем у iSCSI или NBD

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Файловое хранилище"  +/
Сообщение от PashaTurok (ok), 05-Фев-13, 20:49 
>> ... как я понял iSCSI дает в общий доступ определенный диск.
> Да, и на основной машине собираешь всё в кучу. (RAID0)
> ---
> Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
> Не, ну как вариант можно использовать, только у них оверхед больше чем
> у iSCSI или NBD

Хм. Здесь http://social.technet.microsoft.com/Forums/en/winserverfiles... пишут что это все не очень надежно. А если какой-то сервер выпадет из массива? Вы использовали такое решение?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Файловое хранилище"  +/
Сообщение от pavlinux (ok), 06-Фев-13, 04:50 
>>> ... как я понял iSCSI дает в общий доступ определенный диск.
>> Да, и на основной машине собираешь всё в кучу. (RAID0)
>> ---
>> Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
>> Не, ну как вариант можно использовать, только у них оверхед больше чем
>> у iSCSI или NBD
> Хм. Здесь http://social.technet.microsoft.com/Forums/en/winserverfiles... пишут что это все не очень надежно.

Дык там же венда.  

> А если какой-то сервер выпадет из массива?

В состав такого рейда обязательно должен входить локальный диск. Лучше сделать RAID5.
Везде настроенный QoS, дабы иметь гарантированную полосу при любой загрузке сети.

Оборудование должно быть не просто хорошим, а очень хорошим.
Сетевушки не меньше Intel 1000MT (лучше оптику), провода STP (S/FTP) 6/7 cat.,
всё заземлено, плотные штекеры RJ-45, по проводам народ ходить не должен,
везде бесперебойники хотя бы на 15 минут жизни.

> Вы использовали такое решение?

О да, причём на USB-флешках. :D

---
Купи какой нить полубытовой NAS, типа Synology или QNAP, чесслово дешевле обойдётся.
На бесперебойниках, правильной витой паре и сетевухах сэкономишь. :)

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

13. "Файловое хранилище"  +1 +/
Сообщение от fantom (??), 16-Май-18, 21:08 
>> ... как я понял iSCSI дает в общий доступ определенный диск.

Неправильно!!! файл тоже можно как диск скормить iSCSI...

> Да, и на основной машине собираешь всё в кучу. (RAID0)

Бред... и при каждом сбое в сети получать рассыпавшийся массив????

> ---
> Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.

Это только ОДНА из ее плюшек.

> Не, ну как вариант можно использовать, только у них оверхед больше чем
> у iSCSI или NBD

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Файловое хранилище"  –1 +/
Сообщение от Mr. Mistoffeleesemail (?), 08-Фев-13, 17:53 
Привет,

> Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
> интернете много, но что используется больше всего на практике?

FreeNAS смотрели? Может, подойдет вам.

Из более умных решений мне лично нравится как работает GridFS.

WWell,

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Файловое хранилище"  +/
Сообщение от lbcomemail (?), 09-Фев-13, 02:30 
Купите 4U или 3U сервер +определится с рэйром(железный или нет) и вставьте в него все ваши диски.


>[оверквотинг удален]
> файловое пространство для работы с самбой? - чтобы у нас было
> не три диска самбы - по одному на каждый сервер (+LVM),
> а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
> полностью диски первого сервера, потом второго и т.п.
> 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
> и нужный диск исходя из размера записываемого файла и свободного места
> на диске и т.п. То есть, чтобы пользователь даже не знал,
> где размещается файл.
> Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
> интернете много, но что используется больше всего на практике?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Файловое хранилище"  +/
Сообщение от lbcomemail (?), 09-Фев-13, 02:35 
Купите 4U или 3U сервер + определиться с рэйром(железный или нет) и вставьте в него все ваши диски. И экономия и надежность побольше, чем с трех разных машин.

>[оверквотинг удален]
> файловое пространство для работы с самбой? - чтобы у нас было
> не три диска самбы - по одному на каждый сервер (+LVM),
> а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
> полностью диски первого сервера, потом второго и т.п.
> 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
> и нужный диск исходя из размера записываемого файла и свободного места
> на диске и т.п. То есть, чтобы пользователь даже не знал,
> где размещается файл.
> Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
> интернете много, но что используется больше всего на практике?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Файловое хранилище"  +/
Сообщение от stre10k (ok), 11-Июл-13, 23:31 
GlusterFS

Диски на серверах в рейд, по 2 тома на сервер, тома в гластер на 2 реплики и 3 страйпа.
GlusterFS помоему сам по самбе умеет раздавать.

по поводу 1 пункта, лучше чтобы диски заполнялись на всех серверах равномерно, для производительности.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Файловое хранилище"  +/
Сообщение от Alex (??), 05-Июл-16, 00:02 
> GlusterFS

Смотрю в интернете. Падучий? Не отказоустойчивый?

Тоже интересуюсь этой темой.
Вариант с 4U для меня не подходит. Так как 4U могут кончится и что дальше?
Надо всегда иметь возможность нарищиваться.
Быть отказоустойчивыми к отключению питания, кабеля лан, падению одного или нескольких 4U, самих дисков.

Что посоветуете?
Чем пользуются Яндекс и гугле? Со своими пентабайтами...
Ну на худой конец, чем пользутся хостеры?

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

14. "Файловое хранилище"  +/
Сообщение от ziplex (?), 24-Авг-18, 10:37 
Посмотрите в сторону Ceph на BlueStore как вариант
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру