The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выбор ФС для раздела в 45Тб"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски / Linux)
Изначальное сообщение [ Отслеживать ]

"Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 29-Окт-13, 15:09 
Добрый день.

Коллеги, помогите выбрать ФС для раздела на 45Тб.
Раздел предназначен для хранения больших файлов (10-350Гб).
Критична надежность ФС.
ОС - Debian 6 x64. В машине 32Гб памяти.

Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется понимать на что ее менять.
Спасибо.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от 1 (??) on 29-Окт-13, 15:36 
> Добрый день.
> Коллеги, помогите выбрать ФС для раздела на 45Тб.
> Раздел предназначен для хранения больших файлов (10-350Гб).
> Критична надежность ФС.
> ОС - Debian 6 x64. В машине 32Гб памяти.
> Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после
> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
> понимать на что ее менять.
> Спасибо.

наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров рейд так что ему может быть фиолетово, в зависимости от запаса по iops'ам для твоих задач.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 29-Окт-13, 16:19 
>[оверквотинг удален]
>> Раздел предназначен для хранения больших файлов (10-350Гб).
>> Критична надежность ФС.
>> ОС - Debian 6 x64. В машине 32Гб памяти.
>> Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после
>> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
>> понимать на что ее менять.
>> Спасибо.
> наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров
> рейд так что ему может быть фиолетово, в зависимости от запаса
> по iops'ам для твоих задач.

Что значит data=journal ?
ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые версии (а они в тестовом репозитории дебиана), то они собирают большие разделы. Но у меня они разваливались еще на тестировании..

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от Stanislav (??) on 29-Окт-13, 17:00 
glusterFS ?

Lustre ?


>[оверквотинг удален]
>>> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
>>> понимать на что ее менять.
>>> Спасибо.
>> наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров
>> рейд так что ему может быть фиолетово, в зависимости от запаса
>> по iops'ам для твоих задач.
> Что значит data=journal ?
> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 29-Окт-13, 22:00 
> glusterFS ?
> Lustre ?

Это слишком круто для этой задачи. Мне всего то надо файлопомойка на одной машине.
И в идеале чтобы ФС не умирала от перезагрузки или выключения питания)


Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

12. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от name (??) on 30-Окт-13, 14:51 
>> glusterFS ?
>> Lustre ?
> Это слишком круто для этой задачи. Мне всего то надо файлопомойка на
> одной машине.
> И в идеале чтобы ФС не умирала от перезагрузки или выключения питания)

для такого раздела самое оно, разве нет?
С одной стороны ничего не мешает запустить на одном сервере, с другой стороны позволит со временем сделать репликацию куда-нибудь.

У самого похожая задача, только со скромными 8ТБ, тоже не знаю куда податься.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

20. "Офф/2"  +/
Сообщение от Аль on 15-Ноя-13, 10:37 
> на одной машине

Во вторую мировую, в т.ч., говорили в авиации: единица это двойка.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

4. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от gfh (??) on 29-Окт-13, 18:27 
> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..

E2fsprogs 1.42 (November 29, 2011)

This release of e2fsprogs has support for file systems > 16TB.

Дистрибутивчик у вас старенький батенька.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 29-Окт-13, 22:03 
> E2fsprogs 1.42 (November 29, 2011)
> This release of e2fsprogs has support for file systems > 16TB.
> Дистрибутивчик у вас старенький батенька.

Если мне не изменяет память, то как раз эти и ставил. В стабильном репозитории их не было(
Когда машина поднималась 7-го дебиана не было. Хотя даже сейчас дрова на контроллер под 7-й в непонятном состоянии

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от gfh (??) on 29-Окт-13, 23:13 
> Если мне не изменяет память, то как раз эти и ставил. В
> стабильном репозитории их не было(
> Когда машина поднималась 7-го дебиана не было. Хотя даже сейчас дрова на
> контроллер под 7-й в непонятном состоянии

http://packages.debian.org/ru/squeeze/e2fsprogs
e2fsprogs (1.41.12-4stable1)

Есть же backports, есть варианты поставить e2fsprogs из wheezy...

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

14. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 30-Окт-13, 18:06 
> http://packages.debian.org/ru/squeeze/e2fsprogs
> e2fsprogs (1.41.12-4stable1)
> Есть же backports, есть варианты поставить e2fsprogs из wheezy...

В бэкпортах под 6-й не нашел версию с поддержкой более 16Тб.
Из 7-го ставить не хочется - какое то неправославное решение получается) Как оно себя будет вести после установки непонятно.. Ту версию что ставил из тестового репозитория, сначала работала хорошо. Хотя я не исключаю проблему рук)


Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

9. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от 1 (??) on 29-Окт-13, 22:27 

> Что значит data=journal ?

это опция монтирования, данные пишутся в лог вместе с метадаными, так либо применяется изменение данных целиком либо нет.

> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..

давно?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

13. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 30-Окт-13, 18:01 
>> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
>> версии (а они в тестовом репозитории дебиана), то они собирают большие
>> разделы. Но у меня они разваливались еще на тестировании..
> давно?

Где то полгода назад.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

15. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 30-Окт-13, 18:31 
>> data=journal

XFS вроде не поддерживает такой параметр монтирования..


Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

16. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от 1 (??) on 30-Окт-13, 20:21 
>>> data=journal
> XFS вроде не поддерживает такой параметр монтирования..

верно, он у ext4, поэтому и написал в связке. если есть возможность то попробуй такой вариант. с ним развалить систему должно быть много тяжелее


Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 30-Окт-13, 22:03 
>>>> data=journal
>> XFS вроде не поддерживает такой параметр монтирования..
> верно, он у ext4, поэтому и написал в связке. если есть возможность
> то попробуй такой вариант. с ним развалить систему должно быть много
> тяжелее

Сейчас XFS удалось запустить без потери данных на ней. Пока оставлю ее, но при следующем падении, думаю, что буду менять.
Совет про data=journal попробую.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

18. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от Oinari (ok) on 31-Окт-13, 08:13 
> Сейчас XFS удалось запустить без потери данных на ней.

Как починили расскажите пожалуйста.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 31-Окт-13, 10:14 
>> Сейчас XFS удалось запустить без потери данных на ней.
> Как починили расскажите пожалуйста.

Отмонтировал ФС и xfs_repair -L

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

5. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от Аноним (??) on 29-Окт-13, 20:24 
> Коллеги, помогите выбрать ФС для раздела на 45Тб.
> Раздел предназначен для хранения больших файлов (10-350Гб).
> Критична надежность ФС.
> ОС - Debian 6 x64. В машине 32Гб памяти.

Предлогаю солярку + ZFS. Как дисковый массив собран? Небойсь железный безумно дорогой рэйд контроллер? И запасного нет - поёлику дорого?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от lex284 (ok) on 29-Окт-13, 22:07 
> Предлогаю солярку + ZFS. Как дисковый массив собран? Небойсь железный безумно дорогой
> рэйд контроллер? И запасного нет - поёлику дорого?

Солярка не пойдет - унификация. Да и опыта с ней нет.
Массив аппаратный. Запасной контроллер есть) Но про массив не писал специально - вопрос только про ФС на раздел такого размера.
Есть опыт эксплуатации ZFS на массивах похожего размера?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

11. "Выбор ФС для раздела в 45Тб"  +/
Сообщение от Аноним (??) on 30-Окт-13, 06:51 
> Солярка не пойдет - унификация.

Тады - ой ...
>Да и опыта с ней нет.

Не боги горшки обсыкают :)
> Есть опыт эксплуатации ZFS на массивах похожего размера?

Был пул ~34-36Т. Но у меня специфика - это раздатчтик iSCSI volumes.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Ideco
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру