The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"большой файловый архив: пара вопросов"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [Проследить за развитием треда]

"большой файловый архив: пара вопросов"  
Сообщение от tx2 on 09-Авг-07, 11:58 
добрый день!

исходные данные:
существует файловый архив, на нтфс, под виндой, на куче ide hdd, объединенных парами в raid 1 ( зеркалка )
содержимое разношерстное: от мелких файлов ( исходников ), до 5игиговых файлов - потоковых данных с приборов
общий объем >500 гигов данных

задача:
перенести этот архив под управление линухи, на другие диски и другую фс.

при этом наиболее важна отказоустойчивость как аппаратной так и программной части.
скорость также важна, но не первична.

соотв. возникло несколько вопросов,
по поводу которых хотелось бы услышать стороннее (желательно объективное и непредвзятое) мнение.

1) физическая основа - харды..
в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество блинов и плотность записи,
и при этом чем выше плотность записи - тем меньше надежность...
однако опыта работы с современными большими хардами нету..
хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной стороны..
с другой - см. выше.. - както не спокойно...
вопрос: насколько в современных устройствах верна закономерность(см. выше)?
и где "золотая середина"?

2) программная часть, а точнее файловая система...
со скоростями все понятно - множество беньчмарков дают достаточно ясную картину.
а вот что с отказоустойчивостью?
если считать, что "старый конь борозды не испортит", то выбор стоит остановть на ext3...
еще много всего слышал очень, и совсем не очень, хорошего по поводу raiser...
а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит и глючит", до "рулез".
вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfs

p.s. на счет термина "отказоустойчивость", имеется ввиду следующее:
1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого участка
(изза неправильного выключения, физического повреждения носителей, программной ошибки и пр)
2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает проблема:
невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по неясным причинам.

p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а решить нужно быстро
если нужна какаято доп. информация - готов предоставить.

зарание спасибо!!!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени, UBB]


1. "большой файловый архив: пара вопросов"  
Сообщение от Romik (??) on 09-Авг-07, 12:56 
>1) физическая основа - харды..
>в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество
>блинов и плотность записи,
>и при этом чем выше плотность записи - тем меньше надежность...
>однако опыта работы с современными большими хардами нету..
>хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной
>стороны..
>с другой - см. выше.. - както не спокойно...
>вопрос: насколько в современных устройствах верна закономерность(см. выше)?
>и где "золотая середина"?

Золотой серединой будет RAID массив. И тут уже без разницы, какого объема у вас жесткие диски (у нас 500гиговые), главное - это иметь про запас еще несколько винтов на "горячую замену".
Можно купить NAS. Это дорого, но надежно и быстро. http://en.wikipedia.org/wiki/List_of_NAS_manufacturers

>[оверквотинг удален]
>еще много всего слышал очень, и совсем не очень, хорошего по поводу
>raiser...
>а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит
>и глючит", до "рулез".
>вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfs
>
>p.s. на счет термина "отказоустойчивость", имеется ввиду следующее:
>1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого
>участка (изза неправильного выключения, физического повреждения носителей, программной
>ошибки и пр)

Это не задача файловой системы, если я правильно понимаю. Это делается с помощью RAID.

>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.

Не встречался с таким на ext3, xfs и reiserfs.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "большой файловый архив: пара вопросов"  
Сообщение от Ivan email(??) on 09-Авг-07, 12:57 
>[оверквотинг удален]
>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.
>
>p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а
>решить нужно быстро
>если нужна какаято доп. информация - готов предоставить.
>
>зарание спасибо!!!

М-да, вопрос интересный.
Есть одно золотое правило. Лучше всего покупать HDD максимальной емкости из определенной линейки девайсов. Дело в том, что все винты той или иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом, в отделе контроля идет выбраковка и перемаркировка под более низкие объемы если девайс не влез по допускам. Допустим есть у вас сигетовские винты одной ветки 120, 100, 80, 60 и 40 гигов. Будте уверены что все они были изготовлены на 120, но вот потом не все прошли нормоконтроль. Так что лучше заранее сразу брать винты у которых все было хорошо при испытаниях. Меньше шансов нарваться на производственный брак.
По поводу рейдов. Я бы вам порекомендавал использовать зеркалирование дисков. Это хоть и "перерасход" ресурсов, но избавит вас от головной боли во многих случаях. По крайней мере, на своем опыте могу сказать, что хваленый пятый рейд, спасает далеко не во всех случаях. Я его скорее применяю только в качестве увеличения скорости обмена данными с HDD. Если надежность - кристический параметр IMHO однозначно первый рейд.
Что касается выбора файловой системы, то это скорее вопрос из разряда "религиозных" :)). Тут кому что нравится. Хотя лично бы я, в вашем случае,остановился бы на хорошо проверенном варианте (ext3)и не гнался бы за новомодными штучками. Но повторюсь, это только лишь мое мнение по данному вопросу.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "большой файловый архив: пара вопросов"  
Сообщение от idle (ok) on 09-Авг-07, 14:19 
>Дело в том, что все винты той или
>иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом,
>в отделе контроля идет выбраковка и перемаркировка под более низкие объемы

Кто это Вам такое рассказал?
Ссылку покажите.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "большой файловый архив: пара вопросов"  
Сообщение от Ivan email(??) on 09-Авг-07, 14:34 
>>Дело в том, что все винты той или
>>иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом,
>>в отделе контроля идет выбраковка и перемаркировка под более низкие объемы
>
>Кто это Вам такое рассказал?
>Ссылку покажите.

не помню точно. читал где-то... А что вас так за живое задело? Дам я вам ссылку, если найду, так это тоже просто будет мнение людей и вы скажите что это бред. Вообще-то я думаю, что мое объяснение логично. Если у вас есть более точная информация, я ее с радостью (без иронии) приму. Пока у меня есть такие данные...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "большой файловый архив: пара вопросов"  
Сообщение от pavel_simple (ok) on 09-Авг-07, 13:14 
мои пять копеек
если нужна именно отказоустойчивость то (ИМХО)
1. Винчестеры лучше брать с кэшем побольше и на данный момент на рынке присутствуют модели sata винчестеров специально для серверных применений
2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3 есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в случае конкретного краха)
3. зеркало в обязательном порядке
4. и очень порекомендую использоваль LVM
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "большой файловый архив: пара вопросов"  
Сообщение от anonymous (??) on 09-Авг-07, 14:12 
>2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя
>учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3
>есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в
>случае конкретного краха)

Оспоримо.  У меня имеется похожая ситуация: фтп сервер, 600 гигабайт на раздаче, инкаминг, коннект и отдача на полных 100мбит.  Файлы на фтп и большие, и маленькие, и огромные (до 10 гиг) -- всё прекрасно и быстро работает.  Файловая система везде reiser.

Так как по материальным причинам я не имею возможности организовать raid, недавний сбой одного диска привёл был довольно серьёзной проблемой.  Но, я сдампил все читаемые сектора с диска, и reiser без вопросов и проблем проверил и пофиксил повреждённую файловую систему.  Я и раньше был фанат reiser, а теперь я для себя решил -- только reiser.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "большой файловый архив: пара вопросов"  
Сообщение от pavel_simple (ok) on 09-Авг-07, 14:43 
попробуйте rm -rf / -- а потом я буду рад услышать как прошло востановление (пример конечно дикий) -- но если у вас не видно разделов совсем и первая половина винта зарисована нулями -- то в случае ext2/ext3 у вас возможность увидеть и во многом востановить данные находящиеся на не стёртой части винта -- с райзером такие выкрутасы непотянут

>Оспоримо.  У меня имеется похожая ситуация:

я же написал ИМХО и хочу вас уверить -- ситуаций повидал всяких

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "большой файловый архив: пара вопросов"  
Сообщение от anonymous (??) on 09-Авг-07, 15:09 
>попробуйте rm -rf / -- а потом я буду рад услышать как
>прошло востановление (пример конечно дикий) -- но если у вас не
>видно разделов совсем и первая половина винта зарисована нулями -- то
>в случае ext2/ext3 у вас возможность увидеть и во многом востановить
>данные находящиеся на не стёртой части винта -- с райзером такие
>выкрутасы непотянут

Если у меня вдруг будет такая ситуация и затёртыми окажутся важные данные, я без вопросов сразу же отключу диск и отнесу его к специалистам, так как:
1. В таких серьёзных случаях я могу измучить винт до полного разрушения затёртых данных
2. Стандартные утилиты (типа debugfs) без определённого опыта мало смысла использовать

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "большой файловый архив: пара вопросов"  
Сообщение от pavel_simple (ok) on 09-Авг-07, 15:26 
а если это например не Москва -- то относить винт вы будете 2 недели -- а все вас подождут -- смех да и только.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "большой файловый архив: пара вопросов"  
Сообщение от anonymous (??) on 09-Авг-07, 15:44 
>а если это например не Москва -- то относить винт вы будете
>2 недели -- а все вас подождут -- смех да и
>только.

Ага, это Киев.  У нас тут есть очень хорошая фирма Эпос =)

А вообще, это если нет raid.  Для серьёзных важных данных нужен raid по-любому.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "большой файловый архив: пара вопросов"  
Сообщение от Salamander (ok) on 09-Авг-07, 14:27 
>[оверквотинг удален]
>2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает
>проблема:
>невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по
>неясным причинам.
>
>p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а
>решить нужно быстро
>если нужна какаято доп. информация - готов предоставить.
>
>зарание спасибо!!!

Если цена не очень критична, то наверное при такой задаче лучше внешний сторедж покупать.
Из дешовых есть coraid.com .
ФС - на основе религиозных предпочтений между ext3/jfs/xfs

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "большой файловый архив: пара вопросов"  
Сообщение от iasb email(??) on 09-Авг-07, 22:38 
1 - остаться на НТФС (у админа есть уже опыт, нечего себе на .... искать приключений)

2 - купить адаптер, например http://www.promise.com/product/pd_l3.asp?Product_Layer_ID=PRLA20060911010 - 4 или 8 канальный и навесить дисков под RAID-5


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру