форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[Проследить за развитием треда]

"большой файловый архив: пара вопросов"

Сообщение от tx2 on 09-Авг-07, 11:58

добрый день! исходные данные: существует файловый архив, на нтфс, под виндой, на куче ide hdd, объединенных парами в raid 1 ( зеркалка ) содержимое разношерстное: от мелких файлов ( исходников ), до 5игиговых файлов - потоковых данных с приборов общий объем >500 гигов данных задача: перенести этот архив под управление линухи, на другие диски и другую фс. при этом наиболее важна отказоустойчивость как аппаратной так и программной части. скорость также важна, но не первична. соотв. возникло несколько вопросов, по поводу которых хотелось бы услышать стороннее (желательно объективное и непредвзятое) мнение. 1) физическая основа - харды.. в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество блинов и плотность записи, и при этом чем выше плотность записи - тем меньше надежность... однако опыта работы с современными большими хардами нету.. хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной стороны.. с другой - см. выше.. - както не спокойно... вопрос: насколько в современных устройствах верна закономерность(см. выше)? и где "золотая середина"? 2) программная часть, а точнее файловая система... со скоростями все понятно - множество беньчмарков дают достаточно ясную картину. а вот что с отказоустойчивостью? если считать, что "старый конь борозды не испортит", то выбор стоит остановть на ext3... еще много всего слышал очень, и совсем не очень, хорошего по поводу raiser... а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит и глючит", до "рулез". вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfs p.s. на счет термина "отказоустойчивость", имеется ввиду следующее: 1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого участка (изза неправильного выключения, физического повреждения носителей, программной ошибки и пр) 2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает проблема: невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по неясным причинам. p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а решить нужно быстро если нужна какаято доп. информация - готов предоставить. зарание спасибо!!!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Сообщения по теме

[Сортировка по времени, UBB]

1. "большой файловый архив: пара вопросов"

Сообщение от Romik (??) on 09-Авг-07, 12:56

>1) физическая основа - харды.. >в моем черепе устоялось мнение, что с увеличением емкости hdd, увеличивается количество >блинов и плотность записи, >и при этом чем выше плотность записи - тем меньше надежность... >однако опыта работы с современными большими хардами нету.. >хочется конечно купить 4 штучки сегатов по 750 гиг... это с одной >стороны.. >с другой - см. выше.. - както не спокойно... >вопрос: насколько в современных устройствах верна закономерность(см. выше)? >и где "золотая середина"? Золотой серединой будет RAID массив. И тут уже без разницы, какого объема у вас жесткие диски (у нас 500гиговые), главное - это иметь про запас еще несколько винтов на "горячую замену". Можно купить NAS. Это дорого, но надежно и быстро. http://en.wikipedia.org/wiki/List_of_NAS_manufacturers >[оверквотинг удален] >еще много всего слышал очень, и совсем не очень, хорошего по поводу >raiser... >а по поводу xfs и jfs - вообще диаметрально противоположное: от "тормозит >и глючит", до "рулез". >вопрос: какой есть опыт? особенно интересуют впечатления от xfs и jfs > >p.s. на счет термина "отказоустойчивость", имеется ввиду следующее: >1) стремится к нулю риск потерять вообще все при повреждении сравнительно небольшого >участка (изза неправильного выключения, физического повреждения носителей, программной >ошибки и пр) Это не задача файловой системы, если я правильно понимаю. Это делается с помощью RAID. >2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает >проблема: >невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по >неясным причинам. Не встречался с таким на ext3, xfs и reiserfs.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "большой файловый архив: пара вопросов"

Сообщение от Ivan (??) on 09-Авг-07, 12:57

>[оверквотинг удален] >2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает >проблема: >невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по >неясным причинам. > >p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а >решить нужно быстро >если нужна какаято доп. информация - готов предоставить. > >зарание спасибо!!! М-да, вопрос интересный. Есть одно золотое правило. Лучше всего покупать HDD максимальной емкости из определенной линейки девайсов. Дело в том, что все винты той или иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом, в отделе контроля идет выбраковка и перемаркировка под более низкие объемы если девайс не влез по допускам. Допустим есть у вас сигетовские винты одной ветки 120, 100, 80, 60 и 40 гигов. Будте уверены что все они были изготовлены на 120, но вот потом не все прошли нормоконтроль. Так что лучше заранее сразу брать винты у которых все было хорошо при испытаниях. Меньше шансов нарваться на производственный брак. По поводу рейдов. Я бы вам порекомендавал использовать зеркалирование дисков. Это хоть и "перерасход" ресурсов, но избавит вас от головной боли во многих случаях. По крайней мере, на своем опыте могу сказать, что хваленый пятый рейд, спасает далеко не во всех случаях. Я его скорее применяю только в качестве увеличения скорости обмена данными с HDD. Если надежность - кристический параметр IMHO однозначно первый рейд. Что касается выбора файловой системы, то это скорее вопрос из разряда "религиозных" :)). Тут кому что нравится. Хотя лично бы я, в вашем случае,остановился бы на хорошо проверенном варианте (ext3)и не гнался бы за новомодными штучками. Но повторюсь, это только лишь мое мнение по данному вопросу.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "большой файловый архив: пара вопросов"
	Сообщение от idle (ok) on 09-Авг-07, 14:19
	>Дело в том, что все винты той или >иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом, >в отделе контроля идет выбраковка и перемаркировка под более низкие объемы Кто это Вам такое рассказал? Ссылку покажите.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "большой файловый архив: пара вопросов"
	Сообщение от Ivan (??) on 09-Авг-07, 14:34
	>>Дело в том, что все винты той или >>иной линейки на заводе изготовлителе гоняться под максимальную емкость, а потом, >>в отделе контроля идет выбраковка и перемаркировка под более низкие объемы > >Кто это Вам такое рассказал? >Ссылку покажите. не помню точно. читал где-то... А что вас так за живое задело? Дам я вам ссылку, если найду, так это тоже просто будет мнение людей и вы скажите что это бред. Вообще-то я думаю, что мое объяснение логично. Если у вас есть более точная информация, я ее с радостью (без иронии) приму. Пока у меня есть такие данные...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "большой файловый архив: пара вопросов"

Сообщение от pavel_simple (ok) on 09-Авг-07, 13:14

мои пять копеек если нужна именно отказоустойчивость то (ИМХО) 1. Винчестеры лучше брать с кэшем побольше и на данный момент на рынке присутствуют модели sata винчестеров специально для серверных применений 2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3 есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в случае конкретного краха) 3. зеркало в обязательном порядке 4. и очень порекомендую использоваль LVM

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "большой файловый архив: пара вопросов"
	Сообщение от anonymous (??) on 09-Авг-07, 14:12
	>2. raiser однозначно не стоит, самым подходящим вариантом является старый-добрый ext3, хотя >учитывая "разношерстность" файлов можно также всглянуть и на jfs (у ext3 >есть мало оспариваемое преимущество в виде определённого количества ПО восстановления в >случае конкретного краха) Оспоримо.  У меня имеется похожая ситуация: фтп сервер, 600 гигабайт на раздаче, инкаминг, коннект и отдача на полных 100мбит.  Файлы на фтп и большие, и маленькие, и огромные (до 10 гиг) -- всё прекрасно и быстро работает.  Файловая система везде reiser. Так как по материальным причинам я не имею возможности организовать raid, недавний сбой одного диска привёл был довольно серьёзной проблемой.  Но, я сдампил все читаемые сектора с диска, и reiser без вопросов и проблем проверил и пофиксил повреждённую файловую систему.  Я и раньше был фанат reiser, а теперь я для себя решил -- только reiser.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "большой файловый архив: пара вопросов"
	Сообщение от pavel_simple (ok) on 09-Авг-07, 14:43
	попробуйте rm -rf / -- а потом я буду рад услышать как прошло востановление (пример конечно дикий) -- но если у вас не видно разделов совсем и первая половина винта зарисована нулями -- то в случае ext2/ext3 у вас возможность увидеть и во многом востановить данные находящиеся на не стёртой части винта -- с райзером такие выкрутасы непотянут >Оспоримо.  У меня имеется похожая ситуация: я же написал ИМХО и хочу вас уверить -- ситуаций повидал всяких
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "большой файловый архив: пара вопросов"
	Сообщение от anonymous (??) on 09-Авг-07, 15:09
	>попробуйте rm -rf / -- а потом я буду рад услышать как >прошло востановление (пример конечно дикий) -- но если у вас не >видно разделов совсем и первая половина винта зарисована нулями -- то >в случае ext2/ext3 у вас возможность увидеть и во многом востановить >данные находящиеся на не стёртой части винта -- с райзером такие >выкрутасы непотянут Если у меня вдруг будет такая ситуация и затёртыми окажутся важные данные, я без вопросов сразу же отключу диск и отнесу его к специалистам, так как: 1. В таких серьёзных случаях я могу измучить винт до полного разрушения затёртых данных 2. Стандартные утилиты (типа debugfs) без определённого опыта мало смысла использовать
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "большой файловый архив: пара вопросов"
	Сообщение от pavel_simple (ok) on 09-Авг-07, 15:26
	а если это например не Москва -- то относить винт вы будете 2 недели -- а все вас подождут -- смех да и только.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "большой файловый архив: пара вопросов"
	Сообщение от anonymous (??) on 09-Авг-07, 15:44
	>а если это например не Москва -- то относить винт вы будете >2 недели -- а все вас подождут -- смех да и >только. Ага, это Киев.  У нас тут есть очень хорошая фирма Эпос =) А вообще, это если нет raid.  Для серьёзных важных данных нужен raid по-любому.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "большой файловый архив: пара вопросов"

Сообщение от Salamander (ok) on 09-Авг-07, 14:27

>[оверквотинг удален] >2) устойчивость к програмным "приколам", например под виндой (фат, нтфс) часто возникает >проблема: >невозможно удалить файл или каталог, часто изза слишком длинного имени, иногда по >неясным причинам. > >p.p.s. прощу прощения за дурацкий вопрос: сам далек от этих вопросов, а >решить нужно быстро >если нужна какаято доп. информация - готов предоставить. > >зарание спасибо!!! Если цена не очень критична, то наверное при такой задаче лучше внешний сторедж покупать. Из дешовых есть coraid.com . ФС - на основе религиозных предпочтений между ext3/jfs/xfs

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	12. "большой файловый архив: пара вопросов"
	Сообщение от iasb (??) on 09-Авг-07, 22:38
	1 - остаться на НТФС (у админа есть уже опыт, нечего себе на .... искать приключений) 2 - купить адаптер, например http://www.promise.com/product/pd_l3.asp?Product_Layer_ID=PRLA20060911010 - 4 или 8 канальный и навесить дисков под RAID-5
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]