The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

форумы  правила/FAQ  поиск  регистрация  вход/выход  слежка  RSS
"RAID5 сильно тормозит."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Маршрутизаторы CISCO и др. оборудование. (Разное)
Изначальное сообщение [ Отслеживать ]

"RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 26-Мрт-17, 11:16 
Друзья.
Обращаюсь за советом, сломал голову.
Есть сервер Depo, точную модель сказать не могу сейчас, но характеристики такие: 2 процессора Е5-2407, 48Гб оперативки.
Стоял RAID-контроллер LSI 9260-8i.
К нему подключены в RAID5 - 4 диска по 500Гб (WD RE4). В RAID0 - один SSD kingston.
Проверяю скорость записи на RAID5 скорость еле еле 20МБ: https://puu.sh/tKQ6Y/102bed26a8.png
Проверяю скорость записи на SSD диск, к сожалению скрин не сохранился, но там скорость была на запись около 100МБ, чтение 350-400.
Попробовал убрать контроллер и корзину воткнуть напрямую в мать и использовать материнский контроллер. скорости остались на прежнем уровне.

Контроллер переспрашивали последней прошивкой, не помогло. Контроллер ставили на другую машину, скорости не изменились.

Прошу совета, куда лезть и что рыть, чтобы вернуть былую славу дисковой подсистеме.

P.S. еще у клиента такая же проблема образовалась, тоже скорость записи хромает, а чтение норм.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "RAID5 сильно тормозит."  +/
Сообщение от Pofigist on 26-Мрт-17, 14:15 
Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит? Ну вообще - подробности плиз. По твоему описанию - ничего не понятно, может диск глючит, а может он у тебя в софтовом режиме...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 26-Мрт-17, 14:44 
> Расскажи подробней - как собирали RAID5? Что там S.M.A.R.T. о дисках глаголит?
> Ну вообще - подробности плиз. По твоему описанию - ничего не
> понятно, может диск глючит, а может он у тебя в софтовом
> режиме...

RAID5 собирал при запуске компа, выбирал диски, потом на полную инициализацию. Аналогичную процедуру выполнял и когда отключил контроллер.
СМАРТ по каждому из дисков:
https://puu.sh/uYUq3/47eed8aa91.png
https://puu.sh/uYUty/dd9aba98dc.png
https://puu.sh/uYUtT/c43b2014b5.png
https://puu.sh/uYUuh/3d895a0d5d.png


Попробую заново описать.
Стоял сервак, на нем работал Win2012R2.
стоял контроллер LSI9260-8i, подключен к корзине в которую вставлены 6 дисков Hitachi(модели сейчас не помню).
В какой-то момент сервак стал жутко тормозить. Решили поменять диски на WD RE. купили 4 диска WD, и один SSD.
На горячую заменили по очереди каждый из дисков. После перезагрузки убрали лишние диски и поставили SSD. Получился RAID5 4x500, RAID0 1x120, RAID0 1x2000.
Проверяю скорость, скорость записи не подросла. Посчитал что контроллер дохнет. Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала.

Сейчас скорость записи никакая, чтения хреновая.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "RAID5 сильно тормозит."  +/
Сообщение от Pofigist on 27-Мрт-17, 04:29 
> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.

Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть еще упала

Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
Вообще проблемы со скоростью записи в RAID5 это нормально.

Хотя может быть и отложенная инициализация - тогда через некоторое время скорость вырастет.

P.S. Менять Hitachi на WD это глупость, если они были живые.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 27-Мрт-17, 06:35 
>> Решил убрать контролер LSI и собрать новый RAID на интегрированном контроллере.
> Собрал заново RAID5, поставил с нуля винду, проверяю скорость, а она чуть
> еще упала
> Что за интегрированный контроллер? Ну вообщем скорей всего - Intel. То есть
> это SoftRAID. Для программного 5-го раида такая скорость на запись нормально.
> Вообще проблемы со скоростью записи в RAID5 это нормально.
> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.
> P.S. Менять Hitachi на WD это глупость, если они были живые.

Я конечно понимаю вашу иронию, но скорость упала не после того, как я убрал из RAID5 2 диска. К тому же, при RAID5 использовать 6 дисков нелогично в силу отсутствия чередования записи Strip-блока, как собственно и 3-х дисков. Ввиду этого было принято решение использовать именно 4 диска.
После создания нового RAID5 из 4-х дисков, все чудесно работало год, потом начались вот такие проблемы, потому не нужно сваливать вину на RAID5.
Интегрированный контроллер да Intel, но они же не все софтовые или я не прав?! Ну да это сейчас и не важно.
Я пытаюсь понять, куда делась скорость работы.
Сейчас пытаюсь понять, либо это сама платформа чудит, либо все таки контроллер. Я написал тут для того, чтобы мне помогли разобраться, подсказали в какую сторону копнуть.


> Хотя может быть и отложенная инициализация - тогда через некоторое время скорость
> вырастет.

Ну за месяц инициализация должна была уже пройти...

Давайте опустим встроенный RAID, давайте вернемся к платформе и контроллеру LSI.
Может ли сама платформа чудить?!
Кстати, на SSD скорость тоже на запись низкая, а на чтение высокая.
Вопрос кстати, а может ли "чудить" сама корзина?!

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "RAID5 сильно тормозит."  +/
Сообщение от Pofigist on 27-Мрт-17, 08:52 
Ну наконец-то вы стали давать хоть какую-то конкретику...

> Вопрос кстати, а может ли "чудить" сама корзина?!

Может - радиотехника наука о контактах. Но тут врятли - еслиб чудила корзина, то скорость бы упала и на запись и на чтение скорей всего. Хотя... Посмотрите на интерфейсах кол-во ошибок передачи.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

4. "RAID5 сильно тормозит."  +/
Сообщение от Pofigist on 27-Мрт-17, 04:30 
Ой как же сразу не заметил - было 6 дисков а 5м раиде, а сейчас их 4е? Ну запомни - чем больше дисков в 5м раиде - тем он быстрее работает. :)


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "RAID5 сильно тормозит."  +/
Сообщение от AnoAno on 27-Мрт-17, 16:47 
4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405) Win2k12 R2
Read 331Mb/s Write 425 Mb/s


Сделаем скидку на различие в rpm, и все равно скорость никак не может быть 20-30Mb/s.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 27-Мрт-17, 18:59 
> 4 x HDD WD SATA 1TB 10k = raid 5 (Adaptec 6405)
> Win2k12 R2
> Read 331Mb/s Write 425 Mb/s
> Сделаем скидку на различие в rpm, и все равно скорость никак не
> может быть 20-30Mb/s.

Я вам скажу больше, она была больше сотки,
У меня на моем личном сервере, ну как сервере, на обычной матери s775 переделанный под s771 стоит 2 WD Black и вот такие характеристики показывает: https://puu.sh/tM1Ih/bbf156f241.png


К слову, сегодня попробовал контроллер собрать в 6 рейд с 6 дисками, скорость показал 32Мб.

Ну вот что хотите со мной делайте, но я ума не приложу, как так-то?!

P.S. К слову сказать, без рейда, в частности просто диск, сам по себе, скорость нормальная, тормоза только конда собираю в raid-массив больше 1 диска.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "RAID5 сильно тормозит."  +/
Сообщение от AnoAno on 27-Мрт-17, 21:41 
При условии, что все диски работоспособны, дело может быть в настройках кэш контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение было в настройках intel RST (or matrix storage) типа write-back cache - enable (точно не помню). На LSI (mega raid bios utility - policies) тоже посмотрите настройки. Ну и настройки биос на сервере смотрите (как вариант default/optimize settings).


Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 27-Мрт-17, 21:43 
> При условии, что все диски работоспособны, дело может быть в настройках кэш
> контроллеров. Была подобная проблема на домашнем ПК с программным рейд, решение
> было в настройках intel RST (or matrix storage) типа write-back cache
> - enable (точно не помню). На LSI (mega raid bios utility
> - policies) тоже посмотрите настройки. Ну и настройки биос на сервере
> смотрите (как вариант default/optimize settings).

На трех разных компах, один из которых сервер одна и та же история. Скорость около 30Мб.
думаю настройки биоса тут точно не при чем, да и контроллер не трогался. Все же работало нормально и в один момент пришел капец:(

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

27. "RAID5 сильно тормозит."  +/
Сообщение от ACCA (ok) on 28-Мрт-17, 17:48 
> На трех разных компах, один из которых сервер одна и та же
> история. Скорость около 30Мб.

Истории я прочитал три -
1. тормозит soft-RAID через контроллер Intel
2. тормозит LSI
3. тормозит мастдай

Про №1 - ожидаемо.

Про №2 - залезь в настройки LSI9260-8i и посмотри, что написано про cache.

Ещё забавная идея - на LSI9260-8i сдохла батарейка, а слишком умный контроллер боится использовать кэш без батарейки. И не использует, хотя ты ему говорил.

Про №3 - очередной апдейт, вендоюзеры должны страдать. Запиши на флешку какой-нибудь https://www.stresslinux.org/sl/, загрузись с него и померяй с помощью iozone или Bonnie++ скорость чтения/записи без файловой системы.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

11. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 27-Мрт-17, 21:44 
> Ой как же сразу не заметил - было 6 дисков а 5м
> раиде, а сейчас их 4е? Ну запомни - чем больше дисков
> в 5м раиде - тем он быстрее работает. :)

Я учту на будущее, спасибо.
При 6 дисках на raid6 прироста никакого.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

12. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:15 
скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:20 
> скажите а зачем Вам именно 5-тый рейд? по идее он самый тормознутый
> именно на запись, вы б лучше выбрали либо 6-ой либо 10-тый.

При использовании 4 дисков он самый оптимальный получается. На 6-й нет еще двух дисков.
Но, как вы могли прочитать выше, RAID6 так же тормозит в 30-32Мб

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:33 
я правильно понимаю что у вас есть raid-контроллер и к нему подключена корзина посредством провода SFF-8087, если так то возможно у вас не и получится поднять скорость
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:34 
> я правильно понимаю что у вас есть raid-контроллер и к нему подключена
> корзина посредством провода SFF-8087, если так то возможно у вас не
> и получится поднять скорость

Да, понимаете правильно, но объясните почему не получится поднять скорость, ведь до этого все прекрасно работало.
Очень признателен буду за ликбез

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

16. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:42 
в общих чертах, этот проводок и корзина сделаны именно для sas,sata - это упрощенный sas, у него нет многих команд для работы с очередью, возможно из-за этого у вас и такая низкая скорость, а при подключении одного диска проблем с очередью нет. т.е. если ставите в корзину диски то нужны именно sas, у сигейта например есть диски 7200rpm но имеющие и sas или sata  контроллеры и разумеется по разным ценами.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:43 
> в общих чертах, этот проводок и корзина сделаны именно для sas,sata -
> это упрощенный sas, у него нет многих команд для работы с
> очередью, возможно из-за этого у вас и такая низкая скорость, а
> при подключении одного диска проблем с очередью нет. т.е. если ставите
> в корзину диски то нужны именно sas, у сигейта например есть
> диски 7200rpm но имеющие и sas или sata  контроллеры и
> разумеется по разным ценами.

Но ведь раньше таких тормозов не было...
Вы правы, когда диск стоит один, он причудесненько работает. Однако, со скоростью беда такая же наблюдается и при использовании интегрированного софт-контроллера.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:44 
а диски были sata или sas?
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

21. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:44 
> а диски были sata или sas?

SATA

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

18. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:43 
немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз  для корзины, а есть SFF8087->4 sata этот как раз для подлючения sata дисков.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:44 
> немного запутал я вас, есть кабель SFF8087->SFF8087 т.е. он как раз  
> для корзины, а есть SFF8087->4 sata этот как раз для подлючения
> sata дисков.

Да, вот этот у меня SFF8087->4 sata

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:45 
тогда дело не в кабеле, я думал что у вас именно корзина подключена SFF8087->SFF8087
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

23. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:46 
> тогда дело не в кабеле, я думал что у вас именно корзина
> подключена SFF8087->SFF8087

Нет, у меня корзина SFF8087-> 4sata

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "RAID5 сильно тормозит."  +/
Сообщение от rst07 (ok) on 28-Мрт-17, 15:51 
>> тогда дело не в кабеле, я думал что у вас именно корзина
>> подключена SFF8087->SFF8087
> Нет, у меня корзина SFF8087-> 4sata

http://static.nix.ru/autocatalog/controllers_3ware/95290_225...

http://static.nix.ru/autocatalog/controllers_cables_sas_sata...

кабель как красный?

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

25. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:54 
>>> тогда дело не в кабеле, я думал что у вас именно корзина
>>> подключена SFF8087->SFF8087
>> Нет, у меня корзина SFF8087-> 4sata
> http://static.nix.ru/autocatalog/controllers_3ware/95290_225...
> http://static.nix.ru/autocatalog/controllers_cables_sas_sata...
> кабель как красный?

Нет. Голубой. к каждому sata подходит 2 тоненьких проводочка

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

26. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 15:55 
>>> тогда дело не в кабеле, я думал что у вас именно корзина
>>> подключена SFF8087->SFF8087
>> Нет, у меня корзина SFF8087-> 4sata
> http://static.nix.ru/autocatalog/controllers_3ware/95290_225...
> http://static.nix.ru/autocatalog/controllers_cables_sas_sata...
> кабель как красный?

Вот такой: http://store.supermicro.com/media/catalog/product/cache/1/im...

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

28. "RAID5 сильно тормозит."  +/
Сообщение от электрик on 28-Мрт-17, 19:06 
проверьте батарею на контроллере LSI 9260-8i
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

29. "RAID5 сильно тормозит."  +/
Сообщение от nops email(ok) on 28-Мрт-17, 19:27 
> проверьте батарею на контроллере LSI 9260-8i

Спасибо за совет, выше тоже об этом писали.
А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить, помимо напряжения?!

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

30. "RAID5 сильно тормозит."  +/
Сообщение от ACCA (ok) on 28-Мрт-17, 20:43 
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!

Залезть в конфигурашку LSI и внимательно почитать его лог, если такой есть.

Бюджетный вариант - залезть в конфигурашку и заменить режим кэша с "Write Back with BBU" на "Write Back". Возможно, ещё включить "Disk Cache Policy" в On

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

31. "RAID5 сильно тормозит."  +/
Сообщение от Dimez (??) on 31-Мрт-17, 17:38 
>> проверьте батарею на контроллере LSI 9260-8i
> Спасибо за совет, выше тоже об этом писали.
> А можете подсказать, как именно проверить?! Нужно же емкость как-то еще проверить,
> помимо напряжения?!

storcli /c0/bbu show all и внимательно читать, что там написано.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2018 by Maxim Chirkov  
ДобавитьПоддержатьВебмастеруГИД  
Hosting by Ihor