- Помогите определить, тормозят ли диски?, Aquarius, 02:18 , 23-Янв-11 (1) +1
- Помогите определить, тормозят ли диски?, sherlock, 07:30 , 23-Янв-11 (2) +1
- Помогите определить, тормозят ли диски?, makarov321, 09:47 , 23-Янв-11 (4)
- Помогите определить, тормозят ли диски?, temny, 10:09 , 24-Янв-11 (20)
> 1. варианта железной модернизации пока что нет.Если так, то я бы пробовал: 1. использовать 'load' balancing mode для gmirror. После r200286 для RELENG7 этот метод баллансировки отслеживает положение головок при выборе диска, что позволяет снизить временнЫе затраты на перепозиционировании. Т.е. load должен показать результаты лучше, чем round-robin. Для этой вкусности придётся обновиться хотябы до 7.3. 2. задействовать AHCI (что потребует перехода как минимум на RELENG8, со всеми вытекающими неудобствами обновления) И два вопроса: - в первом выводе gstat у вас 300 операций записи в секунду. Кто источник этих операций? - файловые системы смонтированы с ключиком noatime?
- Помогите определить, тормозят ли диски?, makarov321, 20:07 , 24-Янв-11 (26)
- Помогите определить, тормозят ли диски?, temny, 00:15 , 25-Янв-11 (31)
> 1. а как узнать, кто источник операций? или только через top?top как вы его уже использовали (top -m io -o total) разделяет операции чтения и записи - более удобного способа найти источник записей я не знаю. Есть подозрение, что сам нгинкс создаёт большое количество write iops - если это так, то первое, что приходит в голову - логи. Полезно будет проверить, уменьшится ли количество записей если вы временно отключите логи. Если дело в них - убедитесь, что параметр buffer указан/используется для логов. Вообще про операции записи я заговорил только потому, что в один из двух выводов iostat , которые привели вы, операции записи составляли более 99 процентов. Если это случайность и данная картина совсем не характерна серверу, то можно дальше не углубляться. Однако если процент операций записи высок, то было бы неплохо разобраться в их источнике. > 2. нет, не смонтированы. существенный прирост дает? обычно прирост незначительный - от нескольких процентов до десяти, но всё зависит от характера дисковых операций / данных хранимых на диске. Самый большой overhead в процентном соотношении будет если мы работаем с большим количеством малюсеньких файлов и файлы постоянно различны. Если мы например прочитали сотню крохотных файлов, то это грубо говоря сто операций чтения. Однако если atime включён, то это ещё 100 дополнительных операций записи (обновить access time для каждого из файлов). Т.е. 50 процентов по количеству iops. Низкий overhead в процентном соотношении - при работе с большими файлами, потому как операций чтения становится больше, операций записи - как и в предыдущем примере. Практически незаметный overhead - при работе с одним и тем-же набором фалов. Происходит из-за механизма soft updates в контексте ufs - т.е. операция записи изначально откладывается во времени, а после "отменяется" следующей операцией обновления access time (для этого же файла). Если у вас нет программного обеспечения, зависящего от access time (встречается крайне редко), то я бы рекомендовал монтировать файловые системы с noatime (как минимум те, что под высокой нагрузкой).
- Помогите определить, тормозят ли диски?, PavelR, 10:13 , 23-Янв-11 (5)
- Помогите определить, тормозят ли диски?, temny, 11:32 , 23-Янв-11 (6)
> Исходя из собственного понимания мира, могу предположить что оперативка системы не используется > для файлового кеширования. Да и в данный момент 2152M Inact.... Печально > :-) Вы не правы. Inact в данном случае какраз показывает объём данных находящихся в дисковом кэше.
- Помогите определить, тормозят ли диски?, PavelR, 13:48 , 23-Янв-11 (7)
- Помогите определить, тормозят ли диски?, temny, 22:19 , 23-Янв-11 (14)
> Ткните меня, пожалуйста, в соответствующую документацию.Документацию на взлёт не подскажу, но приведённый ниже пример подтверждает мои слова.
ground# grep land3 /etc/fstab /dev/ada1s2e /land3 ufs rw,noatime,noauto 2 2 ground# mount /land3 ground# du -hs /land3/test.avi 1.1G /land3/test.avi ground# top -b | sed /Inact/\!d Mem: 120M Active, 211M Inact, 241M Wired, 2068K Cache, 199M Buf, 2921M Free ground# time cat /land3/test.avi > /dev/null 0.083u 1.160s 0:10.02 12.3% 10+5195k 9361+0io 0pf+0w ground# top -b | sed /Inact/\!d Mem: 119M Active, 1226M Inact, 389M Wired, 2052K Cache, 199M Buf, 1760M Free ground# time cat /land3/test.avi > /dev/null 0.023u 0.870s 0:00.89 100.0% 10+4988k 0+0io 0pf+0w ground#
- Помогите определить, тормозят ли диски?, PavelR, 07:48 , 24-Янв-11 (15)
- Помогите определить, тормозят ли диски?, PavelR, 07:49 , 24-Янв-11 (16)
- Помогите определить, тормозят ли диски?, temny, 09:23 , 24-Янв-11 (18)
> а там это, всякие специфические опции в loader.conf (KVA или что там...) > - тюненые ?Ядро собрано с KVA_PAGES=512, и в loader.conf есть vm.kmem_size_max="1400M". Оба параментра влияют на адресное пространство ядра и в моём понимании не будут влиять на работу дискового кэша. Если хотите - могу повторить опыт убрав эти параметры.
- Помогите определить, тормозят ли диски?, PavelR, 10:02 , 24-Янв-11 (19)
- Помогите определить, тормозят ли диски?, temny, 11:01 , 24-Янв-11 (22)
> Повторить опыт - если не сложно - было бы интересно, просто у > меня нет быстрой возможности его провести.Результат без дополнительных параметров в ядре и loader.conf значительных отличий не имеет:
ground# mount /land3 ground# du -hs /land3/test.avi 1.1G /land3/test.avi ground# top -b | sed /Inact/\!d Mem: 112M Active, 233M Inact, 198M Wired, 2068K Cache, 112M Buf, 2950M Free ground# time cat /land3/test.avi > /dev/null 0.038u 1.213s 0:10.21 12.1% 10+5163k 9361+0io 0pf+0w ground# top -b | sed /Inact/\!d Mem: 111M Active, 1312M Inact, 281M Wired, 2024K Cache, 112M Buf, 1789M Free ground# time cat /land3/test.avi > /dev/null 0.070u 0.841s 0:00.91 100.0% 10+5007k 0+0io 0pf+0w
- Помогите определить, тормозят ли диски?, PavelR, 10:36 , 24-Янв-11 (21)
- Помогите определить, тормозят ли диски?, temny, 11:12 , 24-Янв-11 (23)
> Ну и если Inact - это файловый кеш, не возникает ли в > случае топикстартера двойного использования оперативки (двойного хранения файла в RAM) > в случае использования "диска-в-памяти" md ?Я тоже подумал про double caching при работе с md, но автор трида упоминал, что "Без (memory) диска ситуация еще хуже, в gstat'e почти всегда 100%" Единственное объяснение, приходящее в голову это при отключении md автор либо не дождался хоть какого-то наполнения дискового кэша, либо горячая статика нгинкса продолжала записываться на hdd, создавая дополнительную нагрузку. Или как вариант - md не был удалён и память не была возвращена "в систему". makarov, вы не моглибы подтвердить/опровергнуть приведённые выше предположения?
- Помогите определить, тормозят ли диски?, MiF, 11:23 , 24-Янв-11 (24)
- Помогите определить, тормозят ли диски?, temny, 11:46 , 24-Янв-11 (25)
> Да хоть 10 раз пусть кэшируется. У человека скорость меньше 10мб/с, без > кэша вообще диски больше выдадут. Не такая у него и большая > нагрузка, по top'у очевидно что памяти хватает. У него при 100% > занятости диска идет 7 мег. в секунду, диск банально перечитывает сектора > по несколько раз, так как от вибрации не может удержать головку > у нужном месте.Если бы при линейном чтении скорость была 7 мег. в секунду, то да - это была бы проблема и я бы согласился с тем, что "диск банально перечитывает сектора по несколько раз". А в данном случае речь идёт про random i/o (из-за высокого количества параллельных запросов к зеркалу + round-robin при выборе hdd в зеркале + отсутствия ncq). Время позиционирования при ходе головки на "quarter stroke и более" будет составлять 10-30ms, так что при трёхстах операциях в секунду львинная доля времени будет потрачена на seek time.
- Помогите определить, тормозят ли диски?, makarov321, 20:12 , 24-Янв-11 (27)
- Помогите определить, тормозят ли диски?, temny, 00:23 , 25-Янв-11 (32)
> и ситуация сейчас такая: > Mem: 721M Active, 2238M Inact, 734M Wired, 195M Cache, 399M Buf, 4001M > Free если через несколько часов мы не увидим переползания Free в Inactive, то я бы хотел посмотреть на вывод команды sysctl -a | grep vnodes
- Помогите определить, тормозят ли диски?, mef, 15:30 , 23-Янв-11 (8)
- Помогите определить, тормозят ли диски?, MiF, 16:36 , 23-Янв-11 (9)
- Помогите определить, тормозят ли диски?, makarov321, 20:16 , 24-Янв-11 (29)
- Помогите определить, тормозят ли диски?, makarov321, 23:05 , 24-Янв-11 (30)
|