The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"FreeNAS 11.1 - непонятная статистика записи на диски"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски)
Изначальное сообщение [ Отслеживать ]

"FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 04-Янв-20, 13:20 
Здравствуйте

Помогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat
Детально:
[root@srv-stg-01 ~]# zpool iostat                                                                                                  
               capacity     operations    bandwidth                                                                                
pool        alloc   free   read  write   read  write                                                                                
----------  -----  -----  -----  -----  -----  -----                                                                                
xen00       7.01T  11.1T     88    942  7.99M  36.3M


[root@srv-stg-01 ~]# nfsstat -s                                                                                                    
                                                                                                                                    
Server Info:                                                                                                                        
  Getattr   Setattr    Lookup  Readlink      Read     Write    Create    Remove                                                    
48794677     27436       619         0 9601041492 8161527011         0        58                                                  
   Rename      Link   Symlink     Mkdir     Rmdir   Readdir  RdirPlus    Access                                                    
       22         0         0         0         0         6        53  20436173                                                    
    Mknod    Fsstat    Fsinfo  PathConf    Commit                                                                                  
        0      1949        28        14   6842208                                                                                  
Server Ret-Failed                                                                                                                  
                0                                                                                                                  
Server Faults                                                                                                                      
            0                                                                                                                      
Server Cache Stats:                                                                                                                
   Inprog      Idem  Non-idem    Misses                                                                                            
        0         0         0 17818365070                                                                                          
Server Write Gathering:                                                                                                            
WriteOps  WriteRPC   Opsaved    


Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36
Я бы предположил что кто-то ещё пишет на диски, но:
top -m io -o write -s 1
показывает что nfsd создаёт 99.5% записи

91 processes:  1 running, 90 sleeping                                                                                              
CPU:  1.8% user,  0.0% nice,  2.0% system,  0.3% interrupt, 95.9% idle                                                              
Mem: 85M Active, 460M Inact, 856M Laundry, 45G Wired, 475M Free                                                                    
ARC: 39G Total, 26G MFU, 12G MRU, 52M Anon, 900M Header, 145M Other                                                                
     36G Compressed, 56G Uncompressed, 1.55:1 Ratio                                                                                
Swap: 10G Total, 310M Used, 9930M Free, 3% Inuse                                                                                    
                                                                                                                                    
  PID USERNAME        VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND                                                      
2483 root            2126     27     67    785      0    852  99.53% nfsd                                                          
40741 root               3      0      0      0      0      0   0.00% ksh93                                                        
40738 root               2      0      0      0      0      0   0.00% dtrace

Вывод pool status:

pool: xen00                                                                                                                      
state: ONLINE                                                                                                                      
  scan: scrub repaired 0 in 0 days 09:48:26 with 0 errors on Sun Dec  8 09:48:28 2019                                              
config:                                                                                                                            
                                                                                                                                    
        NAME                                            STATE     READ WRITE CKSUM                                                  
        xen00                                           ONLINE       0     0     0                                                  
          mirror-0                                      ONLINE       0     0     0                                                  
            gptid/cb37a880-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
            gptid/cc1547dc-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
          mirror-1                                      ONLINE       0     0     0                                                  
            gptid/ccdc1a94-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
            gptid/f8da6d72-20aa-11e9-9a63-90e2ba53b1bc  ONLINE       0     0     0                                                  
          mirror-2                                      ONLINE       0     0     0                                                  
            gptid/ce79bd56-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
            gptid/cf556c96-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
          mirror-3                                      ONLINE       0     0     0                                                  
            gptid/d01f2813-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
            gptid/981002ff-20ab-11e9-9a63-90e2ba53b1bc  ONLINE       0     0     0                                                  
          mirror-4                                      ONLINE       0     0     0                                                  
            gptid/d1a2938b-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
            gptid/d26f9500-d23d-11e8-bf92-90e2ba53b1bc  ONLINE       0     0     0                                                  
        logs                                                                                                                        
          da8p2                                         ONLINE       0     0     0                                                  
          da9p2                                         ONLINE       0     0     0                                                  
          da10p2                                        ONLINE       0     0     0                                                  
          da11p2                                        ONLINE       0     0     0                                                  
          da12p2                                        ONLINE       0     0     0                                                  
        cache                                                                                                                      
          da8p1                                         ONLINE       0     0     0                                                  
          da10p1                                        ONLINE       0     0     0                                                  
          da12p1                                        ONLINE       0     0     0                                                  
          da11p1                                        ONLINE       0     0     0                                                  
          da9p1                                         ONLINE       0     0     0

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от universite (ok), 04-Янв-20, 20:14 
> Здравствуйте
> Помогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat
> Детально:

Мало деталей.
Нужно: что за диски? размер их блоков?куда они подключены? в RAID? какой там размер блоков указан?
желательны еще графики нагрузки по IOPS за последний месяц, год.

Ответить | Правка | Наверх | Cообщить модератору

2. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 05-Янв-20, 14:46 
> что за диски?

ST4000NM0033-9ZM    8шт
ST4000NM0035-1V4    2шт

> размер их блоков?

Sector Size:      512 bytes logical/physical

> куда они подключены? в RAID?

К серверу я подобраться не могу чтобы посмотреть.
sas2ircu LIST  показывает:
        Adapter      Vendor  Device                       SubSys  SubSys
Index    Type          ID      ID    Pci Address          Ven ID  Dev ID
-----  ------------  ------  ------  -----------------    ------  ------
   0     SAS2308_2     1000h    87h   00h:01h:00h:00h      1000h   3020h


[root@srv-stg-01 ~]# camcontrol devlist                                                                                            
<LSI SAS2X36 0e12>                 at scbus0 target 8 lun 0 (ses0,pass0)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 12 lun 0 (pass1,da0)                                                            
<ATA ST4000NM0033-9ZM SN06>        at scbus0 target 13 lun 0 (pass2,da1)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 14 lun 0 (pass3,da2)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 15 lun 0 (pass4,da3)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 17 lun 0 (pass5,da4)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 18 lun 0 (pass6,da5)                                                            
<ATA ST4000NM0033-9ZM SN06>        at scbus0 target 19 lun 0 (pass7,da6)                                                            
<ATA ST4000NM0033-9ZM 0001>        at scbus0 target 20 lun 0 (pass8,da7)                                                            
<ATA KINGSTON SUV400S 96R9>        at scbus0 target 22 lun 0 (pass9,da8)                                                            
<ATA KINGSTON SUV400S 96R9>        at scbus0 target 23 lun 0 (pass10,da9)                                                          
<ATA KINGSTON SUV400S 37R5>        at scbus0 target 24 lun 0 (pass11,da10)                                                          
<ATA KINGSTON SUV400S 96R9>        at scbus0 target 25 lun 0 (pass12,da11)                                                          
<ATA KINGSTON SUV400S 96R9>        at scbus0 target 26 lun 0 (pass13,da12)                                                          
<HGST HUH721010AL5204 C21D>        at scbus0 target 27 lun 0 (pass14,da13)                                                          
<HGST HUH721010AL5204 C21D>        at scbus0 target 28 lun 0 (pass15,da14)                                                          
<HGST HUH721010AL5204 C21D>        at scbus0 target 29 lun 0 (pass16,da15)                                                          
<ATA ST4000NM0035-1V4 TN04>        at scbus0 target 32 lun 0 (pass17,da16)                                                          
<ATA ST4000NM0035-1V4 TN04>        at scbus0 target 33 lun 0 (pass18,da17)                                                          
<ATA Samsung SSD 860 2B6Q>         at scbus0 target 34 lun 0 (pass19,da18)                                                          
<ATA Samsung SSD 860 2B6Q>         at scbus0 target 35 lun 0 (pass20,da19)                                                          
<ATA WDC WD101KRYZ-01 1H02>        at scbus0 target 38 lun 0 (da20,pass22)                                                          
<ST120FN0021 B550>                 at scbus2 target 0 lun 0 (pass21,ada0)


> какой там размер блоков указан?

подскажите пожалуйста где посмотреть

> желательны еще графики нагрузки по IOPS за последний месяц, год.

https://yadi.sk/i/cgdkx8CTLUQwLg
https://yadi.sk/i/HXTBBwKtTpN86Q

Ответить | Правка | Наверх | Cообщить модератору

3. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от universite (ok), 05-Янв-20, 23:02 
>> что за диски?
> ST4000NM0033-9ZM 8шт
> ST4000NM0035-1V4 2шт
>> размер их блоков?
> Sector Size:      512 bytes logical/physical

Очень странно.
Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора.

>[оверквотинг удален]
>  at scbus0 target 34 lun 0 (pass19,da18)
> <ATA Samsung SSD 860 2B6Q>        
>  at scbus0 target 35 lun 0 (pass20,da19)
> <ATA WDC WD101KRYZ-01 1H02>        at
> scbus0 target 38 lun 0 (da20,pass22)
> <ST120FN0021 B550>          
>       at scbus2 target 0 lun
> 0 (pass21,ada0)
>> какой там размер блоков указан?
> подскажите пожалуйста где посмотреть

Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и посмотреть в самом меню RAID.


>> желательны еще графики нагрузки по IOPS за последний месяц, год.
> https://yadi.sk/i/cgdkx8CTLUQwLg
> https://yadi.sk/i/HXTBBwKtTpN86Q

Очень странно, у вас почти отсутствует нагрузка.


Два варианта ситуации.
1) Или у вас один или несколько винтов так имеют размер сектора 4k
2) Или у вас массив собран, как будто у вас диски c размером сектора 4K.


zdb | grep -i ashift

это было лучше смотреть в момент создания массива ибо при заполнении массива zdb будет сильно тормозить.
Ответить | Правка | Наверх | Cообщить модератору

4. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 06-Янв-20, 13:10 
> Очень странно.
> Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора.
> Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и
> посмотреть в самом меню RAID.

Спасибо. Попробую перейти на FreeNAS 11.2


> Два варианта ситуации.
> 1) Или у вас один или несколько винтов так имеют размер сектора
> 4k
> 2) Или у вас массив собран, как будто у вас диски c
> размером сектора 4K.
>

 
> zdb | grep -i ashift
>

> это было лучше смотреть в момент создания массива ибо при заполнении массива
> zdb будет сильно тормозить.

Если верить смарту то у всех 512

root@srv-stg-01:~ # zdb | grep -i ashift
            ashift: 12

Ответить | Правка | Наверх | Cообщить модератору

5. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от universite (ok), 06-Янв-20, 13:24 

>[оверквотинг удален]
>> размером сектора 4K.
>>
 
>> zdb | grep -i ashift
>>

>> это было лучше смотреть в момент создания массива ибо при заполнении массива
>> zdb будет сильно тормозить.
> Если верить смарту то у всех 512
> root@srv-stg-01:~ # zdb | grep -i ashift
>            
> ashift: 12

Значит, пул подготовлен для дисков с размером блоков 4K.

А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть, с каким размером блока созданы одиночные блоки-диски RAID0.


Supported RAID Modes

    RAID 0, RAID1, RAID 10, RAID 1E


Ответить | Правка | Наверх | Cообщить модератору

6. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 06-Янв-20, 14:00 
> Значит, пул подготовлен для дисков с размером блоков 4K.
> А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть,
> с каким размером блока созданы одиночные блоки-диски RAID0.
>
 
> Supported RAID Modes
>     RAID 0, RAID1, RAID 10, RAID 1E
>

Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались
Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС

Ответить | Правка | Наверх | Cообщить модератору

7. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от universite (ok), 06-Янв-20, 14:07 
>> Значит, пул подготовлен для дисков с размером блоков 4K.
>> А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть,
>> с каким размером блока созданы одиночные блоки-диски RAID0.
>>
 
>> Supported RAID Modes
>>     RAID 0, RAID1, RAID 10, RAID 1E
>>

> Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались
> Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС

А вы все-таки проверьте.
Ибо da[0-9] диски обычно называются одиночные блоки в рейде.
Если бы диски прозрачно проброшены, то имена были бы ada[0-9].
Например, покажите вывод:


camcontrol identify da0

Ответить | Правка | Наверх | Cообщить модератору

8. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 06-Янв-20, 14:13 
root@srv-stg-01:~ # camcontrol identify da0
pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device
pass1: 600.000MB/s transfers, Command Queueing Enabled

protocol              ATA/ATAPI-9 SATA 3.x
device model          ST4000NM0033-9ZM170
firmware revision     0001
serial number         Z1Z1ZNSP
WWN                   5000c50064d96704
cylinders             16383
heads                 16
sectors/track         63
sector size           logical 512, physical 512, offset 0
LBA supported         268435455 sectors
LBA48 supported       7814037168 sectors
PIO supported         PIO4
DMA supported         WDMA2 UDMA6
media RPM             7200

Feature                      Support  Enabled   Value           Vendor
read ahead                     yes      yes
write cache                    yes      yes
flush cache                    yes      yes
overlap                        no
Tagged Command Queuing (TCQ)   no       no
Native Command Queuing (NCQ)   yes              32 tags
NCQ Queue Management           no
NCQ Streaming                  no
Receive & Send FPDMA Queued    no
SMART                          yes      yes
microcode download             yes      yes
security                       yes      no
power management               yes      yes
advanced power management      no       no
automatic acoustic management  no       no
media status notification      no       no
power-up in Standby            no       no
write-read-verify              yes      no      0/0x0
unload                         yes      yes
general purpose logging        yes      yes
free-fall                      no       no
Data Set Management (DSM/TRIM) no
Host Protected Area (HPA)      yes      no      7814037168/7814037168
HPA - Security                 no

Ответить | Правка | Наверх | Cообщить модератору

9. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от lavremail (ok), 06-Янв-20, 23:44 
> root@srv-stg-01:~ # camcontrol identify da0
> pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device
> pass1: 600.000MB/s transfers, Command Queueing Enabled

sorry, вывод вырезал, но cache особливо на запись, правильно
будет отключить.

Лучше read/write disk cache в disable, все что связано
с power management и advanced power management - disable,
если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium Scan)

>Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36
>Я бы предположил что кто-то ещё пишет на диски, но:
>top -m io -o write -s 1
>показывает что nfsd создаёт 99.5% записи

top вы смотрите с интервалом в 1 сек, а в zpool iostat - общую
статистику?

Что еще на вскидку, журнал и l2arc на партициях sata дисков..?
В чем сей смысл?

Для dataset'a который под NFS, журнал советую отключить, толку
от него ноль, atime, dedup, sync в disable, checksum и compression
- на Ваше усмотрение, я бы отключил.

Ответить | Правка | Наверх | Cообщить модератору

10. "FreeNAS 11.1 - непонятная статистика записи на диски"  +/
Сообщение от eliot (ok), 08-Янв-20, 10:37 
> sorry, вывод вырезал, но cache особливо на запись, правильно
> будет отключить.
> Лучше read/write disk cache в disable, все что связано
> с power management и advanced power management - disable,
> если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium
> Scan)
> Для dataset'a который под NFS, журнал советую отключить, толку
> от него ноль, atime, dedup, sync в disable, checksum и compression
> - на Ваше усмотрение, я бы отключил.

Спасибо

> Что еще на вскидку, журнал и l2arc на партициях sata дисков..?
> В чем сей смысл?

Сделано было до меня, предполагаю чтобы увеличить IOPS'ы

> top вы смотрите с интервалом в 1 сек, а в zpool iostat
> - общую
> статистику?

Да, а как правильно?)
Также я смотрел статистику по записи в разделе Reports/Disks (WEB)
По ней на каждый винт приходится примерно 8МБ/с, дисков 10, зеркала, значит общий объём 7 * 5 = 35. Что близко к тому что я вижу в zpool iostat
Параллельно собрал статистику по серверам Xen, там в среднем 6-7МБ/с пишется
Больше никто на них не пишет (кстати это можно ка-то проверить?)
https://yadi.sk/i/1y3Q2wb77nC68w

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру