The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"HPE MSA 2050, FC - медленные random read/write"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Аппаратура, Железо / Linux)
Изначальное сообщение [ Отслеживать ]

"HPE MSA 2050, FC - медленные random read/write"  +1 +/
Сообщение от Dmitry (??), 23-Май-19, 11:07 
Доброго времени суток, aLL.

Сервер HP DL380 Gen10 (dual Xeon Silver 4110 2.10GHz, 128Gb RAM, FC-карта QLogic SN110Q 16Gb) на debian 9.8 (4.9.0-8-amd64)в роли сервера БД (percona server-5.6.43-84.3).
Mysql data монтируется по FC с HPE MSA-2050 (raid 10 14 SAS HDD 900Gb 15K, одна дисковая группа, один пул, one раздел размером 2.5 Tb ext4) на скорости 16Gbps. Без muptipath, один линк.
Происходит следующее: замер Sysbench'ем скорости random read/write показывает значения в 10/8 M/s, что ... ну совсем не айс. соответственно и I/O мускула на таком же уровне.
Но если делать тест последовательного чтения/записи, то скорость вырастает до 800/600 M/s. Такие же показатели, если "тестить" с помощью dd, при копировании данных и вообще - при любых последовательных операциях чтения-записи

Перебрал различные доступные опции в HPE MSA - бестолку

SAN volume смонтирован вот так: /dev/sde1 on /mysql-data type ext4 (rw,noatime,stripe=256,data=ordered)

Тест случайного чтения:

sysbench --test=fileio --file-total-size=150G prepare
sysbench --test=fileio --file-total-size=150G --file-test-mode=rndrd --max-time=100 --max-requests=0 run

Результат:
===
Running the test with following options:
Number of threads: 1
Initializing random number generator from current time


Extra file open flags: (none)
128 files, 1.1719GiB each
150GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random read test
Initializing worker threads...

Threads started!

File operations:
    reads/s:                      561.86
    writes/s:                     0.00
    fsyncs/s:                     0.00

Throughput:
    read, MiB/s:                  8.78
    written, MiB/s:               0.00

General statistics:
    total time:                          100.0053s
    total number of events:              56191

Latency (ms):
         min:                                    0.01
         avg:                                    1.78
         max:                                  111.23
         95th percentile:                       11.65
         sum:                                99924.80

Threads fairness:
    events (avg/stddev):           56191.0000/0.00
    execution time (avg/stddev):   99.9248/0.00
===

Тест последовательного чтения:
startng with `sysbench --test=fileio --file-total-size=150G --file-test-mode=seqrd --max-time=100 --max-requests=0 run` result is:

Результат:
===
Running the test with following options:
Number of threads: 1
Initializing random number generator from current time


Extra file open flags: (none)
128 files, 1.1719GiB each
150GiB total file size
Block size 16KiB
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing sequential read test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      31642.04
    writes/s:                     0.00
    fsyncs/s:                     0.00

Throughput:
    read, MiB/s:                  494.41
    written, MiB/s:               0.00

General statistics:
    total time:                          100.0008s
    total number of events:              3164351

Latency (ms):
         min:                                    0.00
         avg:                                    0.03
         max:                                   32.77
         95th percentile:                        0.06
         sum:                                98523.42

Threads fairness:
    events (avg/stddev):           3164351.0000/0.00
    execution time (avg/stddev):   98.5234/0.00
===

Подобные значения при рандомной и последовательной записи

Что не так?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от Deerfriend (?), 23-Май-19, 11:24 
Это норма для шпиндельных схд. Переносите бд на локальные ссд диски и будет счастье, тем более сервер позволяет.
Ответить | Правка | Наверх | Cообщить модератору

2. "HPE MSA 2050, FC - медленные random read/write"  +1 +/
Сообщение от Dmitry (??), 23-Май-19, 14:00 
> Это норма для шпиндельных схд.

8 М/с в рэйде 10 из 14 15К дисков? И скорость меньше, чем у обычного сата, да что сата - удма33 диска?


Ответить | Правка | Наверх | Cообщить модератору

3. "HPE MSA 2050, FC - медленные random read/write"  +1 +/
Сообщение от Deerfriend (?), 23-Май-19, 17:38 
Учитывая, что в последовательных операциях скорость почти доходит до 800М/с, я бы не надеялся на существенный прирост при играх с настройками.
Ответить | Правка | Наверх | Cообщить модератору

5. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от пох. (?), 31-Май-19, 13:31 
>> Это норма для шпиндельных схд.
> 8 М/с в рэйде 10 из 14 15К дисков? И скорость меньше,
> чем у обычного сата, да что сата - удма33 диска?

походу, код украли у линухного md. Там именно такая картина- ниасилено чтение параллельно с обоих дисков зеркала.

что, кстати, вполне может быть правдой. Но могли и самостоятельно такое же сделать.

ваши 800 очень похожи на скорость единичного диска после усушки и утруски. Поставите ssd - будет скорость единичного ssd, хехехе.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

4. "HPE MSA 2050, FC - медленные random read/write"  +1 +/
Сообщение от Аноним (4), 27-Май-19, 17:35 
MSA-2050 очень быстрая полка для своей цены при установленных в ней SSD дисках, и на рэндоме может отдавать по 200000 IOPS. Вам нужно добавить в ваш pool хотя бы два SSD диска (лучше больше) в группу Performance. Это даст вам значительный прирост в иопсах. При условии конечно, у вас есть соответствующая лицензия на тиринг.
Ответить | Правка | Наверх | Cообщить модератору

8. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от EnemyOfDemocracy (?), 30-Июн-19, 20:52 
Капу надо крутить, капу! ext4 тобишь... нафиг её.
Ответить | Правка | Наверх | Cообщить модератору

9. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от Дмитрий (??), 19-Авг-19, 17:14 
> Капу надо крутить, капу! ext4 тобишь... нафиг её.

"Кручение" ничего не дает. Разница в производительности - на уровне погрешности измерения. Равно как и от использования другой ФС

В общем, HP-поддержка отписалась следующим:
===
I think we have explained the Customer that the MSA hardware is completely fine and the performance is as expected.
It looks like they have specific requirement with the specific OS and Filesystem.
===
Сервер с прямым подключением через FC к MSA с установленным дебианом и центосом на ext4 и xfs (перебиралось поочередно) и виндовс у них - "specific requirement with the specific OS and Filesystem"...

Вернули дисковую полку поставщику. Коллеги тут еще две таких же заказали, я их уже "обрадовал"...

Ответить | Правка | Наверх | Cообщить модератору

10. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от pf (ok), 12-Фев-21, 16:04 
MSA1050 в основном задержка связана с произвольной записью / чтением.

Решение проблемы для меня от инженеров HP было в обновление прошивок HDD и контроллеров,Raid 6 переделал на  R10 и подключил Multipathing policy as Round Robin (VMW_PSP_RR) with IOPs =1 для VMware 7.0
HDD 16 дисков в массиве + 2 spare
HPE MSA 1.2TB 12G SAS 10K SFF(2.5in) Dual Port Enterprise 3yr Warranty Hard Drive J9F48A
ниже привожу то что ответил инженер HP
------------------------------------------------------------------------------------
As per our VR session, I understand that mainly is latency is for random write/read.

NOTE: Performance analysis is a consultant job and not a breakfix activity. For detailed performance tuning, customer needs to involve the consulting team. However, the below analysis is provided on a best effort basis.

Provided the action plan customer needs to perform which will improve the performance of the array.

Hard drive firmware is too old HPD1and the latest firmware HPD3 has fixes regarding the read/write work load.

https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX_...

Fixes:

    This firmware includes a change to reduce response times on random read/write workloads where commands are sent at slow interval (one every few hundred milliseconds).
    A fix for an issue where the drive could become unresponsive after a hard reset.

Ø  Upgrade the controller firmware to VE270P005 which has some critical fixes related to the ATS in esx environment. Latest firmware can be downloaded from the below link:

https://support.hpe.com/hpsc/swd/public/detail?swItemId=MTX-...

Ø  Here customer has one Disk-group consists of 16 drives in RAID6 . For virtual pools, inorder to get optimal write performance, parity-based Disk Groups (RAID 5 and RAID 6) should be created with “The Power of 2” method. This method means that the number of data (non-parity) drives contained in a Disk Group should be a power of 2. The reason why we recommend power of 2 rule is to make sure that the smallest units , the pages are aligned correctly to the stripe boundary to avoid overlapping of pages which can cause controllers to run additional parity calculations and make backed busy that slows down the system. When this rule is followed, data is striped across the virtual disk group in 512KB chunks.  Hence, the RAID 6 disk-group can go up to 10 drives maximum.

This is not applicable for RAID 10 and applicable for only RAID 5 and 6.

Here all the disk-groups are configured with incorrect number of disks. While recreating the vdisks, use the correct number of disks. This will actually increase the write performance.

Refer page 18 and 19 of the best practice guide for MSA 1050/2050:

https://h20195.www2.hpe.com/v2/getpdf.aspx/A00015961ENW.pdf?

Delete the existing Disk-group and create a Disk-group with 10 disks in RAID 6 under Pool A and create another disk-group under Pool B with rest 6 drives in RAID 6. This will load balance the Disk groups as well as the power of 2 method as suggested.

For MSA array, we need to set the Multipathing policy as Round Robin (VMW_PSP_RR) with IOPs =1 as per best practice guide for optimal performance. Customer can refer the attached best practices guide, page 50 for changing the steps to change the multipathing policy to Round Robin with IOPs value as 1.

https://h20195.www2.hpe.com/v2/getpdf.aspx/4aa4-7060enw.pdf

Once the above action plan is implemented, check the working of the MSA.


Ответить | Правка | Наверх | Cообщить модератору

11. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от Дмитрий (??), 12-Фев-21, 22:30 
Огромное спасибо за столь обстоятельный и всесторонний ответ!
Надеюсь, это станет решением и моей проблемы.

Ответить | Правка | Наверх | Cообщить модератору

12. "HPE MSA 2050, FC - медленные random read/write"  +/
Сообщение от pf (ok), 13-Фев-21, 17:15 
добавлю что отключил.

SMI-S: Used for remote management of the system through network. Can enable use of secure (encrypted) or unsecure (unencrypted) SMI-S:
--------------------------------------------------


https://support.hpe.com/hpesc/public/docDisplay?docId=c05306564

In-band SES Capability: Used for in-band monitoring of system status based on SCSI Enclosure Services (SES)data.

If a service is disabled, it continues to run but cannot be accessed. To allow specific users to access WBI, CLI, or FTP click here to view information About user account .
-------------------------------------------------------------------------

Missing Lun Response : IIIega L Request

https://support.hpe.com/hpesc/public/docDisplay?docId=c03470...

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру