https://opennet.me/openforum/vsluhforumID13/716.html Доброе время суток!!!<br>Нужна помощь.<br><br>Есть сервер на Win2k3, который подключен к серверу с ОС OpenSolaris по SRP (интерфейс InfiniBand).<br><br>Проблема - маленькая скорость Рандом чтения.<br><br>Помогите настроить карточки и системы на максимальную производительность.<br><br>Карточки: Mellanox ConnectX VPI (MT26428)<br><br>Доступные настройки (привожу с настройками по умолчанию):<br>GUID bitwise mask - 0<br>Large Send Offload - Disabled<br>MC leave rescan (sec) - 260<br>Number of retries connecting to bc - 50<br>Payload Mtu size - 2044<br>Receive Pool Ratio - 1<br>Receive Queue depth -512<br>Receive Queue Low Watermark -4<br>Recv Checksum Offload - Enable (if support)<br>SA Query Retry Count - 10<br>SA Query Timeout (ms) - 1000<br>Send Checksum Offload - Enabled (if support)<br>Send Queue Depth - 512<br><br><br><br><br> https://opennet.me/openforum/vsluhforumID13/716.html#6 Tue, 18 Jan 2011 05:50:07 GMT &gt;[оверквотинг удален]<br>&gt; мы его включаем - и - внезапно ! - теряем (потенциально)десятки <br>&gt; гигабайт данных в кэше ФС при потере питания.<br>&gt; Тут можно последовать методом Open-E, которая умеет использовать внешний UPS как своеобразное <br>&gt; BBU :) Своеобразное потому, что отрубить питание от всего, кроме модулей <br>&gt; ОЗУ ОС все равно не может.<br>&gt; - дороговизна инфраструктуры. Рано или поздно потребуется подключить "хранилище" к более, <br>&gt; чем одному-двум серверам, и - привет... IB стоит не сильно дешевле <br>&gt; FC.<br>&gt; Тут решить нечем, велосипеды, проапгрейженные до самолетов, стоят обычно дороже собственно <br>&gt; самолетов...<br><br>Ну вообще то не все так плохо как ты сказал :)<br><br>Повесили пару полок на SAS-HBA, под логи оставили райд 10. использовали кеш на чстение и на запись в виде SSD и получили 40-60к иопсов на чтение и 25-30к иопсов на запись =)<br>В качестве надежности данных под логи как уже сказал райд 10, а для данных ZFS по паре дисков =)<br><br> https://opennet.me/openforum/vsluhforumID13/716.html#5 Mon, 17 Jan 2011 11:54:21 GMT &gt; вот так вот.<br><br>Ну что, главным образом тут отрулил низколатентный интерфейс, по которому "хранилище" отдавало инфу, и почти 48 ГБ кэша ФС под ОС :) Т.е. если объем обрабатываемых за раз данных превысит объем кэша ФС (хотя по задачам для такого "хоронилища" это маловероятно) - чтение упрется в винты. А там пик (если взять IOMeter) - 4500-5000 IOps в синтетике и раза в 3-4 ниже в жизни...<br><br>Грабли Вас на этом пути ждут следующие:<br>- отказоустойчивость. Она - на уровне одиночного сервера, т.е. - минимальная. Сделать "второй контроллер" - никак. Ну или по методу NetApp...<br>- производительность на запись. Тут грабли следующие: или мы отключаем кэш ФС на запись - и все внезапно становится банально и грустно. Или мы его включаем - и - внезапно ! - теряем (потенциально)десятки гигабайт данных в кэше ФС при потере питания.<br>Тут можно последовать методом Open-E, которая умеет использовать внешний UPS как своеобразное BBU :) Своеобразное потому, что отрубить питание от всего, кроме модулей ОЗУ ОС все равно не может. https://opennet.me/openforum/vsluhforumID13/716.html#4 Sun, 09 Jan 2011 08:30:29 GMT &gt; На самой Solaris скорость нормальная, все проблемы с сетевой работой, нужно как <br>&gt; -то что-то оптимизировать.<br><br>http://social.technet.microsoft.com/forums/ru-RU/sqlru/thread/3598d2b9-897a-4233-ba2e-0b4906a76beb/<br><br>http://www.google.com.ua/search?hl=uk&client=firefox-a&hs=JmW&rls=org.mozilla:en-US:official&&sa=X&ei=w3EpTY73BIur8QPH4NiFAw&ved=0CBYQBSgA&q=win+2003+diskpart+64k+%D0%B2%D1%8B%D1%80%D0%B0%D0%B2%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5&spell=1<br> https://opennet.me/openforum/vsluhforumID13/716.html#3 Thu, 09 Dec 2010 09:13:48 GMT &gt;[оверквотинг удален]<br>&gt; IOs/sec: 1439.97<br>&gt; MBs/sec: 89.99<br>&gt; ------------------------<br>&gt; - Sequential Read o4 b64-<br>&gt; IOs/sec: 3522.63<br>&gt; MBs/sec: 220.16<br>&gt; ------------------------<br>&gt; В рандом риде о4 b64 в 64к размеченом диске должно быть минимум<br>&gt; 2500 IOs/sec<br>&gt; вот так вот.<br><br>На самой Solaris скорость нормальная, все проблемы с сетевой работой, нужно как -то что-то оптимизировать.<br> https://opennet.me/openforum/vsluhforumID13/716.html#2 Thu, 09 Dec 2010 09:10:02 GMT &gt; А про железо поподробнее? Какие драйвы, какая скорость получается в цифрах<br>&gt; На самом сервере опенсоляриса скорость нормальная? или на нем тоже маленькая?<br><br>Железо openSolaris:<br>CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core<br>RAM: 48GB (8+8+8+8+8+8+4)<br>RAID: LSI MegaSAS 9260 -i8 (RAID10 - 4.8TB 15K диски 10шт.) - таргеты как блоковое устройство, не через ZFS - драйвер mr_sas<br>LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec - драйвер hermon<br><br>Железо Windows:<br>CPU: 2x Intel Xeon CPU X5650 @ 2.67GHz, 6 Core<br>RAM: 32GB (8+8+8+8)<br>RAID: Adaptec ech10-r RAID 10, установлена только для системы - драйвер Adaptec с сайта производителя<br>LAN: Mellanox Technologies MT26428[ConnectX VPI PCIe 2.0 5TG/s -IB QDR / 10GigE] 40 GB/sec - драйвер Mellanox VPI 2.1.2 с сайта производителя + FIX для работы SRP протокола (получен через Support Mellanox)<br><br>Скорость интерфейса 40 ГБ/сек<br><br>Скорость в цифрах:<br>Тест SQLIO с Windows сервера к LUN на Solaris (LUN'ы калибровались с от https://opennet.me/openforum/vsluhforumID13/716.html#1 Wed, 08 Dec 2010 15:36:39 GMT А про железо поподробнее? Какие драйвы, какая скорость получается в цифрах<br><br>На самом сервере опенсоляриса скорость нормальная? или на нем тоже маленькая?<br>