<?xml version="1.0" encoding="koi8-r"?>
<rss version="0.91">
<channel>
    <title>OpenForum RSS: ускорение импорта данных в RDS MySQL с помощью ssh proxy</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html</link>
    <description>Коллеги,&lt;br&gt;&lt;br&gt;Поделитесь своими мыслями по поводу следующего сценария.&lt;br&gt;&lt;br&gt;Есть EC2 instance в регионе us-east-1 (ec2-use1), где лежит дамп базы mysql. Есть инстанс RDS в регионе ap-southeast-2 (rds-apse2).&lt;br&gt;&lt;br&gt;Импорт данных идет скоростью примерно 2.5MB/sec с пиками до 3:&lt;br&gt;&#091;user&#064;ec2-use1&#093;$ pv user_service.dump &amp;#124; mysql --defaults-file=mysqlroot.cnf -h rds-apse2 -u sp user_service&lt;br&gt;&lt;br&gt;Но если поднять EC2 инстанс в регионе RDS (ec2-apse2) и импортировать данные через pipe, то скорость вырастает в 2 раза (в серднем 5.5MB/sec с пиками до 10):&lt;br&gt;&#091;user&#064;ec2-use1&#093;$ pv user_service.dump &amp;#124; ssh ec2-user&#064;ec2-apse2 mysql --defaults-file=mysqlroot.cnf -h rds-apse2 -u sp user_service&lt;br&gt;&lt;br&gt;Если же импортировать данные через ssh-тоннель, то скорость такая же, как и без ssh:&lt;br&gt;&#091;user&#064;ec2-use1&#093;$ ssh -L 3306:rds-apse2:3306 ec2-user&#064;ec2-apse2&lt;br&gt;&#091;user&#064;ec2-use1&#093;$ pv user_service.dump &amp;#124; mysql --defaults-file=mysqlroot.cnf -h localhost -u sp user_service&lt;br&gt;&lt;br&gt;Есть идеи, почему скорость вырастает при работе через ssh прокси?&lt;br&gt;</description>

<item>
    <title>ускорение импорта данных в RDS MySQL с помощью ssh proxy (Alexander)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html#5</link>
    <pubDate>Mon, 27 May 2024 07:11:00 GMT</pubDate>
    <description>&amp;gt; Попробуй Nagle отключить &lt;br&gt;&lt;br&gt;чатгпт посоветовал сделать через LD_PRELOAD и выдал такой код:&lt;br&gt;#define _GNU_SOURCE&lt;br&gt;#include &amp;lt;dlfcn.h&amp;gt;&lt;br&gt;#include &amp;lt;sys/types.h&amp;gt;&lt;br&gt;#include &amp;lt;sys/socket.h&amp;gt;&lt;br&gt;#include &amp;lt;netinet/in.h&amp;gt;&lt;br&gt;#include &amp;lt;netinet/tcp.h&amp;gt;&lt;br&gt;#include &amp;lt;unistd.h&amp;gt;&lt;br&gt;#include &amp;lt;stdio.h&amp;gt;&lt;br&gt;#include &amp;lt;errno.h&amp;gt;&lt;br&gt;&lt;br&gt;int socket(int domain, int type, int protocol) &#123;&lt;br&gt;    // Оригинальная функция socket&lt;br&gt;    int (*original_socket)(int, int, int);&lt;br&gt;    original_socket = dlsym(RTLD_NEXT, &quot;socket&quot;);&lt;br&gt;&lt;br&gt;    // Вызов оригинальной функции&lt;br&gt;    int sockfd = original_socket(domain, type, protocol);&lt;br&gt;    if (sockfd &amp;lt; 0) &#123;&lt;br&gt;        return sockfd;&lt;br&gt;    &#125;&lt;br&gt;&lt;br&gt;    // Установка TCP_NODELAY для созданного сокета&lt;br&gt;    if (domain == AF_INET &amp;&amp; type == SOCK_STREAM) &#123;&lt;br&gt;        int opt = 1;&lt;br&gt;        if (setsockopt(sockfd, IPPROTO_TCP, TCP_NODELAY, &amp;opt, sizeof(opt)) &amp;lt; 0) &#123;&lt;br&gt;            perror(&quot;setsockopt TCP_NODELAY&quot;);&lt;br&gt;        &#125;&lt;br&gt;    &#125;&lt;br&gt;&lt;br&gt;    return sockfd;&lt;br&gt;&#125;&lt;br&gt;&lt;br&gt;gcc -shared -fPIC -o tcp_nodelay.so tcp_nodelay.c -ldl&lt;br&gt;&lt;br&gt;Судя по strace&apos;у код рабочий:&lt;br&gt;.</description>
</item>

<item>
    <title>ускорение импорта данных в RDS MySQL с помощью ssh proxy (Alexander)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html#4</link>
    <pubDate>Mon, 27 May 2024 06:43:49 GMT</pubDate>
    <description>&amp;gt; Попробуй Nagle отключить &lt;br&gt;&lt;br&gt;Как и где именно это сделать?&lt;br&gt;</description>
</item>

<item>
    <title>ускорение импорта данных в RDS MySQL с помощью ssh proxy (Alexander)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html#3</link>
    <pubDate>Mon, 27 May 2024 06:43:24 GMT</pubDate>
    <description>&amp;gt;&amp;gt; Есть идеи, почему скорость вырастает при работе через ssh прокси?&lt;br&gt;&amp;gt; Поставь в /etc/ssh/ssh_config &lt;br&gt;&amp;gt; Compression no &lt;br&gt;&amp;gt; и попробуй измерить снова &lt;br&gt;&lt;br&gt;Ничего не изменилось:&lt;br&gt;# pv user_service.dump &amp;#124; ssh -o Compression=no ec2-user&#064;ec2-apse2 mysql --defaults-file=mysqlroot.cnf -h rds-apse2 -u sp user_service&lt;br&gt; 390MiB 0:01:14 &#091;5.20MiB/s&#093; &#091;===================================================================================================================&amp;gt;&#093; 100&#037;&lt;br&gt;</description>
</item>

<item>
    <title>ускорение импорта данных в RDS MySQL с помощью ssh proxy (Tron is Whistling)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html#2</link>
    <pubDate>Sat, 25 May 2024 06:14:30 GMT</pubDate>
    <description>Попробуй Nagle отключить&lt;br&gt;</description>
</item>

<item>
    <title>ускорение импорта данных в RDS MySQL с помощью ssh proxy (Аноним)</title>
    <link>https://www.opennet.me/openforum/vsluhforumID1/97974.html#1</link>
    <pubDate>Fri, 24 May 2024 22:38:00 GMT</pubDate>
    <description>&amp;gt; Есть идеи, почему скорость вырастает при работе через ssh прокси?&lt;br&gt;&lt;br&gt;Поставь в /etc/ssh/ssh_config&lt;br&gt;Compression no&lt;br&gt;и попробуй измерить снова&lt;br&gt;</description>
</item>

</channel>
</rss>
