URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 93132
[ Назад ]
Исходное сообщение
"Странные данные netstat -m"
Отправлено Sergio , 11-Мрт-12 10:27 
Добрый день всем.

Бьюсь над проблемой. Есть 3 сервера на FreeBSD 8.2. Двое работают нормально, третий ужасно.
Теперь подробнее.

Есть сервер с 3-мя сетевыми картами. Выполняет роль шлюза между сетями локальными. А также выполняет функции dhcp dns samba rinetd. На нем есть интрнет через ВПН по средством mpd5.5. Запущен ipfw_nat на впн интерфейсе Периодически сервер теряется в сети раз в неделю или раз в две недели.
Два других сервера  работаю нормально без каких либо зависаний. Единственное отличие что там нет dns dhcp и тд. Нагрузка н тех серверах в разы больше так как явялются шлюзами в интернет.

Заметил что у меня очень большие цифры на проблемной сервере.
[root@*** ~]# netstat -m
13383/22332/35715 mbufs in use (current/cache/total)
12593/2773/15366/40000 mbuf clusters in use (current/cache/total/max)
12593/2639 mbuf+clusters out of packet secondary zone in use (current/cache)
0/44/44/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
28532K/11305K/39837K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/12/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
7 requests for I/O initiated by sendfile
0 calls to protocol drain routines

А именно 13383/22332/35715 mbufs in use (current/cache/total)
После загрузки сервера cache равен 1000. Держится так минут 10 и потом  резкий скачок на 20000.. С чем связано не пойму.

У кого есть какие мысли с чем проблема?

Содержание
Сообщения в этом обсуждении
"Странные данные netstat -m"
Отправлено LSTemp , 13-Мрт-12 02:48 
>[оверквотинг удален]
> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
> 0/12/6656 sfbufs in use (current/peak/max)
> 0 requests for sfbufs denied
> 0 requests for sfbufs delayed
> 7 requests for I/O initiated by sendfile
> 0 calls to protocol drain routines
> А именно 13383/22332/35715 mbufs in use (current/cache/total)
> После загрузки сервера cache равен 1000. Держится так минут 10 и потом
>  резкий скачок на 20000.. С чем связано не пойму.
> У кого есть какие мысли с чем проблема?

Только предположение: с поблочным выделением ресурсов под кеш (по идее так и должно работать)? и разве это проблема? елси да, то стоит смотреть, что ресурсы жрет, а кеш ИМХО как раз под оптимизацию использования железа строиться...


"Странные данные netstat -m"
Отправлено LSTemp , 13-Мрт-12 03:51 
> что ресурсы жрет, а кеш ИМХО как раз под оптимизацию использования
> железа строиться...

вернее под оптимизацию выделенных ресурсов. абстракция в вопросе = абстракция в ответе.

"Странные данные netstat -m"
Отправлено Sergio , 13-Мрт-12 10:55 
>> что ресурсы жрет, а кеш ИМХО как раз под оптимизацию использования
>> железа строиться...
> вернее под оптимизацию выделенных ресурсов. абстракция в вопросе = абстракция в ответе.

Хорошо :). Вопрос как посмотреть что жрет
rinetd?

44 processes:  2 running, 42 sleeping
CPU: 13.3% user,  0.0% nice, 39.4% system,  0.5% interrupt, 46.8% idle
Mem: 88M Active, 254M Inact, 175M Wired, 316K Cache, 111M Buf, 474M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
1827 root          1 118    0  3288K  1376K CPU1    0  47.0H 100.00% rinetd
10438 root          5  44    0 77980K 65588K kqread  1  11:31  0.00% named
1345 root          1  44    0  9600K  5064K select  0   2:26  0.00% nmbd


"Странные данные netstat -m"
Отправлено LSTemp , 25-Мрт-12 04:00 
> Хорошо :). Вопрос как посмотреть что жрет
> rinetd?

Хорошо :)
Ответ: RTFM.


"
Есть сервер с 3-мя сетевыми картами. Выполняет роль шлюза между сетями локальными. А также выполняет функции dhcp dns samba rinetd. На нем есть интрнет через ВПН по средством mpd5.5. Запущен ipfw_nat на впн интерфейсе Периодически сервер теряется в сети раз в неделю или раз в две недели.
"


спросить-то что хотел?


"
Два других сервера  работаю нормально без каких либо зависаний. Единственное отличие что там нет dns dhcp и тд. Нагрузка н тех серверах в разы больше так как явялются шлюзами в интернет.
"

в локалке PPS по любому будет выше чем на шлюзе (samba detected) = та же реальная нагрузка на железо. определитесь, что Вы под "нагрузкой" подразумеваете.


PS
/dev/nul


"Странные данные netstat -m"
Отправлено Sergio , 26-Мрт-12 12:45 
Спросить то я хотел. почему теряется в сети сервер. :)

Под словом нагрузка я подразумеваю что роль других -  это билинг с нарезкой трафика для 2000 пользователей. Поэтому на них нагрузка в разы больше. Именно сетевая :)

"Странные данные netstat -m"
Отправлено LSTemp , 26-Апр-12 01:11 
> Спросить то я хотел. почему теряется в сети сервер. :)
> Под словом нагрузка я подразумеваю что роль других -  это билинг
> с нарезкой трафика для 2000 пользователей. Поэтому на них нагрузка в
> разы больше. Именно сетевая :)

Очевидно, что некропост от меня, надеюсь плюса не будет)

Сетевая нагрузка? Чем меряете?

К Автору: я не просто так про PPS говорил. нагрузка разная бывает. Не только по трафику. В совсем недалеком прошлом по PPS из-за торента чуть не половина инета если не легла, то плакала. А в локальной сети (учитывая наличие той же самбы) кол-во пакетов (пусть и левых) по определению превосходит их количество на шлюзе или изолированном сервере по вполне понятным причинам.

PS
для совсем запущенного случая:
PPS = Packet Per Second - http://www.translate.ru/text.asp?lang=ru

PSS
может причина сбоев совсем в другом, но именно на это я хотел обратить Ваше внимание.


"Странные данные netstat -m"
Отправлено Кегна , 26-Мрт-12 22:07 
>[оверквотинг удален]
> TIME   WCPU COMMAND
>  1827 root          
> 1 118    0  3288K  1376K CPU1
>    0  47.0H 100.00% rinetd
> 10438 root          5
>  44    0 77980K 65588K kqread  1
>  11:31  0.00% named
>  1345 root          
> 1  44    0  9600K  5064K
> select  0   2:26  0.00% nmbd

отказаться от rinetd в сторону nat,ipfw,pf?

"Странные данные netstat -m"
Отправлено Sergio , 27-Мрт-12 08:44 
>[оверквотинг удален]
>>  1827 root
>> 1 118    0  3288K  1376K CPU1
>>    0  47.0H 100.00% rinetd
>> 10438 root          5
>>  44    0 77980K 65588K kqread  1
>>  11:31  0.00% named
>>  1345 root
>> 1  44    0  9600K  5064K
>> select  0   2:26  0.00% nmbd
> отказаться от rinetd в сторону nat,ipfw,pf?

Рассматриваю. Вернее решил это и сделать. IPFW NAT

"Странные данные netstat -m"
Отправлено Аноним , 14-Мрт-12 11:33 
покажие
vmstat -z
"Странные данные netstat -m"
Отправлено Sergio , 26-Мрт-12 12:41 
> покажие
> vmstat -z

ITEM                     SIZE     LIMIT      USED      FREE  REQUESTS  FAILURES

UMA Kegs:                 128,        0,       91,       29,       91,        0
UMA Zones:                888,        0,       91,        1,       91,        0
UMA Slabs:                284,        0,     1159,        3,     8757,        0
UMA RCntSlabs:            544,        0,     7564,        3,     7564,        0
UMA Hash:                 128,        0,        3,       27,        4,        0
16 Bucket:                 76,        0,       58,       42,       79,        0
32 Bucket:                140,        0,       86,       26,      107,        0
64 Bucket:                268,        0,      104,        8,      150,       13
128 Bucket:               524,        0,     1070,        1,     2091,      331
VM OBJECT:                136,        0,    43272,     5245,   491272,        0
MAP:                      140,        0,        7,       21,        7,        0
KMAP ENTRY:                72,    56392,       38,      227,    45241,        0
MAP ENTRY:                 72,        0,     3274,      648,   893678,        0
DP fakepg:                 72,        0,        0,        0,        0,        0
SG fakepg:                 72,        0,        0,        0,        0,        0
mt_zone:                 2056,        0,      282,      244,      282,        0
16:                        16,        0,     3141,     3355, 46368882,        0
32:                        32,        0,     2181,      531, 152941705,        0
64:                        64,        0,     4205,     6061, 55170405,        0
128:                      128,        0,     4304,     3166,  2290952,        0
256:                      256,        0,      831,      174,    86295,        0
512:                      512,        0,      301,      171, 1774605331,
0
1024:                    1024,        0,       50,      126,    33503,        0
2048:                    2048,        0,      360,       40,      576,        0
4096:                    4096,        0,      146,       63,    31573,        0
Files:                     56,        0,      260,     3157,  2808369,        0
TURNSTILE:                 72,        0,      181,       59,      181,        0
umtx pi:                   52,        0,        0,        0,        0,        0
MAC labels:                20,        0,        0,        0,        0,        0
PROC:                     680,        0,       63,       57,    21334,        0
THREAD:                   636,        0,      174,        6,      181,        0
SLEEPQUEUE:                44,        0,      181,      114,      181,        0
VMSPACE:                  232,        0,       44,       92,    21316,        0
cpuset:                    40,        0,        2,      182,        2,        0
audit_record:             816,        0,        0,        0,        0,        0
mbuf_packet:              256,        0,    13491,     1613, 1223058788,
0
mbuf:                     256,        0,       23,    20333, 1999189479,
0
mbuf_cluster:            2048,    40000,    15104,        6,    15126,        0
mbuf_jumbo_page:         4096,    12800,        0,        9,       48,        0
mbuf_jumbo_9k:           9216,     6400,        0,        0,        0,        0
mbuf_jumbo_16k:         16384,     3200,        0,        0,        0,        0
mbuf_ext_refcnt:            4,        0,        0,      406,     7465,        0
g_bio:                    140,        0,        0,     4116,  1522409,        0
ttyinq:                   152,        0,      150,       84,      345,        0
ttyoutq:                  256,        0,       80,       40,      184,        0
ata_request:              204,        0,        0,     1102,   380530,        0
ata_composite:            180,        0,        0,        0,        0,        0
VNODE:                    268,        0,    59320,     5514,   674597,        0
VNODEPOLL:                 60,        0,        0,        0,        0,        0
NAMEI:                   1024,        0,        0,       36,  2076077,        0
S VFS Cache:               72,        0,    43159,    24310,   640840,        0
L VFS Cache:              292,        0,    16533,     1147,    53967,        0
NFSMOUNT:                 524,        0,        0,        0,        0,        0
NFSNODE:                  468,        0,        0,        0,        0,        0
DIRHASH:                 1024,        0,     1954,      110,     4311,        0
pipe:                     392,        0,       20,       50,     7360,        0
ksiginfo:                  80,        0,      106,      950,     7039,        0
itimer:                   220,        0,        0,        0,        0,        0
KNOTE:                     72,        0,       58,     3069, 32083525,        0
socket:                   412,    25605,       98,     3142,  2390500,        0
ipq:                       32,     1356,        0,      339,      434,        0
udp_inpcb:                220,    25614,       24,     3180,  2372492,        0
udpcb:                      8,    25781,       24,     3224,  2372492,        0
tcp_inpcb:                220,    25614,       55,      107,    15523,        0
tcpcb:                    632,    25602,       52,       68,    15523,        0
tcptw:                     52,     5184,        3,      213,     3738,        0
syncache:                 112,    15365,       14,      161,    10913,        0
hostcache:                 76,    15400,       23,      177,      999,        0
tcpreass:                  20,     2535,        0,      507,    74457,        0
sackhole:                  20,        0,        0,      507,  2421146,        0
sctp_ep:                  860,    25600,        0,        0,        0,        0
sctp_asoc:               1484,    40000,        0,        0,        0,        0
sctp_laddr:                24,    80040,        0,      290,        5,        0
sctp_raddr:               432,    80001,        0,        0,        0,        0
sctp_chunk:                92,   400008,        0,        0,        0,        0
sctp_readq:                76,   400000,        0,        0,        0,        0
sctp_stream_msg_out:       64,   400020,        0,        0,        0,        0
sctp_asconf:               24,   400055,        0,        0,        0,        0
sctp_asconf_ack:           24,   400055,        0,        0,        0,        0
ripcb:                    220,    25614,        2,       52,      734,        0
unpcb:                    172,    25622,       13,      102,     1708,        0
rtentry:                  108,        0,       35,       73,       45,        0
IPFW dynamic rule:        108,        0,       54,      162,     4914,        0
selfd:                     28,        0,      145,      490, 126088775034,
  0
ip4flow:                   40,    50232,      161,      483,   355418,        0
ip6flow:                   64,    50228,        0,        0,        0,        0
SWAPMETA:                 276,   121576,        0,        0,        0,        0
Mountpoints:              644,        0,        6,       12,        6,        0
FFS inode:                116,        0,    59285,     5626,   674537,        0
FFS1 dinode:              128,        0,        0,        0,        0,        0
FFS2 dinode:              256,        0,    59285,     5605,   674537,        0
NetGraph items:            36,     4130,        1,      235, 13398124,        0
NetGraph data items:       36,      531,        0,      236, 21774459,        0