https://www.opennet.ru/openforum/vsluhforumID9/6911.html Есть список ip-адресов и трафику для каждого адреса. список в простом текстовом файле.<br>формат: [IP-адрес] [Bytes]<br>Проблема в том, что размер списка несколько миллионов строк.<br>Как лучше реализовать группировку IP-адресов с сумированием Байтов.<br>Ложить всё в массив... я думаю это безумство :-)<br> https://www.opennet.ru/openforum/vsluhforumID9/6911.html#5 Wed, 07 Nov 2007 16:13:43 GMT &gt;всё в массив... я думаю это безумство :-) <br><br>нахрена в массив? Читаем файл построчно, в памяти храним только таблицу IP - сумма байт для встретившихся IP. Логично использовать хэш.<br><br>На C++ - std::hash_map и прога из двух десятков строчек.<br>На Perl - стандартный хэш и прога из четырех строк.<br> https://www.opennet.ru/openforum/vsluhforumID9/6911.html#4 Wed, 07 Nov 2007 04:42:44 GMT Думаю лучше сделать в СУБД (как посоветовал newser).<br>Масштабируемость получается больше. Потому что рано или поздно будет затребовано деление трафика по портам/адресам и самое эффективое пихать всё в БД.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID9/6911.html#3 Wed, 07 Nov 2007 01:03:14 GMT &gt;Проблема в том, что размер списка несколько миллионов строк. <br>&gt;Ложить всё в массив... я думаю это безумство :-) <br><br>На самом деле, важно не сколько строк, а сколько в них [b]разных[/b] адресов.<br><br>Так что использовать какую-нибудь разновидность массива (например std::map из C++/STL) может оказаться не такой уж и плохой идеей. Если нужна только сумма трафика для каждого адреса.<br> https://www.opennet.ru/openforum/vsluhforumID9/6911.html#2 Tue, 06 Nov 2007 21:50:04 GMT Можно простым файлом обойтись :)<br><br>Так как ip адресов конечно (2^32) можно использовать их все как массив.<br>то есть 4 байта ip использовать как (unsigned long int) индекс :)<br><br>Сам массив хранить в файле.<br><br>То есть, ip адресу 0.0.0.0 соотв индекс (смещение 0), 0.0.0.1 смещение 1.<br><br>Правда файл получится 32 гигабайта. Но наверно разреженный, так что не страшно :)<br> https://www.opennet.ru/openforum/vsluhforumID9/6911.html#1 Tue, 06 Nov 2007 06:36:25 GMT &gt;Есть список ip-адресов и трафику для каждого адреса. список в простом текстовом <br>&gt;файле. <br>&gt;формат: [IP-адрес] [Bytes] <br>&gt;Проблема в том, что размер списка несколько миллионов строк. <br>&gt;Как лучше реализовать группировку IP-адресов с сумированием Байтов. <br>&gt;Ложить всё в массив... я думаю это безумство :-) <br><br>СУБД<br>