https://www.opennet.ru/openforum/vsluhforumID9/10141.html всем привет,<br><br>есть 2 файла:<br>1. список мыл<br>gagag@domain1.com<br>jdjdjd@domain2.com<br>...<br>kdkdk@domainX.com<br><br>2. список доменов:<br>domain1.com<br>domain2.com<br>...<br>domainX.com<br><br>задача сосотоит в том чтобы выкинуть все мыла из листа 1 домены которых совпали с доменами из листа 2<br><br>grep -v работает ужасно долго при больших листах - уверен перл справиться намного быстрее.<br><br>Спасибо!<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#8 Mon, 16 Jan 2017 06:40:34 GMT &gt;&gt; А тебя ещё чуть выше предупредили про "медленный" греп <br>&gt; да что за предъявы?<br>&gt; сижу никого не трогаю, починяю примус <br>&gt; на перле заказывали? получите, распишитесь )) <br><br>Да, я так, погулять вышел. Греп тормоз, да. Я пробовал "поанализировать" в сторону, что в перле же тоже регекспы и поэтому-то... Доказательство по аналогии "считаю безобразной ошибкой"<br><br>--[Расскаиваюсь. Прошу дать возможность загладить, искупить.]Ц<br><br>&gt; ну можно ещё так отрезать "всё до вон того символа"[code]#!/usr/bin/perl <br>&gt; $m=~s/^.*\@//; <br><br>Это ж опять регексп, см.index+substr выше. Впрочем, перл всяко быстрее грепа, а заякорённый регексп должен быть даже быстрее index+substr.<br><br>&gt; а ТС, если захочет, замерит, что там будет быстрее, чем [code]grep -vFf <br>&gt; domain mail[/code] и насколько быстрее, https://www.opennet.ru/openforum/vsluhforumID9/10141.html#7 Mon, 16 Jan 2017 06:31:02 GMT &gt;&gt;&gt; Ну что же, сам напросился - получай )) <br>&gt;&gt;&gt; #!/usr/bin/perl <br>&gt;&gt;&gt; /^.*\@(.*)/; <br>&gt;&gt;&gt; насчет жручести памяти в перле будем считать тебя предупредили выше <br>&gt;&gt; А тебя ещё чуть выше предупредили про "медленный" греп... В перле нет <br>&gt;&gt; чего побыстрее для отрезания "всего до вон того символа"? Ну, вложенные <br><br>user:~$ awk 'BEGIN{mail="som@example.com";dom=substr(mail,index(mail,"@")+1);print dom}'<br>example.com<br>user:~$ _<br><br>&gt;&gt; циклы (найти вложенный - упражнение для читателей младше 2го курса #форумная-ЦС) <br>&gt;&gt; оставим, как "подарок" начинающему падавану.<br>&gt; Правильно! Решение на awk не будем показывать!<br><br>Конечно. Лениво же.<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#6 Sun, 15 Jan 2017 17:56:53 GMT &gt; А тебя ещё чуть выше предупредили про "медленный" греп<br><br>да что за предъявы?<br>сижу никого не трогаю, починяю примус<br><br>на перле заказывали? получите, распишитесь ))<br><br>ну можно ещё так отрезать "всё до вон того символа"[code]#!/usr/bin/perl<br><br>open (DOMAIN, domain);<br>@domain{&lt;DOMAIN&gt;}=();<br><br>open (MAIL, mail);<br>while (&lt;MAIL&gt;) {<br> $m=$_;<br> $m=~s/^.*\@//;<br> print unless exists $domain{$m};<br>}[/code]но сути использования ключей хеша это не изменит<br><br>а ТС, если захочет, замерит, что там будет быстрее, чем [code]grep -vFf domain mail[/code] и насколько быстрее,<br><br>а если памяти мало - так это не ко мне, это в магазин за углом ))<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#5 Sun, 15 Jan 2017 16:03:44 GMT &gt;&gt; Ну что же, сам напросился - получай )) <br>&gt;&gt; #!/usr/bin/perl <br>&gt;&gt; /^.*\@(.*)/; <br>&gt;&gt; насчет жручести памяти в перле будем считать тебя предупредили выше <br>&gt; А тебя ещё чуть выше предупредили про "медленный" греп... В перле нет <br>&gt; чего побыстрее для отрезания "всего до вон того символа"? Ну, вложенные <br>&gt; циклы (найти вложенный - упражнение для читателей младше 2го курса #форумная-ЦС) <br>&gt; оставим, как "подарок" начинающему падавану.<br><br>Правильно! Решение на awk не будем показывать!<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#4 Sun, 15 Jan 2017 08:22:05 GMT &gt; Ну что же, сам напросился - получай )) <br>&gt; #!/usr/bin/perl <br>&gt; /^.*\@(.*)/; <br>&gt; насчет жручести памяти в перле будем считать тебя предупредили выше <br><br>А тебя ещё чуть выше предупредили про "медленный" греп... В перле нет чего побыстрее для отрезания "всего до вон того символа"? Ну, вложенные циклы (найти вложенный - упражнение для читателей младше 2го курса #форумная-ЦС) оставим, как "подарок" начинающему падавану.<br><br>Вот я помню, реализацию типа-грепа на авке оптимизировал по скорости... Да, именно, почти, мап-ридьюс получился. Но там была возможность на исходную задачу навесить ограничения и срезать -- после какого-то порога не проверять остальные регекспы дальше.<br><br>--Гордый автор доморощенного неопубликованного спам-фильтра здесь, да, было по молодости.<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#3 Sun, 15 Jan 2017 05:45:31 GMT Ну что же, сам напросился - получай ))<br>[code]<br>#!/usr/bin/perl<br><br>open (DOMAIN, /path/to/file/domain);<br>@domain{&lt;DOMAIN&gt;}=();<br><br>open (MAIL, /path/to/file/mail);<br>while (&lt;MAIL&gt;) {<br> /^.*\@(.*)/;<br> print unless exists $domain{"$1\n"};<br>}<br>[/code]<br>насчет жручести памяти в перле будем считать тебя предупредили выше<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#2 Sat, 14 Jan 2017 19:35:14 GMT &gt;[оверквотинг удален]<br>&gt; 2. список доменов: <br>&gt; domain1.com <br>&gt; domain2.com <br>&gt; ...<br>&gt; domainX.com <br>&gt; задача сосотоит в том чтобы выкинуть все мыла из листа 1 домены <br>&gt; которых совпали с доменами из листа 2 <br>&gt; grep -v работает ужасно долго при больших листах - уверен перл справиться <br>&gt; намного быстрее.<br>&gt; Спасибо!<br><br>Иногда скорость не имеет решающего значения. Есть задачи, решение которых важно в принципиальном плане а не в частной реализации.<br><br>Что же до скорости....<br>Самое быстрое решение (если объем файлов действительно велик) - будет загнать оба списка в базу данных а потом сконструировать примитивный select ... like in (select ...)<br><br>Если объем файлов слишком велик для этого метода- то использовать шардинг.<br><br>Если объем файлов реально велик - то вероятно надо использовать MapReduce.<br><br>Что же до перла - то загрузка в перл больших объемов данных приводит к существенному потреблению памяти. Это надо помнить.<br> https://www.opennet.ru/openforum/vsluhforumID9/10141.html#1 Sat, 14 Jan 2017 18:27:52 GMT Это в каком классе сейчас такие примитивные задачки сейчас задают?<br>