https://mobile.opennet.me/openforum/vsluhforumID8/8034.html Добрый день, коллеги!<br>Перешел на новый проект и появилась новая для меня задача.<br><br>Дано: VDS с Centos 6 на борту.<br>Развёрнут сайт на очень сильно перепиленном bitrix.<br>Нужно защитить контент (Которого много и он уникальный) от парсинга/краулинга/скреппинга (Называйте как хотите).<br><br>1) Можно ли натравить на отслеживание парсинга fail2ban? Может есть готовый мануал? Сейчас он отслеживает только попытки брутфорса ssh.<br><br>2) Есть ли какие-то специализированные решения для bitrix? <br><br>3) Как вообще можно отследить парсинг? При условии, что парсер использует, скажем 10/100/1000 геораспределенных прокси?<br><br>ПыСы: Чувствую, что решение будет в чём-то схоже с защитой от DDoS, но обосновать не могу.<br> https://mobile.opennet.me/openforum/vsluhforumID8/8034.html#5 Fri, 08 Jul 2016 11:57:12 GMT &gt; Пароль - не вариант, это каталог. Вопрос именно в том, как защитить <br>&gt; работу фотографа/дизайнера/копирайтера и прочих. Само собой, стопроцентной защиты не <br>&gt; будет никогда, но нужно осложнить парсинг ровно настолько, чтобы он стал <br>&gt; просто нецелесообразным <br><br> - js, с сеансовыми токенами(и подобное)<br> - на графику можно прикрутить "водяные знаки"<br> https://mobile.opennet.me/openforum/vsluhforumID8/8034.html#4 Fri, 08 Jul 2016 11:32:53 GMT 1. То, что попало в интернет - навсегда останется в интернете.<br>2. Защитить сайт от парсинга - невозможно. Любой сайт для парсера - html код, а он очень хорошо структурирован и парсить его нет проблем. Можно придумать разные извращения, но их изобретательство встанет вам в разы дороже чем возможные потенциальные убытки.<br>3. Раз у вас каталог с графическим материалом, его можно защищать водяными знаками или не выкладывать полные оригиналы (Делать обрезку обрамления и хранить оригинал в недоступном никому месте. В дальнейшем это даст выиграть в суде борьбу за авторство).<br>4. см. пункт 1.<br> https://mobile.opennet.me/openforum/vsluhforumID8/8034.html#3 Fri, 08 Jul 2016 09:31:31 GMT Пароль - не вариант, это каталог. Вопрос именно в том, как защитить работу фотографа/дизайнера/копирайтера и прочих. Само собой, стопроцентной защиты не будет никогда, но нужно осложнить парсинг ровно настолько, чтобы он стал просто нецелесообразным<br><br> https://mobile.opennet.me/openforum/vsluhforumID8/8034.html#2 Fri, 08 Jul 2016 08:55:21 GMT &gt;[оверквотинг удален]<br>&gt; Развёрнут сайт на очень сильно перепиленном bitrix.<br>&gt; Нужно защитить контент (Которого много и он уникальный) от парсинга/краулинга/скреппинга <br>&gt; (Называйте как хотите).<br>&gt; 1) Можно ли натравить на отслеживание парсинга fail2ban? Может есть готовый мануал? <br>&gt; Сейчас он отслеживает только попытки брутфорса ssh.<br>&gt; 2) Есть ли какие-то специализированные решения для bitrix?<br>&gt; 3) Как вообще можно отследить парсинг? При условии, что парсер использует, скажем <br>&gt; 10/100/1000 геораспределенных прокси?<br>&gt; ПыСы: Чувствую, что решение будет в чём-то схоже с защитой от DDoS, <br>&gt; но обосновать не могу.<br><br>Контент защищается паролем. Рассмотри возможность авторизации на сайте.<br><br> https://mobile.opennet.me/openforum/vsluhforumID8/8034.html#1 Thu, 07 Jul 2016 15:10:41 GMT &gt; Нужно защитить контент (Которого много и он уникальный) от парсинга/краулинга/скреппинга <br>&gt; (Называйте как хотите).<br><br>Назовём это тупостью и жадностью. Ибо это оно и есть. <br>Расскжи начальству что есть много компаний которые ежемесячно платят CDN-ам за доставку "контента (Которого много и он уникальный)" суммы в миллион раз превышающие стоимость вашей лавки :)<br><br>&gt; ПыСы: Чувствую, что решение будет в чём-то схоже с защитой от DDoS, но обосновать не могу.<br><br>Прикрутите рэйт-лимиты, но оно тоже не сильно поможет, а клиенты будут недовольны.<br>