https://www.opennet.ru/openforum/vsluhforumID3/117784.html Компания Google опубликовала (https://opensource.googleblog.com/2019/07/googles-robotstxt-parser-is-now-open.html) под лицензией Apache 2.0 код С++ библиотеки (https://github.com/google/robotstxt) для разбора файлов robots.txt, содержащих правила (https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B0%D0%BD%D0%B4%D0%B0%D1%80%D1%82_%D0%B8%D1%81%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B4%D0%BB%D1%8F_%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D0%BE%D0%B2) (REP (https://www.robotstxt.org/norobots-rfc.txt), Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем. Одновременно компания Google выступила с инициативой продвижения протокола REP в качестве интернет-стандарта после 25 лет существования в роли стандарта де-факто.<br><br><br>Библиотека развивается уже около 20 лет, соответствует стандарту C++11 и учитывает различные нюансы оформления, встречающиеся в обиходе. Вместе с библиотекой также предложен код утилиты для проверки правильности определения правил в robots.txt. Представле https://www.opennet.ru/openforum/vsluhforumID3/117784.html#20 Thu, 11 Jul 2019 16:50:45 GMT &#65279;PVS-Studio хотел, но не смог найти баги в robots.txt - https://www.viva64.com/ru/b/0638/<br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#19 Tue, 02 Jul 2019 18:45:26 GMT &gt; поди с нуля переписывали 80 раз (по 4 раза в год)<br><br>конечно - ты ради кода в 1,5k строк (работающего банально - со строками) будешь изучать что это за нёх?<br>absl::StartsWithIgnoreCase() - и т д? <br><br>Полагаю, ты просто перепишешь большую часть на чем-то что либо нужно в другой работе, либо просто уже знаешь.<br><br>Вот и следующий копчоный то же самое сделает.<br><br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#18 Tue, 02 Jul 2019 14:37:43 GMT О, эксперты-любители автокрапа подъехали? Его то уж точно не пара терабайт, да?<br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#17 Tue, 02 Jul 2019 12:25:26 GMT за 20 лет, карл! ты погляди чего наваляли! поди с нуля переписывали 80 раз (по 4 раза в год)<br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#16 Tue, 02 Jul 2019 10:29:02 GMT ты просто еще зависимости не скачал - там не "целый индус", там вся его бангалорская родня в количестве 3000000 обезьян трудилась.<br>И еще пяток миллионов китайцев припахала за ними горшки выносить.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#15 Tue, 02 Jul 2019 10:27:04 GMT ты хочешь сказать, что моя строчка с dissalow: / все же не будет им обрабатываться "правильно"?<br><br>да ну, не может быть!<br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#14 Tue, 02 Jul 2019 10:25:55 GMT о, хренассе, это вот прямо в основном коде. <br><br>впрочем, пользы от поделки все равно никакой - https://www.opennet.ru/openforum/vsluhforumID3/117784.html#11<br><br>(ведь сиплюсплюсики такой низкоуровневый язычок, что для банальной задачи обработки текстового файла из десятка предопределенных строк надо притащить за собой мильен каких-то мусорных гуглоисходников и собирать это все нескучной сборочной системочкой)<br><br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#13 Tue, 02 Jul 2019 08:45:31 GMT Осталась мелочь - догадаться, что сам Гугл вовсе не обязательно использует этот парсер в том виде, в каком он опубликован, но уж всяко хочет, чтобы мы верили, что используемый им парсер именно такой.<br> https://www.opennet.ru/openforum/vsluhforumID3/117784.html#12 Tue, 02 Jul 2019 08:38:04 GMT &gt;&gt; Опечатки, например, diasllow<br>&gt; эксперты опеннета, как всегда. Нет, думать за вас и исправлять ваши опечатки <br>&gt; этот парсер не обучен.<br><br>Эк вы &#8230; самокритичны (впрочем, как обычно):<br>https://github.com/google/robotstxt/blob/master/robots.cc#L696<br>[code]<br>bool ParsedRobotsKey::KeyIsDisallow(absl::string_view key) {<br> return (<br> absl::StartsWithIgnoreCase(key, "disallow") &#124;&#124;<br> (kAllowFrequentTypos && ((absl::StartsWithIgnoreCase(key, "dissallow")) &#124;&#124;<br> (absl::StartsWithIgnoreCase(key, "dissalow")) &#124;&#124;<br> (absl::StartsWithIgnoreCase(key, "disalow")) &#124;&#124;<br> [b](absl::StartsWithIgnoreCase(key, "diasllow"))[/b] &#124;&#124;<br> (absl::StartsWithIgnoreCase(key, "disallaw")))));<br>[/code]<br>