Ключевые слова:apache, mod_rewrite, search, web, ssi, (найти похожие документы)
Date: Mon, 13 May 2002 18:30:54 +0400 (MSD)
From: Igor Sysoev <is@rambler-co.ru>
Newsgroups: apache-talk (http://www.lexa.ru/apache-talk)
Subject: [Apache] Условная генерация robots.txt
> Проблема такая, что есть 2 домена второго уровня: первый - главный, второй -
> второстепенный. Так вот. Поисковик Яндекс "засосал" второй домен
> (второстепенный) и поэтому не хочет индексировать главный домен, потому что он
> понял, что эти домены - зеркала.
>
> Собственно на яндексе в таком случае советуют сделать так, чтобы при обращении
> к второстепенному домену выдавался robots.txt запрещающий индексацию всего
> сайта и тогда заявка на индексирование главного домена будет принята.
Учитывая средства, способов много. Я бы предпочёл mod_rewrite:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^some.domain.ru$
RewriteRule ^/robot.txt$ /robot.txt.disable [PT,L]
Можно, наверное так:
<Location /robot.txt>
Action text/plain some_perl_script
</Location>
some_perl_script анализирует host и выдаёт нужный robot.txt
Можно в robot.txt добавить SSI с анализом HTTP_HOST.
Можно написать на PHP.
From: Igor Sysoev <is@rambler-co.ru>
> Подскажите плз как на SSI сделать! Был бы очень признателен.
Прежде всего должно быть
AddHandler server-parsed .txt
robots.txt примерно такой:
<!--#if expr="\"$HTTP_HOST\" = \"some.domain\"" -->
User-agent: *
Disallow: /
<!--#else -->
Содержимое обычного robots.txt
<!--#endif -->
Обычный robots.txt можно инклудить.
