robots.txt 追加

今までやってなかったのかい!という突っ込みは置いておいて。あんまり酷いので、robots.txtの設置を。

User-agent: Slurp
Crawl-delay: 5

User-agent: msnbot
Crawl-delay: 300

User-agent: baiduspider
Crawl-delay: 300

User-Agent: Teoma
Crawl-delay: 300

User-Agent: Ask Jeeves
Crawl-delay: 300

User-agent: yetibot
Crawl-delay: 300

User-agent: MJ12bot
Crawl-delay: 300

User-agent:bingbot
Crawl-delay:30

上手く効いてくれると良いんだが。効くにしてもしばらく掛かるそうなので、ちょっと困るけど。

ブックマーク パーマリンク.

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です