ブログアフィリエイトの夏2009

アクセスを許可する必要性については、正直、グーグルボットのみで他は全部拒否してしまっていいのではないかと僕は思っております。

bingなんかもけっこう微妙なところではありますが、グーグルはアクセスを運んできてくれるメリットがあるものの、その他のボットたちにアクセスを許可しても、特にメリットがあるようには思えません。

メリットがないだけならまだいいのですが、自動収集でコンテンツを拾われたり、あるいは被リンク調査業者に利用されたりとかしているのはむしろデメリットといえます。

例えば、自サイトのコンテンツが収集ロボットで丸ごと自動生成され、それが元で重複ページとかになって、あれこれ問題が発生することもあったりするわけです。以前まででしたら、そのあたりは特に気にする必要はなかったわけですが、最近はそのようなのもペナルティー発動の要因になるケースも多いものです。

サーバーの負荷については特にどうでもいいのですが、思わぬ落とし穴があったりするわけですので、できるだけ、ロボットのアクセスを拒否することをおすすめします。

この拒否方法につきまして、.htaccessまでは使う必要あるまいと思ってたのですが、最近はそちらの方も設置するように心がけております。

だって、守らないんですもん、robots.txt。

robots.txtに書いてあることちゃんと守れよなといいたくなってしまいますが、生ログなどで確認してみて、適宜、htaccessもご使用されることをおすすめします。