お行儀の悪いクローラをKICKしとく呪文 ( htaccess )

.htaccess に貼り付ける

SetEnvIf User-Agent "DotBot" kick
SetEnvIf User-Agent "Baiduspider" kick
SetEnvIf User-Agent "Yeti" kick

order Allow,Deny
Allow from all
Deny from env=kick

メモエントリー。難しいことを考えずに、行儀の悪いBOTを蹴り飛ばすためのスペル。htaccessに書きます。

a-blog cmsみたいに、新しいURLに対して律儀に、ページ生成とキャッシュ処理まで繰り返すタイプは、クローラが縦横無尽にサイト内を駆け回られた時につらいものが...。