たまにすごい勢いでやって来る百度のクローラのアクセスを制限する
robots.txtに以下を追加する
# 例6.特定の検索エンジンのアクセス頻度を制限(120秒間隔)
user-agent: Baiduspider
crawl-delay:120
http://www.baidu.jp/info/help/webmaster/control/04.html
たまにすごい勢いでやって来る百度のクローラのアクセスを制限する
robots.txtに以下を追加する
# 例6.特定の検索エンジンのアクセス頻度を制限(120秒間隔)
user-agent: Baiduspider
crawl-delay:120
http://www.baidu.jp/info/help/webmaster/control/04.html