百度のクローラのアクセスを制限する

技術関係

たまにすごい勢いでやって来る百度のクローラのアクセスを制限する

robots.txtに以下を追加する
# 例6.特定の検索エンジンのアクセス頻度を制限(120秒間隔)
user-agent: Baiduspider
crawl-delay:120
http://www.baidu.jp/info/help/webmaster/control/04.html

タイトルとURLをコピーしました