携帯用URLとPC用URLを分けている場合のrobots.txtの書き方
とりあえず、携帯用のディレクトリは以下をすべてのクローラからのアクセスを拒否し、携帯用クローラについて適宜許可を出していく方向性
|
User-agent: *
Disallow: /mobile
User-Agent: Googlebot-Mobile
Disallow: /
Allow: /mobile
User-agent: Y!J-MBS
Disallow: /
Allow: /mobile
User-agent: Y!J-SRD
Disallow: /
Allow: /mobile
User-agent: LD_mobile_bot
Disallow: /
Allow: /mobile
User-agent: ichiro/mobile
Disallow: /
Allow: /mobile
|<
