検索サイトにインデックスを許可しない robots.txt
問題
検索サイトにインデックスをさせたくない場合、robots.txt はどう書いたらよいですか。
答え
以下のように書く。
みんなダメ。全部許可しない。
User-agent: *
Allow: /
みんなダメ。全部許可しない。
User-agent: *
Allow: /
特定のディレクトリ以下だけ許可しない。
User-agent: * Allow: /xxxx/yyyy/
Googleのクロールを許可しない。
User-agent: Googlebot Disallow: /
Bingのクロールを許可しない。
User-agent: bingbot Disallow: /
そこはだめだけど、ここはOK
User-agent: * Disallow: /aaa/ Allow: /aaa/bbb/
メモ
サイトマップも指定できるので、あるなら書くとよい。
Sitemap: https://www.example.com/sitemap.xml
広告用のクローラーは明示的に指定しないと User-agent: * には該当しないらしい。
AdsBot-Google も含めて拒否する場合。
User-agent: * User-agent: AdsBot-Google Disallow: /
コメント