検索サイトにインデックスを許可しない robots.txt

Tweet

Category 未分類 2019/04/09

問題

検索サイトにインデックスをさせたくない場合、robots.txt はどう書いたらよいですか。

答え

以下のように書く。

みんなダメ。全部許可しない。

User-agent: *
Allow: /

みんなダメ。全部許可しない。

User-agent: *
Allow: /

特定のディレクトリ以下だけ許可しない。

User-agent: *
Allow: /xxxx/yyyy/

Googleのクロールを許可しない。

User-agent: Googlebot
Disallow: /

Bingのクロールを許可しない。

User-agent: bingbot
Disallow: /

そこはだめだけど、ここはOK

User-agent: *
Disallow: /aaa/
Allow: /aaa/bbb/

メモ

サイトマップも指定できるので、あるなら書くとよい。

Sitemap: https://www.example.com/sitemap.xml

広告用のクローラーは明示的に指定しないと User-agent: * には該当しないらしい。

https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ja#create_rules

AdsBot-Google も含めて拒否する場合。

User-agent: *
User-agent: AdsBot-Google
Disallow: /