Robots メタタグ(noindex・nofollow・noarchive)とX-Robots-Tag

2018年9月1日

特定のページに対してメタタグでnoindex、nofollow、noarchiveの記述を加えることで検索エンジンのクローラに対して、ページの処理を指示する事ができます。
一般的には検索結果に出す必要の無い、または出したくないページがある場合にnoindexタグを記述しますが、もし検索結果に自分のページを表示させたいにも関わらず、noindexやnofollowが記述されている場合は修正したほうが良いでしょう。
※nofollowはそのページ上のリンクをクローラーに辿って欲しくない場合や、ページランクの評価をリンク先に渡したく無い場合に記述する。


当ブログでも活用しているSE Rankingの「サイトSEO検査」機能なら、ウェブサイトの内のページを巡回して、noindexやrobots.txt設定のミスを検知します。
それ以外にもキーワード調査や順位調査、被リンク分析、競合調査などSEOに役立つ強力な機能や、SNS管理、ユーザー管理、マーケティングプラン機能など豊富な機能とプランの費用を柔軟に選択できるといった特長を持ちます。


サイトSEO検査機能

2週間の無料トライアルが利用できますので、興味をお持ちなら是非試してみてください。




クローラーを制御する記述(メタ)とは

headタグ内のメタタグに、ロボットに関する制御を記述する際に、noindex、noarchive noneなどがあり、これらの指示をディレクティブと呼びます。具体的には下記の通りです。


クローラーを制御する記述の具体例

noindexインデックスの拒否を指示します。

<meta name=”robots” content=”noindex”>

noarchiveは、検索エンジンデータベースへの保存の拒否を指示します

<meta name=”robots” content=”noarchive”>

検索エンジンデータベースへの保存の拒否は、簡単に言えば検索結果のキャッシュに表示させないという意味になります。
用途としては、比較サイトやECサイトなど頻繁に情報が変更されるページにnoarchiveを記述することはあり得ます。何らかの拍子でキャッシュを閲覧し、古い価格情報に惑わされるユーザーもいるかもしれないからです。


ちなみにnoarchiveを記述する事で順位に何らかの影響がでる可能性を心配されるかたもいるでしょう。
この点についてはGoogleのJohn Mueller氏がきっぱりと否定しています。



noneは、インデックスとリンク先へのクロールの両方を拒否を指示します

<meta name=”robots” content=”none”>

nofollowは、ページ上の配置されているリンクを辿らないようにクローラーへ指示します

<meta name=”robots” content=”nofollow”>

この他、検索結果にスニペットを表示させないnosnippetや、
そのページの画像をインデックスさせないnoimageindex
指定した日以降に検索結果に表示されなくなるunavailable_after: [RFC-850 date/time]などのディレクティブがあります。

※「Robots メタタグと X-Robots-Tag HTTP ヘッダーの仕様」参照




X-Robots-Tag HTTP ヘッダー

robotsメタタグを使用しない場合の選択肢として、特定のURLのHTTPレスポンスヘッダーの要素として、X-Robots-Tagが使用できます。


X-Robots-Tag: noindexインデックスの拒否を指示します。

X-Robots-Tag: noindex

実際に設定する場合には、「.htaccess」か「httpd.conf」というファイルを直接編集するケースが多いかもしれません。
※ご利用のサーバーによって異なります。
Googleの解説はファイル単位での設定例が記載されていました。

<Files ~ “\.pdf$”>
Header set X-Robots-Tag “noindex, nofollow”
</Files>

URL単位で指定する場合には、httpd.confで別の方法で設定しなければならないようです。




誤って記述してしまうと?

当然ですが、表示させたいページまで検索結果から除外されてしまいます。
多いケースとしては、WordPressなどのCMSを使ってウェブサイトを構築し、公開前に設定していたnoindexのまま、設定をそのままにしてしまっているウェブサイトを見かけます。
これでは折角公開しても検索結果に表示されません。


noindexとrobots.txtでよくある誤った設定

既存のインデックスされているページを検索エンジンに表示させないようにメタでnoindexを設定し、robots.txtでそのページへのクロールもブロックしてしまうと、いつまでたっても検索結果に表示されたままになってしまうようです。



robots.txtの設定とnoindexの設定はクローラーを制御するという意味では似たような部分がありますが、正しく理解した上で使用しなければなりません。
robots.txtについては、「robots.txtの作成と記述方法 XMLサイトマップ指定など使い方と注意点(Google)」でまとめています。


robots.txt同様に、canonical指定先のページがnoindexになっている状況などもGoogleが混乱する可能性がある為避けた方が良いでしょう。




noindex,followは一定期間経過すると・・

noindex,followの記述は、一定期間経過するとnoindex,nofollowとみなされるようです。
noindexを一定期間Googleが見続けることで、当然Googleのインデックスからそのページはされます。
ページを辿らなくなれば、リンクも辿りませんのでnofollowと同じ結果となってしまいます。

Google: Long Term Noindex Will Lead To Nofollow On Links – Search Engine Roundtable




オプトアウトツールでGoogle検索結果からウェブサイト全ページを表示させない方法

ここでご紹介する方法は、全てのページをGoogle検索結果に表示させない方法です。
使用する場合は、よく理解した上で活用しましょう。
Official Google Webmaster Central Blogで、Googleは検索結果から管理するサイトを表示させないように設定する事ができる、オプトアウトツールを提供しています。



オプトアウトツール

オプトアウトツールとは?

Googleの検索結果から、サイトのコンテンツを非表示にする方法は複数ありますが、今回のオプトアウトツールは、Googleがクロールし、Google ShoppingやAdvisor、Flights、Hotels、Google+ローカルサーチに表示されるコンテンツを非表示するものです。


Search Console(旧ウェブマスターツール)で、お持ちのサイトをこれらのGoogle関連の検索結果から30日以内に取り除く事ができるようです。


設定はドメインレベルで設定可能で、トップドメインのみでサブドメインでは設定できないようです。また、一度オプトアウトすると、再度検索結果にオプトインさせる為に最長3ヶ月程度かかる場合もあるようです。



このエントリーをはてなブックマークに追加


野澤洋介

この記事を書いた人

アレグロマーケティング代表取締役 野澤洋介

SEOは考え方はシンプルですが、いざ実践するとなかなか思うようにいきません。
当ブログでは、読者の方に成功も失敗も合わせて情報を共有し、同じような悩みを解決できればという思いで運営しています。


著書:「最強の効果を生みだす 新しいSEOの教科書」(技術評論社)



関連記事




ページ上部