Robots メタタグ(noindex・nofollow・noarchive)とX-Robots-Tag

特定のページに対してメタタグでnoindex、nofollow、noarchiveの記述を加えることで検索エンジンのクローラに対して、ページの処理を指示する事ができます。

一般的には検索結果に出す必要の無い、または出したくないページがある場合にnoindexタグを記述しますが、もし検索結果に自分のページを表示させたいにも関わらず、noindexやnofollowが記述されている場合は修正したほうが良いでしょう。
各タグの効果について説明します。

サイトSEO検査

当ブログでも活用しているSE Rankingの「サイトSEO検査」機能なら、ウェブサイトの内のページを巡回して、noindexやrobots.txt設定のミスを検知します。
それ以外にもキーワード調査や順位調査、被リンク分析、競合調査などSEOに役立つ強力な機能や、SNS管理、ユーザー管理、マーケティングプラン機能など豊富な機能とプランの費用を柔軟に選択できるといった特長を持ちます。

2週間の無料トライアルが利用できますので、興味をお持ちなら是非試してみてください。

サイトSEO検査

目次

クローラーを制御する記述(メタ)とは

headタグ内のメタタグに、ロボットに関する制御を記述する際に、noindex、noarchive noneなどがあり、これらの指示をディレクティブと呼びます。具体的には下記の通りです。

クローラーを制御する記述の具体例

noindex

noindexインデックスの拒否を指示します。

<meta name=”robots” content=”noindex”>

noarchive

noarchiveは、検索エンジンデータベースへの保存の拒否を指示します。

<meta name=”robots” content=”noarchive”>

検索エンジンデータベースへの保存の拒否は、簡単に言えば検索結果のキャッシュに表示させないという意味になります。
用途としては、比較サイトやECサイトなど頻繁に情報が変更されるページにnoarchiveを記述することはあり得ます。何らかの拍子でキャッシュを閲覧し、古い価格情報に惑わされるユーザーもいるかもしれないからです。

ちなみにnoarchiveを記述する事で順位に何らかの影響がでる可能性を心配されるかたもいるでしょう。
この点についてはGoogleのJohn Mueller氏がきっぱりと否定しています。

none

noneは、インデックスとリンク先へのクロールの両方を拒否を指示します。

<meta name=”robots” content=”none”>

nofollow

nofollowは、ページ上の配置されているリンクを辿らないようにクローラーへヒントを伝えます。
※2019年9月から強制力のあるディレクティブから弱い意味のヒントへとルールが変更となっています。

<meta name=”robots” content=”nofollow”>

この他、検索結果にスニペットを表示させないnosnippetや、
そのページの画像をインデックスさせないnoimageindex
指定した日以降に検索結果に表示されなくなるunavailable_after: [RFC-850 date/time]などのディレクティブがあります。

robots メタタグ、data-nosnippet、X-Robots-Tag の仕様

X-Robots-Tag HTTP ヘッダー

robotsメタタグを使用しない場合の選択肢として、特定のURLのHTTPレスポンスヘッダーの要素として、X-Robots-Tagが使用できます。

X-Robots-Tag: noindexインデックスの拒否を指示します。

X-Robots-Tag: noindex

実際に設定する場合には、「.htaccess」か「httpd.conf」というファイルを直接編集するケースが多いかもしれません。
※ご利用のサーバーによって異なります。
Googleの解説はファイル単位での設定例が記載されていました。

<Files ~ “\.pdf$”>
Header set X-Robots-Tag “noindex, nofollow”
</Files>

URL単位で指定する場合には、httpd.confで別の方法で設定しなければならないようです。


誤って記述してしまうと?

当然ですが、表示させたいページまで検索結果から除外されてしまいます。

WordPressで新規サイト制作時に、検索エンジンから制作途中のページがインデックスされてしまう事を防ぐ為、noindexを指定する事があります。そしてnoindexの設定のまま、設定を切り替える事を忘れて公開してしまう場合があります。

これでは折角ウェブサイトを公開しても検索結果に表示されません。

noindexとrobots.txtでよくある誤った設定

既存のインデックスされているページを検索エンジンに表示させないようにメタでnoindexを設定し、robots.txtでそのページへのクロールもブロックしてしまうと、いつまでたっても検索結果に表示されたままになってしまうようです。

robots.txtの設定とnoindexの設定はクローラーを制御するという意味では似たような部分がありますが、正しく理解した上で使用しなければなりません。

robots.txtについては、「robots.txtの作成と記述方法 XMLサイトマップ指定など使い方と注意点(Google)」でまとめています。

robots.txt同様に、canonical指定先のページがnoindexになっている状況などもGoogleが混乱する可能性がある為避けた方が良いでしょう。

Googleは制限が強い方のクロールコマンドを使用する

Googleのボットは、クロールコマンドの記述に関し矛盾する状況に直面した場合には、より制限の強い方のコマンドを使用するようです。
例えば次のような具体例が示されています。

Question on JS manipulation of Nofollow code

noindexとindexの両方を同じページに記述した場合はどのように処理される?

Googleはnoindexとして処理します。

オリジナルのHTML上でnofollowを記述、JavaScriptでその記述を削除している場合はどのように処理される?

Googleはnofollowとして処理します。

ロボットメタタグは記述無し、JavaScriptでnoindexの記述を追加している場合はどう処理される?

Googleはnoindexとして処理する

noindex,followを記述している場合はどのように処理される?

noindex,followの記述は、最初はnoindexとして処理されますが、一定期間経過するとnoindex,nofollowとみなされるようです。
noindexを一定期間Googleが見続けることで、当然Googleのインデックスからそのページは除外されます。
ページを辿らなくなれば、リンクも辿りませんのでnofollowと同じ結果となってしまいます。

Google: Long Term Noindex Will Lead To Nofollow On Links

オプトアウトツールでGoogle検索結果からウェブサイト全ページを表示させない方法

ここでご紹介する方法は、全てのページをGoogle検索結果に表示させない方法です。
使用する場合は、よく理解した上で活用しましょう。

Googleは検索結果から管理するサイトを表示させないように設定する事ができる、オプトアウトツールを提供しています。

オプトアウトツールとは?

Googleの検索結果から、サイトのコンテンツを非表示にする方法は複数ありますが、今回のオプトアウトツールは、Googleがクロールし、Google ShoppingやAdvisor、Flights、Hotels、Google+ローカルサーチに表示されるコンテンツを非表示するものです。

Search Consoleで、お持ちのサイトをこれらのGoogle関連の検索結果から30日以内に取り除く事ができるようです。

設定はドメインレベルで設定可能で、トップドメインのみでサブドメインでは設定できないようです。また、一度オプトアウトすると、再度検索結果にオプトインさせる為に最長3ヶ月程度かかる場合もあるようです。

お役に立ちましたか?シェアして頂けると嬉しいです!

機能豊富なSEO管理ツール

企業のウェブ担当者・コンサルタントに最適
貴社の予算に合わせた柔軟な料金体系
サブアカウントを作成して情報共有の効率化

この記事を書いた人

SEOは考え方はシンプルですが、いざ実践するとなかなか思うようにいきません。
当ブログでは、読者の方に成功も失敗も合わせて情報を共有し、同じような悩みを解決できればという思いで運営しています。
著書:「最強の効果を生みだす 新しいSEOの教科書」(技術評論社)

コメント

コメントする

目次
閉じる