Robots メタタグ(noindex・nofollow・noarchive)とX-Robots-Tag

robots-text

特定のページに対してメタタグでnoindex、nofollow、noarchiveの記述を加えることで検索エンジンのクローラに対して、ページの処理を指示する事ができます。

一般的には検索結果に出す必要の無い、または出したくないページがある場合にnoindexタグを記述しますが、もし検索結果に自分のページを表示させたいにも関わらず、noindexやnofollowが記述されている場合は修正したほうが良いでしょう。
各タグの効果について説明します。

サイトSEO検査

当ブログでも活用しているSE Rankingの「サイトSEO検査」機能なら、ウェブサイトの内のページを巡回して、noindexやrobots.txt設定のミスを検知します。
それ以外にもキーワード調査や順位調査、被リンク分析、競合調査などSEOに役立つ強力な機能や、SNS管理、ユーザー管理、マーケティングプラン機能など豊富な機能とプランの費用を柔軟に選択できるといった特長を持ちます。

2週間の無料トライアルが利用できますので、興味をお持ちなら是非試してみてください。

サイトSEO検査

アレブログ(アレグロのブログ)

クローラーを制御する記述(メタ)とは

headタグ内のメタタグに、ロボットに関する制御を記述する際に、noindex、noarchive noneなどがあり、これらの指示をディレクティブと呼びます。具体的には下記の通りです。

クローラーを制御する記述の具体例

noindex

noindexインデックスの拒否を指示します。

<meta name=”robots” content=”noindex”>

noarchive

noarchiveは、検索エンジンデータベースへの保存の拒否を指示します。

<meta name=”robots” content=”noarchive”>

検索エンジンデータベースへの保存の拒否は、簡単に言えば検索結果のキャッシュに表示させないという意味になります。
用途としては、比較サイトやECサイトなど頻繁に情報が変更されるページにnoarchiveを記述することはあり得ます。何らかの拍子でキャッシュを閲覧し、古い価格情報に惑わされるユーザーもいるかもしれないからです。

ちなみにnoarchiveを記述する事で順位に何らかの影響がでる可能性を心配されるかたもいるでしょう。
この点についてはGoogleのJohn Mueller氏がきっぱりと否定しています。

none

noneは、インデックスとリンク先へのクロールの両方を拒否を指示します。

<meta name=”robots” content=”none”>

nofollow

nofollowは、ページ上の配置されているリンクを辿らないようにクローラーへヒントを伝えます。
※2019年9月から強制力のあるディレクティブから弱い意味のヒントへとルールが変更となっています。

<meta name=”robots” content=”nofollow”>

この他、検索結果にスニペットを表示させないnosnippetや、
そのページの画像をインデックスさせないnoimageindex
指定した日以降に検索結果に表示されなくなるunavailable_after: [RFC-850 date/time]などのディレクティブがあります。

robots メタタグ、data-nosnippet、X-Robots-Tag の仕様

X-Robots-Tag HTTP ヘッダー

robotsメタタグを使用しない場合の選択肢として、特定のURLのHTTPレスポンスヘッダーの要素として、X-Robots-Tagが使用できます。

X-Robots-Tag: noindexインデックスの拒否を指示します。

X-Robots-Tag: noindex

実際に設定する場合には、「.htaccess」か「httpd.conf」というファイルを直接編集するケースが多いかもしれません。
※ご利用のサーバーによって異なります。
Googleの解説はファイル単位での設定例が記載されていました。

<Files ~ “\.pdf$”>
Header set X-Robots-Tag “noindex, nofollow”
</Files>

URL単位で指定する場合には、httpd.confで別の方法で設定しなければならないようです。


誤って記述してしまうと?

当然ですが、表示させたいページまで検索結果から除外されてしまいます。

WordPressで新規サイト制作時に、検索エンジンから制作途中のページがインデックスされてしまう事を防ぐ為、noindexを指定する事があります。そしてnoindexの設定のまま、設定を切り替える事を忘れて公開してしまう場合があります。

これでは折角ウェブサイトを公開しても検索結果に表示されません。

noindexとrobots.txtでよくある誤った設定

既存のインデックスされているページを検索エンジンに表示させないようにメタでnoindexを設定し、robots.txtでそのページへのクロールもブロックしてしまうと、いつまでたっても検索結果に表示されたままになってしまうようです。

robots.txtの設定とnoindexの設定はクローラーを制御するという意味では似たような部分がありますが、正しく理解した上で使用しなければなりません。

robots.txtについては、「robots.txtの作成と記述方法 XMLサイトマップ指定など使い方と注意点(Google)」でまとめています。

robots.txt同様に、canonical指定先のページがnoindexになっている状況などもGoogleが混乱する可能性がある為避けた方が良いでしょう。

Googleは制限が強い方のクロールコマンドを使用する

Googleのボットは、クロールコマンドの記述に関し矛盾する状況に直面した場合には、より制限の強い方のコマンドを使用するようです。
例えば次のような具体例が示されています。

Question on JS manipulation of Nofollow code

noindexとindexの両方を同じページに記述した場合はどのように処理される?

Googleはnoindexとして処理します。

オリジナルのHTML上でnofollowを記述、JavaScriptでその記述を削除している場合はどのように処理される?

Googleはnofollowとして処理します。

ロボットメタタグは記述無し、JavaScriptでnoindexの記述を追加している場合はどう処理される?

Googleはnoindexとして処理する

noindex,followを記述している場合はどのように処理される?

noindex,followの記述は、最初はnoindexとして処理されますが、一定期間経過するとnoindex,nofollowとみなされるようです。
noindexを一定期間Googleが見続けることで、当然Googleのインデックスからそのページは除外されます。
ページを辿らなくなれば、リンクも辿りませんのでnofollowと同じ結果となってしまいます。

Google: Long Term Noindex Will Lead To Nofollow On Links

ツールで noindex / nofollow が記述の有無をチェック

SEO管理プラットフォームのSE Rankingでは、ウェブサイト内の全てのページを巡回して、noindeやnofollowが指定されているページを一括で抽出してくれます。noindexやnofollowを誤って指定しまうと、検索集客に悪影響を及ぼす事もある為、必ずチェックするようにしましょう。

サイトSEO検査 クロールセクション
サイトSEO検査でnoinde / nofollow をチェック

チェック手順

STEP
SE Rankingの無料アカウントを作成

SE Rankingの無料トライアルアカウント作成ページで自身のアカウントを作成しましょう。クレジットカード登録不要で2週間無料で利用できます。

STEP
プロジェクトを作成する

以下の手順に沿って、チェック対象のウェブサイトに関するプロジェクトを作成しましょう。プロジェクトを作成してしばらくすると、サイトSEO検査が完了します。

導入手順

STEP
サイトSEO検査機能へアクセス

左側メニューの「サイトSEO検査」のサブセクションの「問題点レポート」クリックして確認しましょう。

問題点レポート
問題点レポート
STEP
「クロール」セクションをチェック

「クロール」セクションをクリックし、セクション内に問題点が無いか確認しましょう。問題点の項目をクリックすると改善方法のガイドが表示され、ページ列の数値をクリックすると問題が発生しているページも確認する事ができます。

クロールの問題点リスト
クロールの問題点リストを確認しましょう

Robots メタタグとX-Robots-Tagに関するチェック内容

HTMLとHTTPヘッダーにnoindexを含む

検索エンジンに検索結果ページへ表示させない事を指示するディレクティブが同時に メタタグとX-Robots-Tag HTTP ヘッダーの二種類の方法で追加されている状態です。

HTMLとHTTPヘッダーにnofollowを含む

検索エンジンにウェブページ上のリンクを辿らないように指示するディレクティブが同時に メタタグとX-Robots-Tag HTTP ヘッダーの二種類の方法で追加されている状態です

noindexでブロックされています

ページのHTMLコードの セクションにあるnoindexディレクティブは、検索エンジンにそのページを検索結果に表示しないように指示する記述です。ページでnoindexディレクティブを使用すると、他のウェブサイトからのリンクがそのページにあった場合でも、検索エンジンはそのページの順位付けを行いません。

nofollowによるブロック

ページのHTMLコードの <head> セクションにある nofollow 属性は、検索エンジンに対してそのページの全てのリンクを辿らないように指示します。

X-Robots-Tagでブロックされています

X-Robots-Tag ヘッダーによるサーバーサイドレスポンスが使用されています。X-Robots-Tag ヘッダーレスポンスにnoindex/nofollow/none ディレクティブが含まれているかもしれません。noindex ディレクティブはページのインデックスを拒否し、nofollowはそのページのリンクを検索エンジンが辿る事を拒否し、noneは両方を含む指示を含みます。


サイトSEO検査
サイトSEO検査

SE Rankingの「サイトSEO検査」はウェブサイト内の全てのページを巡回し、noindexやnofollow以外にも、SEOに大きな影響を与える要素を一括でチェックしてアドバイスを表示します。
無料で2週間利用できるトライアル版が利用できるので、一度ウェブサイトに大きな問題点が無いかチェックしてみてはいかがでしょうか。

オプトアウトツールでGoogle検索結果からウェブサイト全ページを表示させない方法

ここでご紹介する方法は、全てのページをGoogle検索結果に表示させない方法です。
使用する場合は、よく理解した上で活用しましょう。

Googleは検索結果から管理するサイトを表示させないように設定する事ができる、オプトアウトツールを提供しています。

オプトアウトツールとは?

Googleの検索結果から、サイトのコンテンツを非表示にする方法は複数ありますが、今回のオプトアウトツールは、Googleがクロールし、Google ShoppingやAdvisor、Flights、Hotels、Google+ローカルサーチに表示されるコンテンツを非表示するものです。

Search Consoleで、お持ちのサイトをこれらのGoogle関連の検索結果から30日以内に取り除く事ができるようです。

設定はドメインレベルで設定可能で、トップドメインのみでサブドメインでは設定できないようです。また、一度オプトアウトすると、再度検索結果にオプトインさせる為に最長3ヶ月程度かかる場合もあるようです。

お役に立ちましたか?シェアして頂けると嬉しいです!
アレブログ(アレグロのブログ)
閉じる