404やリンク切れ、クロールエラーをツールでチェックして修正する

2017年9月23日

クロールエラーとは、Googleのクローラーがお持ちのサイトに来る際に、404などのエラーによりクロールできなかった際のエラーです。重要なページにおける404エラーや、リンクの設置ミスによるリンク切れのエラーは適切に修正する事で訪問者にとってもGoogleにとっても親切な設計になります。
但し404エラー自体が悪いという事ではありません。
404エラーはどのウェブサイトでも発生し得る現象ですので、全て無くすという必要は全くありません。


クロールエラー

Search Consoleにログインし、「左メニュー」の「クロール」内の「クロールエラー」をクリックします。大きくわけて、「サーバーエラー」、「ソフト404」、「見つかりませんでした」の3つを確認します。
クロールエラーの項目で何も問題がなければ、「データがありません」と表示されます。


データがありません

アクセスが拒否されました

サーバーエラーはタイムアウトや、なんらかの設定でGoogle botをブロックしている際に検出されます。


ソフト404とは?

ソフト404は、通常の404とは異なります。ページ上では「ページが見つかりません」と404エラーのように表示されているにも関わらずサーバーから404が返されていない場合に検出されます。


見つかりませんでした

このエラーは404エラーです。リンク切れの他に、外部からの誤ったリンクなどが考えられます。外部リンクはコントロールできませんが、内部のリンクにスペルミスがある場合は修正しておきましょう。


エラーの一覧のURLを一つクリックしてみましょう。下記のようにエラーページへのリンク元をチェックする事ができます。


リンク切れ修正


Googleはユーザーの利便性向上の為、様々な改良を行っています。
リンク切れがあった場合、検索エンジンのクローラーも本来のページへ巡回できず、もちろん訪問者もリンク先のページへたどり着く事ができません。




410と404のGoogleの処理は若干異なる

Googleのクローラーはhttpステータスコードに応じて処理が異なります。
例えば301であれば、ページが移転したことを意味するので、過去の評価(全てではありませんが)を移転先のページへ流します。
404はページが見つからない場合にステータスコードとしてブラウザやGoogleボットに伝えますが、だからといって直ちに検索順位に影響があるわけではありません。
今回は404と410の処理の違いについてGoogleのウェブマスタービデオで説明されていますが、ほとんどの場合は気にする必要が無いようですので、知識の一つとして参考までにご覧ください。



HTTPステータスコードの意味

404、410はHTTPステータスコードです。
ブラウザやGoogleがページを要求すると、ウェブサーバーがステータスコードを返します。


200は正常を意味し、404は「ページが見つかりません」という意味となり、410はページがなくなり、「永久にページが戻ってくる事はない」という意味となります。


Googleは404と410は若干異なる処理を行いますが、ほとんどの場合特に気にする必要はありません。


ページがなくなり、それが一時的であれば404を使います。
ページがなくなり、他に変わりのページもなく、再び公開する事がなければ410を使います。


ステータスコードを受けた後の処理

さて、クローラーシステムがこれらをどのように処理するか説明しましょう。
ページがなくなったり、サイト構築に失敗したり、ウェブサイトがサーバーダウンしてしまったり、Googleボットや訪問者をブロックしてしまったりなどウェブマスターが思いもかけないトラブルに陥る事は良くあります。


クロールチームはこれらの事を柔軟に対処できるように考えて設計しています。

404ページの場合の処理

もし404のページを見つけた場合、そのページの情報は24時間の間クロールシステム上で保護します。
そのページは一時的な404かもしれないですし、ウェブマスターが意図したものではない可能性もあるからです。


410ページの場合の処理

もし410のページを見つけた場合、ウェブマスターが意図的にそのページは無くなったという処理を行ったととらえて直ちにクロールシステムに通知します。


一般的にはウェブマスターは非常に細かい作業をしなければならない場合があるので、もしページがなくなった場合でも、404のままにしていても問題はありません。


404のステータスコードを返した場合でも、24時間はそのページの評価を保護しているようです。推測ですが「24時間」と示したという事は、それ以降を過ぎてしまうとページの評価に影響が出てしまうという事かもしれませんね。




404クロールエラーはSEOに悪影響?

GoogleのJohn Mueller氏が404エラーに関する疑問点をまとめて解説してくれています。



週にいくつものこの種の質問をみかけます。(という事はあなただけの疑問ではないようです。)多くのウェブサイトでクロールエラーは発生します。


  • 無効なURLで発生する404エラーはウェブサイトのインデックス処理やランキングを阻害するものではありません。404エラーは100であっても100万であってもランキングを下げるような影響はありません。
    ※「404 はサイトに悪影響を与えますか?

  • CMSやウェブサイト内の構造上の問題でクロールエラーが発生するケースもあります。
    クロールエラーのリンク元をダブルチェックします。もし静的なHTMLページのウェブサイト上でリンク切れがあれば、修正した方が良いでしょう。

  • 明らかにおかしなリンク切れURLであった場合は?
    私達のアルゴリズムがあなたのウェブサイトを気に入った場合には、更に詳しくコンテンツを探そうとします。例えば、JavaScript内のURLを辿ってコンテンツを見つけようとしたりなど。もしそれらのURLを見に行って404であったとしてもそれはそれで予想される事として考えている。
    私達はただ重要なものを見落としたくないだけです。(Googleボットの行動パターンを過度に働きかける。)
    ※「「見つかりません」エラー(404)

  • ウェブマスターツール(現在のSearch Console)のクロールエラーは修正する必要はありません。
    もし404エラーの修正の進捗を確認していきたいのであれば、修正済みにマークすると良い。
    Googleのウェブ検索経路には何も変化を与える事がないので、必要がなければ無視しても構わない。
    ※「ウェブサイトのクロールエラー レポート

  • ウェブマスターツール(Search Console)のクロールエラーはいくつかの要素の基づき優先度順に表示されます。
    1ページ目のクロールエラーが明らかに関連性がなければ、それ以降のページでも重要なクロールエラーは存在しないでしょう。
    ※「ウェブマスター ツールのクロール エラーの機能が新しくなりました

  • 優先度順は、「English Google Webmaster Central office-hours hangout」でのJohn Mueller氏の発言によると、「ユーザーとの関連性」、「多くのユーザーに見られるかどうか」に基いて認識されるようです。


  • クロールエラーは必ずしも修正する必要はありません。
    404エラーが見つかる事は一般的ですし、健全で正しく構築されたウェブサイトと見なされます。
    もし新しく作成したURLで同じコンテンツが存在するのであれば、そのページにリダイレクトする事は良い方法です。
    一方で偽のコンテンツを作成したり、トップページへリダイレクトしたり、robots.txtでそれらのURLをブロックすると、Googleはサイトの構造を認識しにくくなり、適切に処理されにくくなるでしょう。
    私達はこれらのエラーをソフト404エラーと呼びます。
    ※「ソフト404エラー

  • クロールエラーで表示されるURLに注意しているページがあるならば、サイトマップにそのURLが含まれているかもしれない。
    すぐに対処した方が良いでしょう。
    もしGoogleボットが重要なURLをクロールできなければ、検索結果から漏れてしまう事もあり、検索ユーザーにとってもアクセスする事ができないかもしれません。



4年以上前に削除したページでもGoogleはクロールする

ユーザーから次のようなツイートがあり、それに対してJohn Mueller氏が回答しています。



ユーザー:現在404を返している(4年以上前の)古いURLをGoogleはクロールしているようだ。…(割愛)



John:それは正常です。Googlebotは記憶力が良く、調べたがりだからね。


Search Consoleで既に削除した古いURLとともにクロールエラーが大量にレポートされることがあります。Googlebotの性質からすれば、この現象自体は全く問題がないと言えます。




リンク切れがあった場合の対応

サイト内ページ間のリンクであれば自分でコントロールができる為、修正する事ができますが、外部からのリンクでURLのミスがあった場合は、少し厄介です。
その場合は、301リダイレクトを使用して、誤って張られたリンク先のURLから、本来たどり着くべきページのURLへ転送しましょう。
こうする事で、そのリンクを辿った訪問者にも親切ですし、SEOにおいてもリンク元ページの評価がリンク先ページへ流れていきます。



このエントリーをはてなブックマークに追加


野澤洋介

この記事を書いた人

アレグロマーケティング代表取締役 野澤洋介

SEOは考え方はシンプルですが、いざ実践するとなかなか思うようにいきません。
当ブログでは、読者の方に成功も失敗も合わせて情報を共有し、同じような悩みを解決できればという思いで運営しています。


著書:「最強の効果を生みだす 新しいSEOの教科書」(技術評論社)

follow us in feedly


関連記事


SEO管理ツール Spresseo(エスプレッセオ)

コンテンツが増えてきたらランキングの管理をツールで効率化しましょう。
ページごとの内部最適化や、キーワードの順位取得や競合比較、獲得した被リンクのレポートを自動化できます。



▲ ページトップ ▲
自動XMLサイトマップ管理ツールトライアル版配布中