Rank Reporter

Robots.txtのインポート

既に検索エンジンのクローラーに対して除外するページを指定するrobots.txtを設置しているウェブサイトもあります。


Sitemap Creatorは全てのウェブページをクロールする為、このrobots.txtの指示には従いませんが、robots.txtを除外ページリストにインポートする機能を持ちます。


この画面を表示するには、「除外されたページ」画面のアクション下の「Robots.txtのインポート」をクリックします。



「Robots.txtのインポート」画面を開くと、"Robots.txt URL"のフィールドが表示されます。(ルートURL直下のディレクトリが指定されます。)必要であれば、修正が行えます。「ダウンロード」ボタンをクリックすると、ウェブサイトからrobots.txtがあればそのファイルを取得し、リストに自動的に表示されます。


「ユーザーエージェント」では、Robots.txtのインポートを行うユーザーエージェントを選択できます。初期設定では、Any(*)が設定されています。


Sitemap Creatorがrobots.txtの読み込みに成功すると、「追加された除外URL」リストに表示されます。不要なページや入力項目があれば選択し、ゴミ箱ボタンかキーボードの「Del」キーで削除する事ができます。「キャンセル」をクリックすると「除外されたページ」画面の変更は破棄されます。


「OK」をクリックすると、「追加された除外URL」の入力項目は、自動的に「除外されたページ」画面のリストに追加されます。


Robots.txtのエクスポート

robots.txtファイルのインポートに加えて、Sitemap Creatorでは現在の「除外されたページ」リストに基づいてrobots.txtをエクスポートする事ができます。


「除外されたページ 」リストの内容は"Allow"、"Disallow"に変換され、自動的に生成されます。


Sitemap Creatorで生成されたrobots.txtファイルは、ドメインルート直下に配置する必要があります。


例えば”www.example.com/products/”がルートURLの場合、Sitemap Creatorで生成されたrobots.txtファイルは"www.example.com/robots.txt"として配置します。
(/products/のサブディレクトリではありません。)


Sitemap Creatorによって生成されたrobots.txtファイルでは、そのファイル内に記述されている「User-agent」は"*"と記述されます。


異なるユーザーエージェントを定義される場合は、Windowsに付属しているテキストエディタで直接robots.txtを編集します。



その他SEO支援ツール


検索順位チェックツール
Rank Reporter

検索順位を毎日自動で取得できる!


内部SEO支援ツール

SEO Composer

ドメイン・ページ無制限で内部SEOチェック!




SEOツールはどう使う?

おすすめ無料・有料SEOツール