Robots.txt

Robots.txtとは

Robots.txtは、検索エンジンクローラーに対してウェブサイトのどの部分にアクセスしてよいかを指示するテキストファイルです。 ウェブサイトのルートディレクトリに配置され、GooglebotやBingbot などのクローラーボットはサイトを訪問する際、まずこのファイルを読み込んで、クロール可能な領域を確認します。

ひとことで言うと： ウェブサイト所有者が検索エンジンボットに対して「ここは見てね」「ここは見ないでね」と指示を書いたメモです。

ポイントまとめ：

• 何をするものか： クローラーのアクセス制御とクロール効率を管理するテキストファイル
• なぜ必要か： サーバー負荷を軽減し、検索結果にふさわしくないページのインデックスを防ぐ
• 誰が使うか： ウェブサイト管理者、SEO専門家、Web開発者

なぜ重要か

検索エンジンクローラーは毎日膨大なウェブページを巡回しています。Robots.txtがないと、内部テスト環理画面や管理ページまでクローラーに発見されてしまい、検索結果に不要なページが表示されたり、サーバーリソースが無駄に消費されたりします。また、クローラーのクロール予算（サイトをどのくらい深く探索するか）を効率的に使うことで、最も重要なコンテンツが確実にインデックスされることになり、SEOパフォーマンスが向上します。さらに、robots.txtはSERPでの表示を最適化し、検索エンジン最適化の基本的なツールとしても機能します。

仕組みをわかりやすく解説

Robots.txtは「if-then」のシンプルなルールで構成されています。各行に「User-agent」（対象クローラー名）と「Disallow」（アクセス禁止パス）を記述します。例えば、「User-agent: *」は全クローラーを対象とし、「Disallow: /admin/」で管理ページへのアクセスを禁止します。

ワークフローは次のようになります：(1)クローラーがサイトを訪問 → (2)「/robots.txt」をリクエスト → (3)ファイルを読み込んでルールを確認 → (4)ルールに従ってサイトをクロール。技術的には、robots.txtは単なる「お願い」であり、悪意のあるボットはこれを無視する可能性があります。そのため、本当に機密なページは別途パスワード保護などが必要です。

実際の活用シーン

Eコマースサイトの最適化 オンラインストアは、フィルタリングされた検索結果ページ（複数の同じ商品リストページ）をインデックスから除外するため、Robots.txt で「Disallow: /?filter=」のようなパターンを設定します。これにより、重複コンテンツを避けながら、メイン商品ページが確実にクロールされます。

ブログの管理画面保護 ブログプラットフォームは、ログイン後の管理画面やドラフト記事へのアクセスを禁止する設定をrobots.txtに記述し、検索結果に非公開コンテンツが表示されるのを防ぎます。

大規模サイトのクロール効率化 数百万ページを持つニュースサイトは、robots.txt で古いアーカイブページへのクローラーアクセスを制限し、最新記事に対するクロール力を集中させます。

メリットと注意点

Robots.txtの最大のメリットは、サーバー負荷を軽減しながらSEOパフォーマンスを向上させることです。ただし、重要な制限があります。まず、robots.txtは誰でも読めるため、機密ページの場所を公開することになります。真の機密保護にはパスワード保護が必要です。次に、正式な標準ではなく、クローラーの遵守は任意です。悪意あるボットは無視する可能性があります。また、構文ミスがあると、重要なページを誤ってブロックしてしまうリスクもあります。

関連用語

• SEO — 検索エンジン最適化。Robots.txt はその重要な一部
• SERP — 検索エンジン結果ページ。Robots.txt で最適化可能
• メタロボットタグ — HTML内で個別ページごとにクローラーを制御するタグ
• XML サイトマップ — クローラーに重要なページを伝える補助ツール
• クロールバジェット — クローラーがサイトに費やすリソースの総量

よくある質問

Q: Robots.txt に記述したページは検索結果に表示されないのか？ A: 機械学習の進展により、robots.txt で禁止されたページでも、外部リンクから発見されると表示されることがあります。確実に非表示にするには、パスワード保護またはメタタグ「noindex」を使用してください。

Q: Robots.txt は複数のドメインで同じものを使えるのか？ A: いいえ、各ドメインで独立した robots.txt が必要です。サブドメインごとに異なるルールも設定できます。

Q: Robots.txt の変更は即座に反映されるのか？ A: いいえ、クローラーが定期的に robots.txt を再確認するまで反映されません。変更を即座に反映させるには、Google Search Console に報告できます。