robots.txtとは？noindexとの違いとWordPressでの確認方法
ホームページの検索状況を確認していると、
「robots.txtによりブロックされています」
「noindexとrobots.txtの違いが分からない」
「検索に出したくないページは、どちらで設定すればよいのか」
といった疑問が生じることがあります。
robots.txtは、Googleなどの検索エンジンに対して、ホームページ内のどの場所をクロールしてよいかを伝えるためのファイルです。
一方、noindexは、特定のページを検索結果に表示しないように伝えるための設定です。
似たような目的で使われることがありますが、役割は異なります。
この違いを理解せずに設定すると、検索結果へ表示したいサービスページやブログ記事まで、Googleが確認できなくなる可能性があります。
反対に、検索結果へ出したくないページをrobots.txtだけで制限しても、URL自体が検索結果に表示されることがあります。
この記事では、中小企業のホームページ担当者向けに、robots.txtの役割、noindexやXMLサイトマップとの違い、WordPressでの確認方法、誤設定を防ぐための注意点を解説します。
robots.txtとは？
robots.txtとは、検索エンジンのクローラーに対して、ホームページ内のどのURLやフォルダーへアクセスしてよいかを伝えるテキストファイルです。
検索エンジンは、ホームページ内の情報を収集するために、Googlebotなどのクローラーを使ってページへアクセスします。
このアクセスを「クロール」といいます。
robots.txtでは、クローラーごとに、クロールを許可する場所や制限する場所を指定できます。
主な目的は、検索結果へ表示する必要性が低い場所へのクロールを抑え、重要なページを確認しやすくすることです。
ただし、一般的な中小企業のホームページでは、複雑なrobots.txtを設定する必要がない場合もあります。
設定項目を増やすほど良いわけではありません。
検索結果へ表示したいページを誤って制限しないことが、最も重要です。
robots.txtはどこにある？
robots.txtは、通常、ホームページのドメイン直下に置かれます。
【確認例】
https://example.com/robots.txt
自社のホームページを確認する場合は、ドメインの後ろへ「/robots.txt」を追加し、ブラウザで開きます。
【確認例】
https://www.local-branding.jp/robots.txt
robots.txtが設定されていれば、テキスト形式の内容が表示されます。
何も表示されない場合や404エラーになる場合でも、必ずしもホームページに問題があるとは限りません。
robots.txtが存在しない場合は、基本的にクローラーによるアクセスを制限していない状態として扱われます。
ただし、サーバーエラーやアクセス制限によって取得できない場合は、クロールへ影響する可能性があるため注意が必要です。
robots.txtの基本的な書き方
robots.txtでは、主に次のような項目を使用します。
User-agent
どのクローラーに対する指示かを指定します。
「*」を使用すると、基本的にすべてのクローラーを対象にします。
【記述例】
User-agent: *
Disallow
クロールを制限したいURLやフォルダーを指定します。
【記述例】
Disallow: /sample-folder/
この場合、「/sample-folder/」以下のクロールを制限する指示になります。
Allow
クロールを許可したいURLやフォルダーを指定します。
大きなフォルダーを制限しながら、その中の一部だけを許可する場合などに使用されます。
【記述例】
Allow: /sample-folder/public-page/
Sitemap
XMLサイトマップの場所を検索エンジンへ伝えます。
【記述例】
Sitemap: https://example.com/sitemap_index.xml
robots.txtには、複数のルールを記載できます。
ただし、記述内容や優先関係を理解せずに変更すると、意図しないページを制限する可能性があります。
制作会社や管理担当者がいる場合は、自己判断で大きく変更する前に確認しましょう。
robots.txtの基本例
特別な制限を設けず、XMLサイトマップの場所だけを伝える場合は、次のような内容になります。
【基本例】
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap_index.xml
「Disallow:」の後ろに何も記載されていない場合は、クロールを制限する場所を指定していない状態です。
ただし、WordPress、テーマ、SEOプラグイン、サーバーなどによって、実際のrobots.txtの内容は異なります。
上記の内容をそのまま自社サイトへ設定するのではなく、現在のホームページ構成を確認したうえで判断してください。
robots.txtでできること
特定のフォルダーのクロールを制限する
検索結果へ表示する必要性が低く、クロールしてもらう必要もない場所を制限できます。
たとえば、システム上生成される一部のURLや、特定の管理用フォルダーなどが候補になります。
ただし、WordPressの管理画面やシステムファイルについては、WordPressやSEOプラグインが適切な設定を生成している場合があります。
理解せずにルールを追加しないようにしましょう。
特定のクローラーを対象にする
User-agentを指定することで、特定のクローラーだけに指示を出すことができます。
ただし、検索エンジン以外のすべてのクローラーが、必ずrobots.txtの内容に従うとは限りません。
機密情報や個人情報を守るためのセキュリティ対策として、robots.txtを使用してはいけません。
XMLサイトマップの場所を伝える
robots.txtにSitemapの行を追加することで、XMLサイトマップのURLを検索エンジンへ伝えられます。
ただし、GoogleサーチコンソールからXMLサイトマップを送信している場合でも、robots.txtへ記載することはできます。
クロールの対象を整理する
ページ数が非常に多いホームページでは、重複するURLや重要性の低いURLへのクロールを整理するために使用されることがあります。
一方、一般的な中小企業のホームページでは、クロール数を細かく管理する必要性が高くない場合もあります。
小規模なホームページで複雑な制限を追加すると、メリットよりも誤設定のリスクが大きくなることがあります。
robots.txtでできないこと
検索結果への表示を確実に防ぐこと
robots.txtは、クローラーによるアクセスを管理するためのファイルです。
ページを検索結果へ表示させないための設定ではありません。
robots.txtでクロールを制限したページでも、他のホームページからリンクされている場合などは、URLだけが検索結果に表示される可能性があります。
検索結果へ表示させたくないページには、noindex、パスワード保護、ページ削除など、目的に合った方法を使用します。
機密情報を守ること
robots.txtは、ブラウザから誰でも確認できる公開ファイルです。
次のような情報をrobots.txtだけで守ることはできません。
・個人情報
・社内資料
・顧客専用ページ
・会員限定データ
・非公開のファイル
・管理用の重要情報
機密情報には、ログイン制限、パスワード保護、アクセス権限などを設定する必要があります。
ページの検索順位を直接上げること
robots.txtを変更しただけで、検索順位が上がるわけではありません。
検索結果からのアクセスを増やすためには、ページ内容、検索意図、内部リンク、タイトル、サイト構成なども整える必要があります。
ホームページから問い合わせを増やすための基本的な考え方は、こちらの記事でも解説しています。
robots.txtとnoindexの違い
robots.txtとnoindexは、目的が異なります。
robots.txt
検索エンジンのクローラーに対して、ページやファイルへのアクセスを制限するために使用します。
簡単に言うと、
「この場所はクロールしないでください」
と伝える設定です。
noindex
検索エンジンに対して、そのページを検索結果へ表示しないように伝えるために使用します。
簡単に言うと、
「このページを検索結果へ登録しないでください」
と伝える設定です。
目的別の使い分け
検索結果へ表示させたくない場合は、基本的にnoindexを使用します。
クローラーによるアクセス自体を制限したい場合は、robots.txtを使用します。
この2つは、同じものではありません。
robots.txtとnoindexを同時に設定する時の注意点
検索結果へ表示させたくないページにnoindexを設定し、同じページをrobots.txtでもブロックすると、設定が正しく伝わらないことがあります。
Googleがnoindexを確認するためには、そのページへクロールできる必要があるからです。
robots.txtでアクセスを制限すると、Googleはページ内のnoindexを確認できません。
その結果、他のページからのリンクなどをもとに、URLだけが検索結果へ表示される可能性があります。
検索結果から除外することが目的であれば、Googleがページをクロールできる状態にしたうえで、noindexを確認できるようにします。
【考え方】
・クロールさせたくない：robots.txt
・検索結果へ表示させたくない：noindex
・非公開情報を守りたい：パスワードやログイン制限
・ページ自体が不要：削除や適切なリダイレクト
目的に合わせて設定方法を選びましょう。
robots.txtとXMLサイトマップの違い
robots.txtとXMLサイトマップも役割が異なります。
robots.txt
検索エンジンに対して、クロールしてよい場所や制限する場所を伝えます。
XMLサイトマップ
検索エンジンに対して、ホームページ内にどのような重要ページがあるかを伝えます。
簡単に整理すると、次のようになります。
・robots.txt：クロールを制御する
・XMLサイトマップ：ページの存在を伝える
robots.txtでクロールを制限したURLを、XMLサイトマップへ含めると、検索エンジンへ矛盾した情報を伝えることになります。
XMLサイトマップには、基本的に検索結果へ表示してほしい正規URLを含めましょう。
検索エンジンと訪問者の両方にページの関係を伝えるためには、内部リンクの設計も重要です。
robots.txtとパスワード保護の違い
robots.txtは、クローラーへアクセスの可否を伝えるファイルです。
人間によるアクセスを制限するものではありません。
URLを知っている人は、ブラウザからページへアクセスできる可能性があります。
一方、パスワード保護やログイン制限は、許可された人だけがページを閲覧できるようにする方法です。
次のようなページには、robots.txtではなく、アクセス制限を使用します。
・顧客専用ページ
・社内限定資料
・公開前の情報
・個人情報を含むページ
・有料会員向けコンテンツ
・制作中の確認サイト
「検索に出なければ見られないだろう」と考えず、非公開情報には適切なセキュリティ対策を行いましょう。
robots.txtを確認する方法
手順1. ブラウザで開く
自社ドメインの後ろへ「/robots.txt」を追加して開きます。
【確認例】
https://example.com/robots.txt
内容が表示された場合は、どのようなルールが設定されているか確認します。
手順2. User-agentを確認する
どのクローラーを対象にしたルールかを確認します。
「User-agent: *」の場合は、基本的にすべてのクローラーが対象です。
特定のクローラー名が書かれている場合は、そのクローラーだけに適用されるルールです。
手順3. Disallowの内容を確認する
Disallowの後ろに、どのURLやフォルダーが指定されているか確認します。
特に、次のような場所が誤って指定されていないか注意しましょう。
・サービスページ
・ブログ記事
・画像フォルダー
・CSSやJavaScriptなどの表示に必要なファイル
・ホームページ全体を表す「/」
・リニューアル後の新しいページ
手順4. SitemapのURLを確認する
Sitemapの記載がある場合は、URLをブラウザで開き、XMLサイトマップが正常に表示されるか確認します。
旧ドメインや存在しないURLが残っていないかも確認しましょう。
Googleサーチコンソールでrobots.txtを確認する方法
Googleサーチコンソールには、Googleがrobots.txtを取得できているかを確認するためのrobots.txtレポートがあります。
主に次の内容を確認できます。
・robots.txtのファイルパス
・Googleが最後に確認した日時
・取得できているか
・記述上の警告やエラー
・過去に取得された内容
・Googleへの再クロール依頼
ただし、プロパティの登録方法によっては、robots.txtレポートが利用できない場合があります。
robots.txtレポートで確認する項目
・取得済みになっているか
・エラーが表示されていないか
・警告の内容は何か
・Googleが確認したrobots.txtの内容は正しいか
・変更前の古い内容が残っていないか
エラーが表示されている場合は、記述内容やサーバーの状態を確認します。
URL検査も併用する
特定のページがrobots.txtでブロックされているかを確認する場合は、GoogleサーチコンソールのURL検査も利用します。
確認したいページのURLを入力し、クロールが許可されているか、インデックス登録に問題がないかを確認しましょう。
WordPressでrobots.txtを確認する方法
WordPressでは、実際のrobots.txtファイルがサーバー上に存在しなくても、システムが仮想的に内容を表示している場合があります。
また、SEOプラグイン、セキュリティプラグイン、サーバー設定などによって内容が変更されることもあります。
ブラウザで現在の内容を確認する
最初に、次のURLを開きます。
https://自社ドメイン/robots.txt
管理画面の設定だけを見るのではなく、実際に外部から表示されている内容を確認することが大切です。
WordPressの表示設定を確認する
WordPress管理画面の「設定」から「表示設定」を開きます。
「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないか確認しましょう。
この設定は、robots.txtだけではなく、検索エンジン向けの設定全体に影響する可能性があります。
制作中のホームページでは有効にされていることがありますが、公開時に解除し忘れると、検索結果へ表示されにくくなる可能性があります。
SEOプラグインを確認する
SEOプラグインによっては、robots.txtの編集機能や検索エンジン向けの設定があります。
次の内容を確認しましょう。
・robots.txtの編集機能が有効になっている
・サイト全体を制限する設定がない
・投稿や固定ページへnoindexが設定されていない
・不要なページだけが適切に除外されている
・複数のSEOプラグインが同時に動いていない
複数のプラグインが同じSEO機能を持っていると、設定が重複することがあります。
サーバー上の実ファイルを確認する
サーバーのルートディレクトリに、robots.txtという実ファイルが置かれている場合があります。
実ファイルがあると、WordPressやプラグインが生成する内容より優先される場合があります。
管理画面で変更しても内容が反映されない場合は、サーバー上のファイルやキャッシュを確認する必要があります。
サーバー操作に慣れていない場合は、制作会社や保守担当者へ確認しましょう。
キャッシュを確認する
robots.txtを修正しても、キャッシュによって古い内容が表示されることがあります。
次のようなキャッシュを確認します。
・WordPressのキャッシュプラグイン
・サーバーキャッシュ
・CDNのキャッシュ
・ブラウザキャッシュ
変更後は、ブラウザで実際のrobots.txtを開き、内容が反映されているか確認しましょう。
検索結果へ表示したいページがブロックされる原因
ホームページ全体を制限している
robots.txtに次のような記述がある場合は、ホームページ全体のクロールを制限します。
【注意が必要な例】
User-agent: *
Disallow: /
制作中のホームページで使用されることがありますが、本番公開後も残っていると重要なページをクロールできません。
上位フォルダーをまとめて制限している
特定のフォルダーを制限した結果、その中にある必要なページまでブロックされることがあります。
【例】
Disallow: /service/
この設定では、「/service/」以下にあるサービスページが対象になる可能性があります。
フォルダー単位で制限する場合は、含まれるページをすべて確認しましょう。
画像や表示用ファイルを制限している
画像、CSS、JavaScriptなどを広く制限すると、Googleがページを正しく表示・理解できない可能性があります。
古いSEO対策の情報を参考に、必要なファイルまで制限していないか確認しましょう。
テスト環境の設定が残っている
ホームページの制作中は、検索エンジンに見つからないようクロールを制限することがあります。
本番環境へ移行した際に設定を解除し忘れると、公開後も検索結果へ表示されにくくなります。
古いrobots.txtが残っている
リニューアルや制作会社の変更後に、以前のrobots.txtがサーバー上へ残ることがあります。
新しいサイト構成と合っていないルールがないか確認しましょう。
検索結果へ出したくないページの対応方法
検索結果へ出したくないページは、目的に応じて対応方法を選びます。
お問い合わせ完了ページ
検索結果へ表示する必要がないため、noindexを設定する方法があります。
robots.txtでブロックすると、Googleがnoindexを確認できない可能性があるため注意しましょう。
会員限定ページ
ログイン制限やパスワード保護を使用します。
robots.txtやnoindexだけで、機密情報を守ることはできません。
削除したページ
完全に不要な場合は、適切な削除状態にします。
代わりとなるページがある場合は、301リダイレクトを検討します。
内容が重複するページ
正規URLの設定、ページ統合、noindexなどを検討します。
どの方法が適切かは、ページの役割によって異なります。
制作中のテストサイト
パスワードやアクセス制限を使用します。
robots.txtだけに頼ると、URLが知られた場合に閲覧される可能性があります。
robots.txtを変更した方がよい場面
次のような場合は、robots.txtの確認や変更を検討します。
・検索結果へ表示したいページがブロックされている
・Googleサーチコンソールにrobots.txt関連のエラーがある
・ホームページ全体が誤って制限されている
・リニューアル後も古いルールが残っている
・旧ドメインのサイトマップURLが記載されている
・不要なシステムURLが大量に生成されている
・サーバーへのクロール負荷に具体的な問題がある
・テスト環境の設定が本番環境へ残っている
変更する際は、修正前の内容を保存しておきましょう。
いつ、誰が、どのルールを変更したのか記録しておくと、不具合が起きた時に戻しやすくなります。
robots.txtを変更しない方がよい場面
次のような場合は、安易に変更しないことをおすすめします。
・現在、重要なページが正常に検索されている
・設定内容の意味が分からない
・サーバーやWordPressの管理担当者が別にいる
・プラグインと実ファイルのどちらが有効か分からない
・検索結果から削除する目的で変更しようとしている
・アクセス数を増やすためだけに変更しようとしている
・インターネット上の記述例をそのまま使用しようとしている
robots.txtの変更は、必ずSEO効果を生むものではありません。
小規模なホームページでは、複雑な制限を行わず、重要ページへの内部リンクや記事内容の改善を優先した方がよい場合もあります。
robots.txtを変更する時の手順
手順1. 現在の内容を保存する
変更前のrobots.txtをコピーし、保存します。
スクリーンショットだけでなく、テキストとして残しておくと元に戻しやすくなります。
手順2. 変更する目的を明確にする
何を改善するための変更かを整理します。
【目的例】
・誤ってブロックされているサービスページを許可する
・古いサイトマップURLを修正する
・テスト環境の全体制限を解除する
・不要なシステムURLへのクロールを整理する
目的が曖昧な場合は、変更を急がないようにしましょう。
手順3. 影響するURLを確認する
Disallowでフォルダーを指定する場合は、その配下にどのようなページがあるか確認します。
一つの記述で、多数のページが対象になることがあります。
手順4. 制作会社や管理担当者へ確認する
サーバーやプラグインの設定と関係する場合は、担当者へ確認します。
robots.txtだけを修正しても、別の設定によって元へ戻ることがあります。
手順5. 変更後の内容をブラウザで確認する
実際の「/robots.txt」を開き、変更内容が反映されているか確認します。
手順6. Googleサーチコンソールで確認する
robots.txtレポートやURL検査を使い、エラーや意図しないブロックがないか確認します。
重要な変更を行った場合は、robots.txtの再クロールをリクエストできる場合もあります。
手順7. 重要なページの登録状況を確認する
変更後は、サービスページ、ブログ記事、採用ページなどがクロール可能な状態か確認します。
インデックス登録状況や検索結果への表示回数も継続して確認しましょう。
よくある間違い
robots.txtで検索結果から削除しようとする
robots.txtは、検索結果への表示を確実に防ぐ設定ではありません。
検索結果へ表示させたくない場合は、noindexやアクセス制限などを検討します。
noindexとrobots.txtを同時に設定する
robots.txtでクロールを制限すると、Googleがページ内のnoindexを確認できない場合があります。
目的に合った設定を選びましょう。
ホームページ全体を誤ってブロックする
「Disallow: /」は、ホームページ全体を対象にする可能性がある重要な記述です。
本番環境に残っていないか確認しましょう。
robots.txtへ機密ページの場所を書く
robots.txtは誰でも確認できます。
非公開フォルダーの場所を記載しても、アクセスを防ぐことはできません。
機密情報にはログイン制限などを使用します。
検索順位を上げる目的で複雑にする
robots.txtの行数を増やしても、検索順位が上がるわけではありません。
必要な制限だけにとどめ、分かりやすい状態を保ちましょう。
インターネット上の設定例をそのまま使う
ホームページの構成、WordPressテーマ、プラグイン、サーバー環境は会社ごとに異なります。
他社のrobots.txtをそのままコピーすると、必要なページをブロックする可能性があります。
変更後の確認をしない
管理画面で修正しただけでは、実際のrobots.txtへ反映されていない場合があります。
ブラウザとGoogleサーチコンソールの両方で確認しましょう。
月に1回確認したい項目
一般的な中小企業のホームページでは、robots.txtを毎日確認する必要はありません。
月に1回程度、またはリニューアルや設定変更の後に、次の項目を確認しましょう。
robots.txtの状態
・ブラウザで正常に開ける
・意図しないエラーがない
・ホームページ全体を制限していない
・重要なフォルダーを制限していない
・古いルールが残っていない
・サイトマップURLが正しい
Googleサーチコンソール
・robots.txtを正常に取得できている
・記述エラーや警告がない
・重要ページがrobots.txtでブロックされていない
・URL検査でクロールが許可されている
・重要ページがインデックス登録されている
WordPress
・検索エンジン表示設定に問題がない
・SEOプラグインの設定が重複していない
・記事や固定ページへ誤ってnoindexを設定していない
・サーバー上に古いrobots.txtが残っていない
・変更後にキャッシュを確認している
検索状況
・重要ページの表示回数が急に減っていない
・新しい記事が検索結果へ表示されている
・サービスページへの検索流入がある
・検索クエリに大きな変化がない
・問い合わせや応募につながっている
robots.txtだけを見るのではなく、ページのインデックス登録状況と検索パフォーマンスも合わせて確認しましょう。
robots.txt確認のチェックリスト
robots.txtを確認する際は、次の項目をチェックします。
・自社サイトのrobots.txtをブラウザで開いた
・User-agentの対象を確認した
・Disallowで指定されている場所を確認した
・重要なサービスページが制限されていない
・ブログ記事が制限されていない
・画像や表示用ファイルを広く制限していない
・「Disallow: /」が本番環境に残っていない
・XMLサイトマップのURLが正しい
・旧ドメインの情報が残っていない
・Googleサーチコンソールでエラーを確認した
・URL検査で重要ページの状態を確認した
・WordPressの検索エンジン表示設定を確認した
・SEOプラグインの設定を確認した
・noindexとの役割を混同していない
・非公開情報をrobots.txtだけで守っていない
・変更前の内容を保存した
・変更後のrobots.txtをブラウザで確認した
設定内容が分からない場合は、無理に変更せず、制作会社や保守担当者へ確認することをおすすめします。
まとめ：robots.txtは検索結果から消すための設定ではない
robots.txtは、Googleなどの検索エンジンに対して、ホームページ内のどの場所をクロールしてよいかを伝えるためのファイルです。
検索結果へ表示させたくないページを指定するための設定ではありません。
役割を簡単に整理すると、次のようになります。
・robots.txt：クロールを制御する
・noindex：検索結果への登録を防ぐ
・XMLサイトマップ：重要なページの存在を伝える
・パスワード保護：許可されていない人の閲覧を防ぐ
・301リダイレクト：古いURLから新しいURLへ転送する
robots.txtでクロールを制限したページにnoindexを設定しても、Googleがnoindexを確認できない場合があります。
検索結果へ表示させたくないことが目的であれば、Googleがページへアクセスできる状態でnoindexを確認できるようにします。
また、robots.txtへ複雑なルールを追加しても、検索順位が直接上がるわけではありません。
中小企業のホームページでは、設定を増やすことよりも、重要なページを誤ってブロックしないことが大切です。
現在のrobots.txtをブラウザとGoogleサーチコンソールで確認し、サービスページ、ブログ記事、採用ページなどがクロール可能な状態かを確認しましょう。
ホームページの検索設定・運用改善でお悩みの方へ
ローカルブランディング株式会社では、宮崎県に本社を置き、熊本県を主な活動拠点として、九州の中小企業向けにホームページ・動画制作支援「ブラサポ」を提供しています。
ホームページを制作するだけではなく、robots.txt、noindex、XMLサイトマップ、Googleサーチコンソール、ページ構成、内部リンク、問い合わせまでの導線を整理し、公開後の運用改善まで実務面から支援しています。
「robots.txtの設定内容が正しいか分からない」
「公開したページがGoogleにクロールされない」
「検索結果へ出したいページがブロックされている」
「WordPressのSEO設定をどこから確認すればよいか分からない」
といった場合も、現在のホームページと設定状況を確認しながら、必要な改善内容を整理します。
ホームページ制作や運用支援に関するよくある質問もご確認いただけます。
ホームページの検索設定や運用改善についてお悩みの場合は、お気軽にご相談ください。