サーチコンソールの「URL が Google に認識されていません」を robots.txt の作成で解決

• エラー「インデックス登録リクエストに失敗しました」
• robots.txt を作成して解決
  • robots.txt の作成
  • Nginx での robots.txt 設定
  • robots.txt テスターで robots.txt ファイルを Google へ送信

エラー「インデックス登録リクエストに失敗しました」

今回の問題は Google のサーチコンソールで「インデックス登録をリクエスト」をクリックした際に「インデックス登録リクエストに失敗しました」と表示され、下記の症状が出るというもの。

• ステータスは「URL が Google に登録されていません」と表示される。
• カバレッジは「URL が Google に認識されていません」と表示され具体的な原因がわからない。

解決方法

色々調べてみたところ robots.txt を作成する必要がある様です。

robots.txt というと、通常はサイトに対するクロールを拒否する目的で設定することが多そうですが、少なくとも Google サーチコンソールではクロールして欲しい場合でも作成し、明示的に許可する必要がある様です。

robots.txt の作成

robots.txt のファイルの内容としてはとりあえず下記にしておけば大丈夫そうです。

User-agent: *
Allow: /

Nginx での robots.txt 設定

ここからは Nginx で robots.txt を設定する方法ですが、robots.txt をルートディレクトリに配置し、設定ファイルに下記の形で記述します。

location = /robots.txt {
        alias /ルートディレクトリのパス/robots.txt;
}

URL に「/robots.txt」が含まれる場合にサーバー上の robots.txt を参照するという意味です。

ブラウザの URL で「ドメイン名/robots.txt」を叩いた時に下記の様に表示されれば大丈夫なはずです。

ファイルの変更の反映

Nginx の設定ファイルを色々いじって、Nginx を restart してもうまく反映されない様な場合は、Chrome のシークレットモードやブラウザのキャッシュを削除して再度試してみると反映されたりします。

robots.txt テスターで robots.txt ファイルを Google へ送信

過去に Google のクロールを受け付けない形の robots.txt を Google 側で認識してしまっている場合、その後ファイルを編集してインデックス登録のリクエストを行っても引き続きエラーが出てしまいます。

この場合、robots.txt テスターから編集後の robots.txt を Google に送信し、認識してもらう必要があります。

Google Search Console - robots.txt テスター

注意点

Google サーチコンソールでドメインプロパティの登録しかない場合、対象プロパティを選択する際にサイトが表示されず robots.txt テスターを使うことができません。この場合一度 URL プレフィックスプロパティも登録する必要があります。