Google Search Console で原因不明の「URL が Google に認識されていません」

エラー「インデックス登録リクエストに失敗しました」

今回の問題は「インデックス登録をリクエスト」をクリックしても「インデックス登録リクエストに失敗しました」と表示され、ステータスとしては「URL が Google に登録されていません」さらにカバレッジに「URL が Google に認識されていません」と表示され具体的な原因がわからないというもの。

解決方法

色々調べてみたところ robots.txt を作成する必要がある様です。

robots.txt というと、通常はサイトに対するクロールを拒否する目的で設定することが多そうですが、少なくとも Google Search Console ではクロールして欲しい場合でも作成し、明示的に許可する必要がある様です。

robots.txt の作成

robots.txt のファイルの内容としてはとりあえず下記にしておけば大丈夫そうです。

User-agent: *
Allow: /

Nginx での robots.txt 設定

ここからは Nginx で robots.txt を設定する方法ですが、robots.txt をルートディレクトリに配置し、設定ファイルに下記の形で記述します。

location = /robots.txt {
        alias /ルートディレクトリのパス/robots.txt;
}

URL に「/robots.txt」が含まれる場合にサーバー上の robots.txt を参照するという意味です。

ブラウザの URL で「ドメイン名/robots.txt」を叩いた時に下記の様に表示されれば大丈夫なはずです。

ファイルの変更の反映

Nginx の設定ファイルを色々いじって、Nginx を restart してもうまく反映されない様な場合は、Chrome のシークレットモードやブラウザのキャッシュを削除して再度試してみると反映されたりします。

robots.txt テスターで robots.txt ファイルを Google へ送信

過去に Google のクロールを受け付けない形の robots.txt を Google 側で認識してしまっている場合、その後ファイルを編集してインデックス登録のリクエストを行っても引き続きエラーが出てしまいます。

この場合、robots.txt テスターから編集後の robots.txt を Google に送信し、認識してもらう必要があります。

Google Search Console - robots.txt テスター

注意点

Google Search Console でドメインプロパティの登録しかない場合、対象プロパティを選択する際にサイトが表示されず robots.txt テスターを使うことができません。この場合一度 URL プレフィックスプロパティも登録する必要があります。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です