Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

今回は、Google Search Console(サーチコンソール)での403クロールエラーの解決方法を紹介します。

ブログで新規記事を投稿すると、いち早くGoogleの検索エンジンにインデックスされるように、Search ConsoleのFetch as Googleからリクエストしています。

ある時、いつものようにSearch Consoleを眺めていると、何やら異変を発見しました。

「アクセスが拒否されました」

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

アクセスを拒否などしたこともないし、そもそもアクセスを拒否する方法も知らないので、何の事だろうと『クロールエラー』をクリックしてみました。すると、2つのURLがエラー欄に表示されていました。レスポンスコードには『403』と書かれていました。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

エラーのURLをクリックしてみると、何やら警告的な事が記されていました。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

Googlebot はサイトの URL をクロールできませんでした。サーバーでページのアクセスに認証が必須となっているか、Googlebot によるサイトへのアクセスがブロックされていることが原因です。

アクセスが拒否されているURLを調べてみると、WordPressの管理画面のログインページでした。どうやらGoogleの検索クローラーが、間違ってWordPress管理画面にアクセスしたみたいですね。そこでIDとパスワードを求められたので、そこから先へは進めずに、403エラーが返されたみたいです。

ではいったいこの『レスポンスコード403』とは何を意味するのでしょうか?

スポンサーリンク

Search Consoleの403エラーとは?

403のような3ケタの数字は、HTTPステータスコードと呼ばれるもので、100番台~500番台まで存在します。

100番台情報(Informational)
200番台成功(Success)
300番台リダイレクション(Redirection)
400番台クライアントエラー(Client Erro)
500番台サーバーエラー(Server Error)

今回のエラーは403です。

icon-question 403エラーとは

立ち入り禁止を意味するコード。CGIプログラムが置かれていたり、管理者以外アクセスが出来ない場所。部外者のアクセスは不可。

どこをどう間違ったのか、WordPressの管理画面にまでクロールしてくることはないと思いますね(笑)。しかし、いつまでも403エラーを放っておくと、SEO的にも影響があるかもしれないし、なんとなく嫌な気分になるので、どうにかこの403クロールエラーを解決していく事になりました。

エラーを取り除いてやるのは良いのですが、どうするのか全く分からないので、ネットで検索する事にしました。

あまりHitしませんでしたが、こちらのサイトに、それらしき件について書かれていたので、参考にしたところ、robots.txtなるものを作成すれば良いと書かれていました。

robots.txtとは何か?

txt(テキスト)形式という事は、何かしらのファイルだとは理解できますが、robotsというのは何なんでしょうね?

icon-question robots.txtとは

Googleなどのロボット型検索エンジンのクローラーのアクセスを制御するためのファイル。

どんな時にrobots.txtを使用するのかというと

1自分のサイトを検索エンジンに乗せたくない時
2同じ内容のコンテンツが複数あり検索エンジンに重複コンテンツ扱いされるのを防ぐため
3訪問者にとって価値のないペラペラのページ

この様な時に、robots.txtを利用します。

403クロールエラーを回避するためのrobots.txtの作成方法

メモ帳があれば簡単に作れるので、実際にrobots.txtを作成していきましょう。まずは、メモ帳を開いてファイル名を「robots.txt」に変更しておきます。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

robots.txtの基本の形はこの様になります。

User-Agent

『User-Agent』は、どのクローラーを制御するかを記入します。

全てのクローラーUser-Agent: *
GoogleのクローラーUser-agent: Googlebot
Google画像検索のクローラーUser-agent: Googlebot-Image
BingのクローラーUser-agent: bingbot
複数のクローラーUser-agent: Googlebot
User-agent: bingbot

基本的に、全てのクローラーを対象にするので「*」(アスタリスク)で良いと思います。

Disallow

『Disallow』の意味を調べてみると『許可しない』という意味で、サイト全体を許可しない様にするには『/(スラッシュ)』を入力ます。

今回は、WordPressの管理画面のクロールをを許可しない事が目的なので、『Disallow: /wp-login.php』と記入する事になります。

Sitemap

robots.txtでは、Sitemapの場所も知らせる事が出来るので、ついでに記入しておきます。

sitemap: https://11874.click/sitemap.xml

最終的にはこんな感じになりました。

これを先ほどのメモ帳に貼り付けてやります。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

メモ帳に貼り付けたrobots.txtファイルを、public_htmlがある階層にアップロードします。

robots.txt テスターで確認する方法

robots.txtが上手く動作しているか、Search Consoleのrobots.txt テスターで確認していきます。

Search Consoleのダッシュボードから『クロール』⇒『robots.txt テスター』と進みます。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

『robots.txt テスター』のページ右下にある『送信』をクリックします。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

次に、『Googleに更新をリクエスト』をクリックします。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

しばらくしら、robots.txt テスターのページを更新してみると、『Disallow: /wp-login.php』が追加されていました。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

念のために『wp-login.php』がブロックされているかどうかテストするために、URLを貼り付けます。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

テストボタンを押してみると、しっかりとブロックされていました。

Google Search Console(サーチコンソール)の『403クロールエラー』を修正する方法

以上でrobots.txtの設置は完了です。

403クロールエラー解決方法まとめ

今回は、Google Search Consoleの403クロールエラーをrobots.txtファイルを使って修正してみました。

やり方自体はそう難しくはありませんでした。しかし、Search Consoleでエラーがあるとドキッとしますね(笑)。これで403クロールエラーが無くなってくれれば良いのですが・・・。

もう少し様子を見るしかないですね。

スポンサーリンク

フォローする

コメント

  1. […] Search Consoleの403クロールエラーを修正する方法 […]

コメントをどうぞ

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)