Search Consoleの403クロールエラーを修正する方法

403クロールエラーを解決する方法

今回はGoogle Search Consoleでの403クロールエラーの解決方法を紹介します。

ブログで新規記事を投稿すると、早くGoogleの検索にインデックスされるようにSearch Consoleの Fetch as Googleからリクエストしています。

ある時、いつものようにSearch Consoleを眺めていますと何やら異変を発見しました。

「アクセスが拒否されました」

403クロールエラーを解決する方法1

アクセスを拒否などしたこともないし、そもそもアクセスを拒否する方法も知りませんでしたので、何の事だろうと「クロールエラー」をクリックしてみました。

すると2つのURLがエラー欄に表示されていました。レスポンスコードには「403」と書かれていました。

403クロールエラーを解決する方法2

エラーのURLをクリックしてみますと何やら警告的な事が記されていました。

403クロールエラーを解決する方法3

Googlebot はサイトの URL をクロールできませんでした。サーバーでページのアクセスに認証が必須となっているか、Googlebot によるサイトへのアクセスがブロックされていることが原因です。

URLの先はWordPressの管理画面のログインページでした。どうやらGoogleの検索クローラーが間違ってWordPress管理画面にアクセスしたみたいですね。

そこでIDとパスワードを求められたので、そこから先へは進めずに403エラーが返されたみたいです。

ではいったいこの「レスポンスコード403」とは何を意味するのでしょうか?

スポンサーリンク

Search Consoleの403エラーとは?

403のような3ケタの数字は、HTTPステータスコードと呼ばれるもので100番台~500番台まで存在します。

100番台 情報(Informational)
200番台 成功(Success)
300番台 リダイレクション(Redirection)
400番台 クライアントエラー(Client Erro)
500番台 サーバーエラー(Server Error)

今回のエラーは403です。

icon-question 403エラーとは?

立ち入り禁止を意味するコード。CGIプログラムが置かれていたり、管理者以外アクセスが出来ない場所。部外者のアクセスは不可。

どこをどう間違ったのか、WordPressの管理画面にまでクロールしてくることはないと思いますね(笑)。しかしいつまでも403エラーを放っておくとSEO的にも影響があるかもしれませんし、なんとなく嫌な気分になりますのでどうにかこの403クロールエラーを解決していく事になりました。

エラーを取り除いてやるのは良いのですが、どうするのか全く分かりませんのでネットで検索する事にしました。

あまりHitしませんでしたが、こちらのサイトにそれらしき件について書かれていましたので参考にしたところ、robots.txtなるものを作成すれば良いと書かれていました。

robots.txtとは何か?

txt(テキスト)形式という事は何かしらのファイルだとは理解できますが、robotsというのは何なんでしょうね?

icon-question robots.txtとは?

Googleなどのロボット型検索エンジンのクローラーのアクセスを制御するためのファイル。

どんな時にrobots.txtを使用するのかと言いますと

1 自分のサイトを検索エンジンに乗せたくない時
2 同じ内容のコンテンツが複数あり検索エンジンに重複コンテンツ扱いされるのを防ぐため
3 訪問者にとって価値のないペラペラのページ

このような時にrobots.txtを利用します。

403クロールエラーを回避するためのrobots.txtの作成方法

メモ帳があれば簡単に作れますので、実際にrobots.txtを作成していきましょう。

メモ帳を開いてファイル名を「robots.txt」に変更しておきます。

403クロールエラーを解決する方法4

robots.txtの基本の形はこのようになります。

User-Agent:

User-Agent:はどのクローラーを制御するかを記入します。

全てのクローラー User-Agent: *
Googleのクローラー User-agent: Googlebot
Google画像検索のクローラー User-agent: Googlebot-Image
Bingのクローラー User-agent: bingbot
複数のクローラー User-agent: Googlebot
User-agent: bingbot

基本的に全てのクローラーを対象にしますので「*」(アスタリスク)で良いと思います。「User-Agent: *

Disallow:

Disallowの意味を調べてみますと「許可しない」という意味でした。

サイト全体を許可しない様にするには「Disallow:/(スラッシュ)」を入力ます。

今回はWordPressの管理画面のクロールをを許可しない事が目的ですので「Disallow: /wp-login.php」と記入する事になります。

Sitemap:

robots.txtではSitemapの場所も知らせる事が出来ますので、ついでに記入しておきます。

sitemap: http://11874.click/sitemap.xml

最終的にはこんな感じになりました。

これを先ほどのメモ帳に貼り付けてやります。

403クロールエラーを解決する方法8

メモ帳に貼り付けたrobots.txtファイルをpublic_htmlがある階層にアップロードします。

robots.txt テスターで確認する方法

robots.txtが上手く動作しているかSearch Consoleのrobots.txt テスターで確認していきます。

Search Consoleのダッシュボード➝クロール➝robots.txt テスターと進みます。

403クロールエラーを解決する方法7

robots.txt テスターのページ右下にあります「送信」をクリックします。

403クロールエラーを解決する方法9

次に、3の「Googleに更新をリクエスト」をクリックします。

403クロールエラーを解決する方法10

しばらくしましたらrobots.txt テスターのページを更新してみますと「Disallow: /wp-login.php」が追加されていました。

403クロールエラーを解決する方法11

念のために「wp-login.php」がブロックされているかどうかテストするためにURLを貼り付けます。

403クロールエラーを解決する方法12

テストボタンを押してみますとしっかりとブロックされていました。

403クロールエラーを解決する方法13

以上でrobots.txtの設置は完了です。

403クロールエラー解決方法まとめ

今回はGoogle Search Consoleの403クロールエラーをrobots.txtファイルを使って修正してみました。

やり方自体はそう難しくはありませんでした。しかしSearch Consoleでエラーがあるとドキッとしますね(笑)。

これで403クロールエラーが無くなってくれれば良いのですが・・・

もう少し様子を見るしかないですね。

スポンサーリンク

フォローする

コメントをどうぞ

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です