Search Console ブロックされたリソースの問題

Search Console ブロックされたリソースの問題

1月の初めに、ほとんど見ることがなかった Search Console の Googl インデックスにある「ブロックされたリソース」を見たところ、かなりのページで Googlebot をブロックしているリソースがあることがわかりました。何のことかと説明を見てみると、以下のように書いてありました。

以下に表示されているホストのサイトリソースは Googlebot に対してブロックされています。Googlebot がページ上の重要なリソースにアクセスできないと、そのページは正しくインデックス登録されない場合があります。

ブロックしているリソースは何?

私の場合は Google のYoutube と GTranslate が原因であると、すぐにわかりました。Youtube はリンクであれば載せても良いはずなのに‥‥GTranslate だってWordPress 内にある正式プラグインなのに‥‥何で???と思いましたね。

対策は簡単?

Googlebot  がこれらのソースにアクセスできないと言っているのですから、上記2つを外せば良いのですが、対策になっていません⤵

それでも私にはどうすることもできないので、まず youtube を外してみました。

上図の「注」のラインがSearch Consoleに加えられて、ページ数は下がり始めました。GTranslate は、フロントページにだけ載せていたので、1月末にはブロックしているページが1ページにまで減りました。

youtube を外すのは悔しいので、また載せてみるのですが結果は同じでした。現在は外しています⤵

GTranslate をサイドバー上部に配置 2月中旬

翻訳ウイジェットをフロントページからサイドバーに移したところ、ページ数は一気に跳ね上がりました。何か良い方法がないものかとググってみると「robots.txt」を自分で作ればよいという記事を見つけやってみることにしました。

いつものように、あまり分りもせずにコピペで書いてみました。案の定、Disallow: /wp-includes/ が災いして、50ページ越えがさらに追加されたのです。これが原因かどうかは分かりませんが閲覧数も減ってきました。

結局、私の作った robots.txt は削除、GTranslate もウィジェットから外しました。

まとめ

何とも情けない結果になりました。
おかげで?直近のブロックされたリソースのページ数は、下降に転じています。あと数回更新(Search Console のデータは3~4日で更新)されれば0になると思っています。閲覧数も元に戻ってきました。

懲りない私

これまで翻訳ウィジェットには、一般サイトからコピーしたコードを載せていましたが、今度はGoogleサイトから取得して載せてみました。

サイト情報の入力→プラグインの設定→プラグインの追加 に書き込んでいきます。今度は Google がウェブサイトに追加してもいいよ、と言っているのだから間違いないと思いますが、失敗しても被害が少ないように、フロントページの冒頭にだけ載せてみます。

結果は追記でお知らせします。

2018.3.26 追記

Translate のブロックを追跡した結果です。やっぱりダメでした。トータル数は減少していますが、3月21日から新たにページが追加されています⤵

ウェブマスター向け公式ブログ

ここには、「ウェブマスターツールを利用してリソースのブロックを解除しましょう」とあり、解除する方法はブロックされたリソースのレポートに書かれています。

自分のサイト内で発生しているブロックに対しては詳しく書かれていますが、Translate などの自分が所有していないホストについては、以下のように言っています。

リソースの持つ視覚的な影響が大きい場合は、該当するサイトのウェブマスターに連絡して Googlebot に対するリソースのブロックの解除を依頼するか、そのリソースに依存しないようページを修正することを検討します

ウェブマスターヘルプフォーラム

こちらにTranslate のブロックされたリソース問題の質問と回答がのっていました。

このエラーは、通常ご自身のサイトのrobots.txtに書かれている内容に対して出てくるのですが、今回は、Google翻訳のAPIページのrobots.txtに対してのエラーが出ているようです。

このエラーは、質問者様のホームページとは関係ないと思われるので
無視しても問題ないです。

エラーが出ているのは気持ち悪いかもしれませんが、気にせずに大丈夫です。

このようになっていますが、どちらを信用すればよいのでしょうか?

新しいSearch Console 2018.4.4 追記

BETA 版 Search Console には、インデックスカバレッジという項目があります。インデックスに登録できているかどうかはっきりわかります。こんな感じで表示されます。

エラー、有効(警告あり)、有効、除外 の4っつに分類されます。?をクリックすると意味と対応が書かれていてとても分かりやすいです。

エラー:何らかの理由によりインデックスに登録できなかったぺージ
有効(警告あり):インデックスに登録されているが何らかの問題がある‥‥
有効;インデックスに登録されているページ
除外:意図的にインデックスに登録されていないページ

この除外された理由ですが、以下の理由が書かれています。

・noindex タグによって除外されました
・クロールエラー
・代替ページ(適切な canonical タグあり)
・ページにリダイレクトがあります
・見つかりませんでした(404)
・robots.txt によりブロックされました
・クロール済み – インデックス未登録
・ページが重複しています(canonical タグなし)
・Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました
・送信された URL が canonical として選択されていません

つまり、「筆者が上記理由で意図的にインデックスを除外しているページですよ」と言っているわけです。もしこの中にインデックスしてほしいページがあれば、何らかの対策が必要でしょう。

以前のバージョンでは、指摘があれば「修正しないとインデクスに登録されないのでは」という不安がありましたが、新バージョンでは、「このように登録していますから、あなたの考えと同じですよね」と言っているように感じます。

私の結論

ブロックされたリソースは、新バージョンの除外理由「robots.txt によりブロックされました」という項目で確認できます。ブロックしているのはページそのものではなく、一部のリソースに限定されます。それが間違った使用であれば、エラーや警告で知らせてくれるでしょう。

内部のリソースでブロックする必要がないものは対応すべきですが、Translate などのように使用が制限されていない外部サイトのリソースは、放置しても大丈夫だということです。

Scroll Up