Search Console クロール統計情報レポートの見方・使い方

2020年11月24日、Google Search Centralは、新しいクロール統計情報レポートがSearch Consoleで利用可能になると発表になりました。Search Consoleは、2018年にインターフェースを一新しました。一部のツールに関しては、新しいSearch Console（現行のSearch Console）には以降せずに残っています。クロール統計情報レポートもSearch Consoleに移行せずに残っていましたが、この度、Search Consoleに移行しました。

新しいクロール統計情報レポートの特徴

新しいクロール統計情報レポートは、これまでのレポートに比べて大幅な機能追加が行われています。

クロールリクエスト、ダウンロードサイズ、平均レスポンスタイムの日別のチャート
ホストステータスのハイレベルと詳細情報表示
HTTPレスポンスやファイル形式、Googlebotタイプ、目的別のクロールリクエスト比率
サイトのどのページでリクエストが発生したかのURL例を表示
ドメインプロパティでの複数のホストのステータス概要を表示

備考

以前のクロール統計情報レポートでは、URLプリフィックスのプロパティのみサポートされていました。新しいレポートでは、ドメインプロパティで一括して統計情報のレポートを参照できることもできるようになっています。

日別のチャート（クロール統計データ推移・トレンド）

クロール統計レポートでは、クロールリクエスト、ダウンロードサイズ、平均レスポンスタイムの日別のデータがグラフ表示されます。

ホストステータス表示

ドメインプロパティ

ホスト別（サブドメインなど）のクロールリクエスト、推移、ステータスの概要がリスト表示されます。一見して、各サブドメインのステータスなどが分かります。

上記画像例では、ステータスは「問題ありません」のみとなっていますが、「過去に問題があって現在は解決済み」、「先週問題が発生した」などの表示もアイコンと色で一見して識別可能な表示がされます。

URLプリフィックス

URLプリフィックスのプロパティの場合は、以下のようにホストのステータス概要が表示されます。

＞アイコンをクリックすると、過去の履歴概要、robots.txtの取得、DNSの問題解決、サーバー接続の詳細ステータスが表示されます。

詳細ステータス表示

「ホストのステータス」の詳細の項目をクリックすると、過去90日間のデータがグラフ表示されます。以下は「robots.txt の取得」の部分をクリックして表示されるグラフの表示例です。

備考

クロール統計情報のレポートは導入開始となったばかりのため、上のレポートでは 10月31日から表示されています。過去90日間の履歴データが表示されます。

以下は問題があった場合の詳細ステータスの表示例です。（画像ソース：Google Search Central Blog）サーバーコネクティビティ（サーバーの接続性）に問題があった場合の表示例となります。特に先週、問題が増加していることが概要メッセージに表示され、過去の履歴データも参照することができます。

グループ別クロールリクエストの詳細

HTTPレスポンスやファイル形式、Googlebotタイプ、目的別のクロールリクエスト比率がグループごとに表示されます。

HTTPレスポンスやファイル形式、Googlebotタイプ、目的別の構成比率が見れるのは、サイトによる構成比の違いなどが分かり、本当に参考になります。例えば、上の表示例では、基本的には問題はありませんが、「レスポンス別」では、比較的301リダイレクトが多くあり、また404も4%あります。内部リンク切れなどが起きている可能性などが考えられます。

参考情報

グループ内の特定の項目をクリックすると、該当する項目の詳細レポートが表示され、URLの例も下に表示されます。例えば、301や404が多いなど気になった場合は、それらをクリックすることで該当件数の履歴やURL例が分かります。URL例が、修正や対処を行う参考となることもあります。

「ファイル形式別」もサイトによって構成比が異なります。Googlebotタイプ別でクローラーの種類による訪問比率も分かります。サイトによっては、画像や動画の訪問比率が高いところもあります。

以下は画像の訪問比率が高いサイトの例です。

詳細レポート

グループ内の各項目をクリックすると該当する項目の詳細なレポートが表示されます。該当するURL例も表示されます。

以下はGooglebotタイプ別でスマートフォンを選んだ場合のレポート表示例です。

クロール統計情報レポートの参照（アクセス）方法

Search Consoleの新しいクロール統計情報のレポートは、「設定」ページから「レポートを開く」のリンクから参照することができます。（メニュー項目の設定をクリックしてアクセスします）ドメインプロパティ、URLプリフィックスのどちらでもクロール統計情報レポートを確認できます。

手順1：　Search Consoleのメニュー項目の設定をクリックします

手順2：　設定ページの「クロールの統計情報」右のレポートを開くをクリックします。

クロールレポートのエキスポート

Search Consoleのクロール統計情報レポート右上に表示される「エキスポート」をクリックしダウンロードするファイルフォーマットを選択します。

「Google スプレッドシート」を選んだ場合は、新しいタブ、またはウィンドウでスプレッドシートが表示されます。Google シートでは、デフォルトで各レポート別のデータがタブで分類されているのもとても便利で使いやすいです。簡単にグラフなども作成することができます。

以下は「ファイル形式」タブを選んでグラフを作成した例です

以下は統計情報の概要データです。

クロール統計情報レポートは、クロールに関連する問題が発生している事を素早く検知して対処したり、クロールに関連する諸々の作業や改善に役立つとても便利な機能だと思います。