Googlebotとは？クロールの仕組みと確認方法

監修: 菊地 将（リブランディング株式会社）

Googlebotは、Googleが検索結果をつくるためにWebページを集めて回る自動プログラム（クローラー）です。Googleが自サイトのページの内容を知るには、Googlebotがそのページを取得する必要があります。ここでは、Googlebotの役割とクロールの流れを整理したうえで、Search Consoleの「URL検査」「クロールの統計情報」とサーバーログを使って、自サイトのクロール状況を確かめる手順を説明します。

Googlebotとは：Googleの検索用クローラー

Googlebotは、Google検索が使うWebクローラーの総称です。クローラーとは、Web上のページを自動で巡回して内容を取得するプログラムのことです。Googlebotには、次の2種類があります。

• Googlebot Smartphone：モバイル端末のユーザーを模したクローラー
• Googlebot Desktop：パソコンのユーザーを模したクローラー

どちらのGooglebotが来たかは、アクセス時にHTTPヘッダーで送られるuser-agentで見分けられます。Googleの説明では、多くのサイトでモバイル版が主にインデックスされるため、クロールの大半はSmartphone版です。

Googleには、Googlebot以外にも用途別のクローラーやフェッチャー（利用者の操作を受けて取得するツール）があります。Googleのドキュメントは、これらを共通クローラー、特殊ケースのクローラー、ユーザートリガーのフェッチャーの3つに分けています。Googlebotは共通クローラーの代表例で、自動クロールではrobots.txt（クローラーにアクセスしてよいURLを伝えるファイル）のルールを必ず守ると明記されています。

クロールの仕組み：見つける、取得する、描画する

Google検索は、大きく3つの段階で動きます。

1. クロール：Googlebotがページを見つけて取得する
2. インデックス登録：取得した内容を分析し、検索用のデータベース（インデックス）に保存する
3. 検索結果の配信：検索語句に合うページをインデックスから選んで表示する

クロールは、前述のとおりGooglebotがページを取得する段階です。インデックス登録は、取得した内容を検索用のデータベースに保存する段階です。この記事で扱うのは、1段階目のクロールです。Googleの説明によると、クロールの流れは次のとおりです。

ページの見つけ方は3通り

Googlebotが新しいページを知る経路は、既知のページへの再訪、別のページからのリンク、サイトマップの送信の3つです。ここからは編集上の見方ですが、ほかのページからリンクされておらず、サイトマップにも載っていないページは、Googlebotが見つける手がかりが少なくなります。サイトマップの確認方法は、XMLサイトマップの確認方法で扱っています。

取得の速さはGoogle側が調整する

Googleは、サイトに負担をかけすぎないようにクロールの速度を調整します。Google検索の仕組みの説明では、サーバーがHTTP 500のエラーを返すと、クロールの速度を落とすとされています。Googlebotのドキュメントによれば、多くのサイトで、平均すると数秒に1回を超えるアクセスは通常ありません。サーバーが追いつかないときは、クロールの頻度を下げるよう求められます。

取得するデータ量には上限がある

Googlebotのドキュメントには、Google検索のためにクロールするときに取得するデータ量の上限が書かれています。対応するファイル形式では先頭2MBまで、PDFでは先頭64MBまでです。HTMLから読み込むCSSやJavaScriptも個別に取得され、同じ2MBの上限が当てはまります。上限に達すると取得を止め、そこまでに受け取った部分がインデックス登録の対象になります。サイズは圧縮前のデータで数えます。Googleのクローラー全般の既定の上限は15MBと別のページに書かれていて、個別のクローラーがそれより小さい上限を持つことがあります。Googlebot Imageなど、ほかのGoogleのクローラーにも別の上限があります。これらの数値は2026年11月4日時点でGoogleのドキュメントに記載されていた内容なので、運用の前に最新の記載を確認してください。

JavaScriptも実行して描画する

Googleは、最新版に近いChromeの環境でJavaScriptを実行し、ページを描画します。JavaScriptで後から表示される本文やリンクも、描画されれば認識の対象になります。ただし、サーバーの問題、ネットワークの問題、robots.txtの設定があると、そもそも取得できません。

クロールされても、インデックス登録や表示は保証されない

クロールとインデックス登録は別の段階です。Googleは、クロールされたページが必ずインデックス登録されるわけではなく、登録されたページが必ず検索結果に表示されるわけでもない、と説明しています。品質が低いと判断された場合や、noindex（ページを検索結果に登録しないよう指定する設定）で除外した場合は登録されません。内容が似たページは、まとめられたうえで代表となるURL（正規URL）がGoogleによって選ばれます。

この違いは、確認の順番に関わります。検索結果に出ないとき、原因はクロールされていないことかもしれませんし、クロール後にインデックス登録されていないことかもしれません。どの段階で止まっているかを切り分けるために、後ほど説明するURL検査ツールが役立ちます。インデックスされない原因の見方は、ページがインデックスされない原因の確認方法にまとめています。

robots.txtとGooglebotの関係

検索結果に出したくないページには、noindexかパスワード保護を使います。

robots.txtは、クローラーにどのURLへアクセスしてよいかを伝えるファイルです。主な目的は、クローラーのアクセスを管理して、サーバーが過負荷にならないようにすることです。

押さえておきたい点は3つあります。

• robots.txtは、ページをGoogleの検索結果から除外する手段ではありません。Googleのドキュメントも、その目的には使えないと明記しています。
• robots.txtでクロールを止めても、ほかのサイトからリンクされていれば、URLだけが検索結果に表示されることがあります。その場合、説明文は表示されません。
• 検索結果に出したくないページには、noindex（metaタグまたはレスポンスヘッダーで指定します）かパスワード保護を使います。

GooglebotのSmartphoneとDesktopは同じ制御用の名前に従うため、robots.txtでどちらか一方だけを許可・拒否することはできません。また、ページの表示に必要なCSSやJavaScriptをrobots.txtでブロックすると、Googleがページを正しく解析できなくなるおそれがあります。

robots.txtの書き方や、noindexとの矛盾の見つけ方は、この記事では扱いません。詳しくはrobots設定のSEO確認方法をご覧ください。

自サイトのクロール状況を確認する3つの方法

自サイトでGooglebotが何をしているかは、Search Consoleの2つの機能と、サーバーのアクセスログで確かめられます。Search Consoleをまだ設定していない場合は、先にGoogle Search Consoleの登録方法を確認してください。

方法	分かること	向いている場面	注意点
URL検査ツール	1つのURLのインデックス登録状況、前回のクロール日時、Googleが選んだ正規URL	特定のページが検索結果に出ない理由を調べる	表示はGoogleのインデックス版で、現在の公開ページではない
クロールの統計情報	リクエスト数、ダウンロードサイズ、平均レスポンス時間、レスポンスの内訳	サイト全体の取得状況や、サーバー側の問題を確認する	ルートレベルのプロパティでのみ利用でき、サーバーログと数値が一致しないことがある
サーバーのアクセスログ	個々のアクセスの日時、URL、応答コード	実際の取得を1件ずつ確かめる	user-agentは偽装されるため、Googlebotかどうかの検証が必要

URL検査ツールで1つのURLを調べる

URL検査ツールは、Search Consoleに入力したURLの状態を表示します。「Googleインデックスにあるバージョン」の画面では、次の項目を確認できます。

• インデックス登録の判定：URLがGoogleに登録されているかどうか
• 前回のクロール：Googlebotが最後に取得した日時
• ユーザー指定の正規URLとGoogleが選択した正規URL：サイト側が代表として指定したURLと、Googleが実際に代表に選んだURL。この2つは異なることがあります
• クロールの許可：robots.txtでブロックされていないか
• ページの取得：サーバーからページを取得できたか
• インデックス登録の許可：noindexでブロックされていないか

修正した直後は、「公開URLをテスト」で現在のページをその場で取得して確認できます。ライブテストで問題がなくても、検索結果への掲載は保証されません。サイトマップへの掲載や手動による対策などは、ライブテストの確認対象外です。

インデックス登録をリクエストすることもできますが、リクエストしても登録や表示は保証されません。Googleのヘルプには所要時間の目安として「1日程度」と「1〜2週間程度」の両方が書かれており、一定ではありません。多数のページを知らせたいときは、lastmodを付けたサイトマップの送信が案内されています。

クロールの統計情報でサイト全体を見る

クロールの統計情報は、Search Consoleのプロパティ設定から開きます。ドメインプロパティか、ルートレベルのURLプレフィックスプロパティで使えます。Googleのヘルプによると、ページ数が1,000未満のサイトでは通常このレポートは必要ありません。

レポートでは、クロールリクエストの合計数、ダウンロードの合計サイズ、平均レスポンス時間を確認できます。内訳は、次の切り口で表示されます。

• クロールのレスポンス：正常なもの、確認が必要なもの、不正なレスポンスコードの割合
• ファイル形式：HTML、画像、JavaScript、CSS、PDFなど
• クロールの目的：初めて見つけたURLの「検出」と、既知のURLの「更新」
• Googlebotの種類：スマートフォン、パソコン、画像、動画など

「ホストのステータス」では、過去90日間の可用性の問題が、robots.txtの取得、DNSの解決、サーバー接続の3つの分類で評価されます。ここで問題が出ている場合は、ページ単体ではなく、サーバーやDNSの設定を疑います。

読み取るときの注意点もあります。クライアント側のリダイレクトはカウントされず、サーバー側のリダイレクトは1段ごとに別のリクエストとして数えられます。Googleは、一部のリクエストが現時点で集計されていない既知の問題も記載しているため、サーバーログとは数値が合わないことがあります。外部のドメインで配信されている画像なども、このレポートには出ません。

サーバーログでGooglebotを確かめる

サーバーのアクセスログには、実際に届いたリクエストが1件ずつ残ります。ただし、user-agentにGooglebotと書かれていても、本物とは限りません。Googleは、スパマーなどがGoogleを名乗ってアクセスすることがあると注意しています。Googleのドキュメントでは、Googleからのアクセスかどうかを確かめる方法として、次の2つが案内されています。

手動で確認する方法（少数のアクセス向け）。Googleのクローラーは種類によって逆引きDNSで得られるホスト名のドメインが異なり、Googlebotなどの共通クローラーはgooglebot.comのドメインになります。

1. ログに残ったIPアドレスに対して、逆引きDNSを実行する（IPアドレスからホスト名を調べる）
2. 得られたホスト名のドメインを確認する。Googleのドキュメントが挙げるドメインはgooglebot.com、google.com、googleusercontent.comの3つで、Googlebotとして扱えるのはgooglebot.comです。google.comなどは、広告用のクローラーや利用者の操作で動く取得ツールなど、Googlebot以外のGoogleの取得にあたります
3. そのホスト名に対して順引きDNSを実行する
4. 結果が元のIPアドレスと一致することを確認する

自動で確認する方法（大量のアクセス向け）では、アクセス元のIPアドレスを、Googleが公開しているIPレンジ（CIDR形式のJSONファイル）と照合します。Googlebotは共通クローラーにあたるため、共通クローラー用のファイル（common-crawlers.json）と照合します。ファイルの場所は、Googleの検証手順のページに掲載されています。ログのuser-agentがGooglebotを名乗っていても、この確認を通らないアクセスは、Googlebotとは別のものとして扱います。

AIクローラーも含めてログから識別する方法は、AIクローラーをアクセスログで確認する方法で扱っています。

クロールの確認で見る順番

Googleの説明を基にした確認の順番の一例です。

ここまでの内容を、確認の順番にまとめます。これは、Googleの説明を基にした進め方の一例です。

1. 対象ページが検索結果に出ない場合は、まずURL検査ツールで、クロールの許可、ページの取得、インデックス登録の許可の3項目を見る
2. 「クロールが許可されていない」ならrobots.txtを、「インデックス登録が許可されていない」ならnoindexを確認する
3. ページの取得に失敗している場合は、クロールの統計情報で、レスポンスの内訳とホストのステータスを確認する
4. 複数のページで同じ症状が出ている場合は、サーバーログで、実際にGooglebotのアクセスがあるかを確かめる
5. 修正後は、「公開URLをテスト」で現在の状態を確認し、必要に応じてインデックス登録をリクエストする

クロールの量そのものを最適化したい場合や、無駄なクロールが多いと感じる場合は、別の確認が必要です。クロールバジェットの確認方法で、確認の観点を整理しています。全体像はテクニカルSEOの実務7領域から確認できます。

まとめ

Googlebotは、Google検索のためにページを取得するクローラーです。クロールされても、インデックス登録や検索結果への表示は保証されません。

まず、検索結果に出ないページをURL検査ツールで調べ、クロール、取得、インデックス登録のどこで止まっているかを確かめてください。ログでGooglebotを名乗るアクセスは、逆引き・順引きDNSの確認か、IPレンジの照合で本物かどうかを確かめます。

参考文献・データ元

‹ 親記事: テクニカルSEOとは？クロールからセキュリティまで、企業担当者が押さえるべき7領域の実務チェックリスト

関連記事

• › ページがインデックスされない原因は？Search Consoleで未登録・除外・重複URLを確認
• › クロールバジェットの確認方法｜無駄なクロールと改善優先度
• › robots設定のSEO確認方法｜クロール許可と登録制御の矛盾を確認

関連テーマ

AIO SEO MEO 口コミ・風評対策 採用改善