GSCWizard-Bot | GSC WizardのオンページSEOチェッカー

GSCWizard-Botとは？

GSCWizard-Botは、GSC Wizard内のオンページSEOレポートを支えるクローラーです。ログイン中のユーザーが、自分が所有するGoogle Search Consoleプロパティのレポートを開いたときにだけ動作します。ウェブ全体を巡回したり、リンクをたどったり、インデックスを作成したりすることはありません。

アクセスログにこのユーザーエージェントが記録されていた場合は、サイトの確認済みオーナー（またはSearch Consoleプロパティにアクセスできる方）がGSC WizardでオンページSEOチェッカーを開き、ページの分析を依頼したことを意味します。

ログイン中のオーナーがGSC Wizard（またはGSC Wizard MCPサーバー）にXMLサイトマップの読み取りを依頼した場合も、同じユーザーエージェントが使われます。たとえば、サイトマップ内のURLとSearch Consoleのクリック数・表示回数を結び付けるサイトマップのパフォーマンスレポートがその例です。このときのリクエストは、サイトマップファイル自体への1回のリクエスト（サイトマップインデックスの場合は、その子サイトマップも含む）だけで、記載されているURLをクロールすることはありません。

そのため、GSCWizard-Botがrobots.txtやsitemap.xmlなどのファイルをリクエストしているのを見かけることもあります。ボットはrobots.txtを読んで、そこに含まれるSitemap:ディレクティブを見つけ（記載がない場合は/sitemap.xmlにフォールバックします）、どのページがXMLサイトマップに含まれているかを確認します。

クローラーがチェックする内容

GSCWizard-Botは、取得したすべてのページから3つのHTML要素を抽出し、Google Search Consoleで過去28日間にそのページが表示された中で最も表示回数の多いクエリと比較します。

クロールの動作

GSCWizard-Botを許可する方法

ほとんどのサイトでは、変更は必要ありません。WAF、ボット管理の仕組み、または厳しいファイアウォールを使っていて、オンページSEOレポートが空になる（またはHTTP 403／429エラーになる）場合は、このユーザーエージェントをホワイトリストに追加してください。

robots.txt（明示的な許可）

User-agent: GSCWizard-Bot
Allow: /

Cloudflare WAFとBot Fight Mode

国別のブロックやASNルールなど、独自のカスタムルールを使っている場合は、Security → WAF → Custom rulesにルールを追加し、ブロックするルールより上に配置してください。

(http.user_agent contains "GSCWizard-Bot")

Action: Skip → All remaining custom rules
        (Pro plans and above: also All Super Bot Fight Mode rules)

この方法は、CloudflareのFreeプランに搭載されているボット対策機能のBot Fight Modeには効きません。CloudflareはこれをWAFの外で動かしているため、SkipやAllowのアクション、Page Rulesは効果がありません。無効にする以外で唯一尊重されるのは、リクエストに最初に一致するIP Access Ruleです。現在のサーバーアドレスについては、メールでお問い合わせください。GSCWizard-Botは現在、Cloudflareの認証済みボットです（ユーザーエージェントの検証を参照）。Cloudflareのデフォルトのボット設定では認証済みボットは対象外となるため、まずはルールなしでお試しください。IP Access Ruleを追加すると、そのアドレスはほかのセキュリティチェックも通過できるようになります。そのため、それでもリクエストがチャレンジされる場合にだけ追加してください。

Nginx

if ($http_user_agent ~* "GSCWizard-Bot") {
    set $allow_bot 1;
}
# use $allow_bot to bypass rate limits / challenges

Apache

SetEnvIfNoCase User-Agent "GSCWizard-Bot" allow_bot
<RequireAll>
    Require all granted
    Require env allow_bot
</RequireAll>

GSCWizard-Botをブロックする方法

GSCWizard-Botは、ページを取得するたびに先にrobots.txtを確認し、そのルールを順守します。次のルールを追加すると、GSCWizard-Botはサイト内のどのページも取得しなくなります。ブロックされたURLはクロールされず、レポートでは「robots.txtによりブロック」と表示されます。

User-agent: GSCWizard-Bot
Disallow: /

エッジで完全にブロックしたい場合は、User-AgentヘッダーがGSCWizard-Botに一致するリクエストを拒否するルールであれば、どれでも機能します。上記の許可ルールを反転させてください。

ユーザーエージェントの検証

クローラーは、3つのユーザーエージェント文字列のいずれかを送信します。オンページSEOチェッカー（タイトル、メタディスクリプション、H1のチェックとサイトマップの読み取り）は1つ目を使います。拡張テクニカル監査（robots.txtやサイトマップを探すリクエストも行います）は2つ目を使います。Merchant Centerのフィード監査は、販売者自身のフィードが参照する商品画像の寸法を測定するときに、3つ目を使います。

GSCWizard-Bot/1.0 (On-Page SEO Checker)
GSCWizard-Bot/1.0 (Full On-Page Checker)
GSCWizard-Bot/1.0 (Feed Audit image probe)

3つともGSCWizard-Botという接頭辞を共有しているため、部分文字列の一致ルール1つですべてをカバーできます。ページのリクエストにはAccept: text/htmlが付き、アプリケーションサーバーから送信されます。ただし、ユーザーエージェント文字列だけでは何の証明にもなりません。誰でもコピーできるためです。確実に確認したい場合は、後述の署名を検証してください。

暗号による検証（Web Bot Auth）

GSCWizard-Botが送るすべてのリクエストには、HTTP Message Signatures（RFC 9421）を使ってEd25519の鍵で署名が付けられます。これは、Cloudflareが認証済みボットを識別するのに使っているWeb Bot Authと同じ方式です。署名付きのリクエストには、次の3つの追加ヘッダーが含まれます。

Signature-Agent: "https://tool.gscwizard.com/.well-known/http-message-signatures-directory"
Signature-Input: sig1=("@authority" "signature-agent");created=...;keyid="...";alg="ed25519";expires=...;nonce="...";tag="web-bot-auth"
Signature: sig1=:...:

公開鍵は、JSON Web Key Setとしてtool.gscwizard.com/.well-known/http-message-signatures-directoryで公開しています。この鍵で署名を検証すれば、リクエストが当社から送信されたものであり、別のホストに対して再送されたものではないことを確認できます。署名には送信先のホストが含まれ、5分後に失効します。

GSCWizard-Botは、この鍵とともにCloudflareの認証済みボットのディレクトリに登録されているため、Cloudflareを使っているサイトでは署名が自動的に検証されます。Cloudflareのデフォルトのボット設定では認証済みボットは対象外となっており、カスタムルールでは、Known Botsフィールドのcf.client.botで一致させることができます。

GSCWizard-Botを名乗っていても有効な署名がないリクエストは、当社のものではありません。そのように扱い、当社までお知らせください。

ご質問・不正利用の報告

GSCWizard-Botが不審な動作をしている、上記の説明より多くクロールしている、またはサイトのクロールを完全に停止してほしい場合は、次の方法でご連絡ください。

関連