Was ist GSCWizard-Bot?
GSCWizard-Bot ist der Crawler, der den Onpage-SEO-Bericht in GSC Wizard antreibt. Er läuft nur, wenn ein angemeldeter Nutzer den Bericht für eine Google-Search-Console-Property öffnet, die ihm gehört. Er durchsucht nicht das offene Web, folgt keinen Links und baut keinerlei Index auf.
Wenn Sie diesen User-Agent in Ihren Zugriffslogs sehen, hat ein verifizierter Inhaber Ihrer Website (oder jemand mit Zugriff auf Ihre Search-Console-Property) den Onpage-SEO-Checker in GSC Wizard geöffnet und ihn gebeten, Ihre Seiten zu analysieren.
Derselbe User-Agent wird verwendet, wenn ein angemeldeter Inhaber GSC Wizard (oder den GSC Wizard MCP-Server) bittet, eine Ihrer XML-Sitemaps zu lesen, zum Beispiel im Bericht zur Sitemap-Leistung, der die URLs einer Sitemap mit ihren Klicks und Impressionen aus der Search Console zusammenführt. Das ist ein einzelner Abruf der Sitemap-Datei selbst (bei einem Sitemap-Index zusätzlich ihrer untergeordneten Sitemaps), niemals ein Crawl der darin aufgeführten URLs.
Möglicherweise sehen Sie GSCWizard-Bot daher auch Dateien wie robots.txt und sitemap.xml abrufen. Der Bot liest die robots.txt, um die darin enthaltenen Sitemap:-Direktiven zu finden (und greift auf /sitemap.xml zurück, wenn keine angegeben sind), damit er prüfen kann, welche Ihrer Seiten in Ihrer XML-Sitemap enthalten sind.
Was der Crawler prüft
Für jede abgerufene Seite extrahiert GSCWizard-Bot drei HTML-Elemente und vergleicht sie mit der Suchanfrage mit den meisten Impressionen, für die die Seite in der Google Search Console in den letzten 28 Tagen bereits rankt.
1 Seitentitel: <title>
Liest den Inhalt des Tags <title> und prüft, ob jedes wesentliche Wort (ab 3 Zeichen) der wichtigsten GSC-Suchanfrage darin vorkommt. Zeigt den aktuellen Title wortgetreu zusammen mit einer Markierung für bestanden oder nicht bestanden.
2 Meta Description: <meta name="description">
Liest das Attribut content der Meta Description und prüft dieselbe Abdeckung der Keywords. Erfasst außerdem die aktuelle Zeichenlänge.
3 H1-Überschriften: <h1>
Extrahiert jede <h1> auf der Seite und prüft, ob eine davon die Ziel-Keywords enthält.
Das ist alles. GSCWizard-Bot führt kein JavaScript aus, rendert keine Seiten, lädt keine Stylesheets oder Skripte herunter, folgt keinen Links innerhalb Ihrer Seiten und erhebt keine weiteren Daten. Für Seitenprüfungen liest er ausschließlich die rohe HTML-Antwort. Die einzige Ausnahme ist das Feed-Audit: Wenn ein Händler sein eigenes Google-Merchant-Center-Konto verbindet, ruft der Bot die im Feed dieses Händlers referenzierten Produktbilder ab, um ihre Abmessungen in Pixeln zu messen. Jede Bildanfrage fordert nur die ersten 64 KB an (eine Range-Anfrage), der Bot behält Breite und Höhe und verwirft die Bytes. Er liest zuerst die robots.txt des Bild-Hosts, wie bei Seiten, und überspringt jedes Bild, das die robots.txt untersagt. Bilder, die er innerhalb einer Seite findet, ruft er nie ab.
Crawl-Verhalten
Innerhalb eines Durchlaufs wird jede URL einmal abgerufen, mit einem festen Timeout von 10 Sekunden. Weiterleitungen werden verfolgt (bis zu fünf Hops, jeweils erneut geprüft). Dieselbe URL kann in einem späteren Durchlauf erneut abgerufen werden, zum Beispiel wenn sich ein geplantes Audit wiederholt oder ein Website-Inhaber einen Bericht erneut ausführt. Deshalb sehen Sie im Lauf der Zeit unter Umständen wiederholte Anfragen für dieselbe URL.
Erfolgreich gecrawlte URLs werden gespeichert und von geplanten Hintergrunddurchläufen bis zu 7 Tage wiederverwendet. Führt ein Nutzer den Bericht erneut aus, löst das immer einen frischen Crawl aus. Änderungen an Title, Meta Description oder H1 erscheinen daher sofort. Das heißt, Sie sehen wiederholte Anfragen für dieselbe URL, wenn der Website-Inhaber gerade aktiv daran arbeitet.
Ein Seiten-Crawl (Onpage-Prüfungen und Crawl der internen Links) umfasst höchstens 1.000 Seiten pro Durchlauf, stets die eigenen Seiten der Property, ausgewählt aus den URLs, die die Search Console dafür meldet. Ein Feed-Audit umfasst jede einzelne Produkt-URL im eigenen Merchant-Center-Feed des Händlers sowie die Bilder, auf die diese Feed-Einträge verweisen. Es hat keine feste Seitenobergrenze und wird stattdessen durch Rücksichtnahme begrenzt: eine geringe Zahl paralleler Anfragen pro Host, Zurückfahren, sobald Ihr Server mit 429 oder 503 antwortet, und die unten beschriebenen robots.txt-Regeln.
Vor jedem Live-Abruf einer Seite oder eines Feed-Bilds lädt der Crawler Ihre robots.txt herunter (einmal pro Website und Durchlauf) und wertet deren Regeln Allow / Disallow für GSCWizard-Bot aus (mit Rückgriff auf *), einschließlich *-Platzhaltern und $-Ankern. Untersagte URLs werden nie abgerufen, stattdessen werden sie dem Nutzer im Bericht gemeldet. Eine fehlende oder nicht erreichbare robots.txt wird als „alles erlaubt“ behandelt.
Für Prüfungen der Sitemap-Abdeckung ruft der Crawler /robots.txt ab, um Sitemap:-Direktiven zu finden, greift auf /sitemap.xml zurück und folgt einem Sitemap-Index eine Ebene tief (höchstens 50 Sitemap-Dateien / 50.000 URLs). Sitemap-URLs dienen nur dem Abgleich und werden nie zum Crawlen eingeplant.
Sendet Accept: text/html und verarbeitet den Antwort-Body direkt. Kein Headless-Browser, keine Skriptausführung, kein Abruf von Assets.
URLs, die auf private, interne oder Loopback-IP-Bereiche auflösen, werden blockiert, bevor eine Netzwerkanfrage gestellt wird.
So erlauben Sie GSCWizard-Bot
Die meisten Websites brauchen keine Änderungen. Wenn Sie eine WAF, eine Bot-Management-Schicht oder eine restriktive Firewall einsetzen und der Onpage-SEO-Bericht leer bleibt (oder mit HTTP-Fehlern 403 / 429 zurückkommt), setzen Sie den User-Agent auf die Whitelist.
robots.txt (ausdrücklich erlauben)
User-agent: GSCWizard-Bot
Allow: /Cloudflare WAF und Bot Fight Mode
Für Ihre eigenen benutzerdefinierten Regeln (Länder-Sperren, ASN-Regeln und Ähnliches) legen Sie unter Security → WAF → Custom rules eine Regel an und platzieren sie oberhalb der Regeln, die blockieren:
(http.user_agent contains "GSCWizard-Bot")
Action: Skip → All remaining custom rules
(Pro plans and above: also All Super Bot Fight Mode rules)Für den Bot Fight Mode, den Bot-Schutz im Free-Tarif von Cloudflare, funktioniert das nicht. Cloudflare führt ihn außerhalb der WAF aus, daher haben Skip- und Allow-Aktionen sowie Page Rules keine Wirkung darauf. Wenn Sie ihn nicht ausschalten möchten, ist die einzige Ausnahme, die er beachtet, eine IP Access Rule, die zuerst auf die Anfrage passt. Schreiben Sie uns eine E-Mail, um unsere aktuelle Serveradresse zu erhalten. GSCWizard-Bot ist inzwischen ein von Cloudflare verifizierter Bot (siehe User-Agent verifizieren), den die Standard-Bot-Einstellungen von Cloudflare in Ruhe lassen. Probieren Sie es deshalb zuerst ohne die Regel. Eine IP Access Rule lässt diese Adresse außerdem an Ihren übrigen Sicherheitsprüfungen vorbei, fügen Sie sie also nur hinzu, wenn Anfragen weiterhin angefochten werden.
Nginx
if ($http_user_agent ~* "GSCWizard-Bot") {
set $allow_bot 1;
}
# use $allow_bot to bypass rate limits / challengesApache
SetEnvIfNoCase User-Agent "GSCWizard-Bot" allow_bot
<RequireAll>
Require all granted
Require env allow_bot
</RequireAll>So blockieren Sie GSCWizard-Bot
GSCWizard-Bot prüft Ihre robots.txt vor jedem Seitenabruf und befolgt deren Regeln. Fügen Sie die folgende Regel hinzu, damit GSCWizard-Bot keine Seite Ihrer Website abruft. Blockierte URLs werden übersprungen und im Bericht als „Von robots.txt blockiert“ markiert, statt gecrawlt zu werden:
User-agent: GSCWizard-Bot
Disallow: /
Wenn Sie lieber eine harte Sperre am Edge setzen möchten, funktioniert jede Regel, die Anfragen ablehnt, bei denen der Header User-Agent auf GSCWizard-Bot passt. Kehren Sie dazu die obigen Allow-Regeln um.
User-Agent verifizieren
Unser Crawler sendet einen von drei User-Agent-Strings. Der Onpage-SEO-Checker (Prüfungen von Title, Meta Description und H1 sowie das Lesen von Sitemaps) verwendet den ersten. Das erweiterte technische Audit (das auch die Abrufe von robots.txt und die Sitemap-Erkennung durchführt) verwendet den zweiten. Das Merchant-Center-Feed-Audit verwendet den dritten, wenn es die Abmessungen der Produktbilder misst, auf die der eigene Feed eines Händlers verweist:
GSCWizard-Bot/1.0 (On-Page SEO Checker)
GSCWizard-Bot/1.0 (Full On-Page Checker)
GSCWizard-Bot/1.0 (Feed Audit image probe)
Alle drei haben das Präfix GSCWizard-Bot, eine einzige Teilstring-Regel deckt sie also ab. Seitenanfragen tragen Accept: text/html und stammen von unseren Anwendungsservern. Ein User-Agent-String beweist allein jedoch nichts, denn jeder kann ihn kopieren. Wenn Sie Gewissheit möchten, prüfen Sie die unten beschriebene Signatur.
Kryptografische Verifizierung (Web Bot Auth)
Jede Anfrage von GSCWizard-Bot wird mit einem Ed25519-Schlüssel per HTTP Message Signatures (RFC 9421) signiert, demselben Web-Bot-Auth-Verfahren, mit dem Cloudflare verifizierte Bots erkennt. Eine signierte Anfrage trägt drei zusätzliche Header:
Signature-Agent: "https://tool.gscwizard.com/.well-known/http-message-signatures-directory"
Signature-Input: sig1=("@authority" "signature-agent");created=...;keyid="...";alg="ed25519";expires=...;nonce="...";tag="web-bot-auth"
Signature: sig1=:...:Unser öffentlicher Schlüssel ist als JSON Web Key Set unter tool.gscwizard.com/.well-known/http-message-signatures-directory veröffentlicht. Prüfen Sie die Signatur gegen diesen Schlüssel, und Sie wissen, dass die Anfrage von uns stammt und nicht gegen einen anderen Host wiedereingespielt wurde: Die Signatur deckt den Host ab, an den sie gesendet wurde, und läuft nach fünf Minuten ab.
GSCWizard-Bot ist mit diesem Schlüssel im Verzeichnis verifizierter Bots von Cloudflare aufgeführt, auf einer Cloudflare-Website wird die Signatur also für Sie geprüft. Cloudflare nimmt verifizierte Bots von den Standard-Bot-Einstellungen aus, und Sie können sie in benutzerdefinierten Regeln mit dem Feld Known Bots, cf.client.bot, erfassen.
Wenn Sie eine Anfrage sehen, die sich als GSCWizard-Bot ausgibt, aber keine gültige Signatur trägt, stammt sie nicht von uns. Behandeln Sie sie entsprechend und melden Sie uns den Vorfall.
Fragen oder Missbrauchsmeldungen
Wenn Sie glauben, dass sich GSCWizard-Bot falsch verhält, mehr crawlt als oben beschrieben, oder wenn wir das Crawlen Ihrer Website ganz einstellen sollen, nehmen Sie bitte Kontakt auf: