GSCWizard-Bot nedir?
GSCWizard-Bot, GSC Wizard içindeki Sayfa İçi SEO raporunu çalıştıran tarayıcıdır. Yalnızca oturum açmış bir kullanıcı, sahibi olduğu bir Google Search Console mülkü için raporu açtığında çalışır: açık web'i taramaz, bağlantıları takip etmez ve herhangi bir dizin oluşturmaz.
Bu kullanıcı aracısını erişim günlüklerinizde görürseniz, sitenizin doğrulanmış bir sahibi (veya Search Console mülkünüze erişimi olan biri) GSC Wizard'daki Sayfa İçi SEO Denetleyicisi'ni açmış ve sayfalarınızı analiz etmesini istemiş demektir.
Oturum açmış bir sahibi GSC Wizard'dan (veya GSC Wizard MCP sunucusundan) XML site haritalarınızdan birini okumasını istediğinde de aynı kullanıcı aracısı kullanılır. Örneğin, bir site haritasındaki URL'leri Search Console tıklamaları ve gösterimleriyle birleştiren Site Haritası Performansı raporunda olduğu gibi. Bu, site haritası dosyasının kendisi için (site haritası dizini ise alt site haritaları için) tek bir istektir; listelediği URL'lerin taranması asla söz konusu değildir.
Bu nedenle GSCWizard-Bot'un robots.txt ve sitemap.xml gibi dosyaları istediğini de görebilirsiniz. Bot, hangi sayfalarınızın XML site haritanıza dahil olduğunu kontrol edebilmek için robots.txt dosyasını okuyarak içindeki Sitemap: yönergelerini bulur (hiçbiri listelenmemişse /sitemap.xml adresine başvurur).
Tarayıcı neleri kontrol eder
GSCWizard-Bot, çektiği her sayfa için üç HTML öğesini çıkarır ve bunları, sayfanın son 28 günde Google Search Console'da zaten sıralandığı en çok gösterim alan sorguyla karşılaştırır.
1 Sayfa başlığı: <title>
<title> etiketinin içeriğini okur ve en üstteki GSC sorgusundaki her anlamlı kelimenin (3+ karakter) bu etikette geçip geçmediğini kontrol eder. Mevcut başlığı, geçti/kaldı işaretiyle birlikte olduğu gibi gösterir.
2 Meta açıklama: <meta name="description">
Meta açıklamanın content özniteliğini okur ve aynı anahtar kelime kapsamını kontrol eder. Ayrıca mevcut karakter uzunluğunu da kaydeder.
3 H1 başlıkları: <h1>
Sayfadaki her <h1> öğesini çıkarır ve herhangi birinin hedef anahtar kelimeleri içerip içermediğini kontrol eder.
Hepsi bu kadar. GSCWizard-Bot JavaScript çalıştırmaz, sayfaları işlemez (render etmez), stil dosyalarını veya betikleri indirmez, sayfalarınızdaki bağlantıları takip etmez ve başka hiçbir veri toplamaz. Sayfa kontrolleri için yalnızca ham HTML yanıtını okur. Tek istisna feed denetimidir: bir satıcı kendi Google Merchant Center hesabını bağladığında bot, piksel boyutlarını ölçmek için o satıcının feed'inde yer alan ürün görsellerini çeker. Her görsel isteği yalnızca ilk 64 KB'ı ister (aralıklı bir istek), bot genişlik ve yüksekliği saklar ve baytları atar. Sayfalarda yaptığı gibi önce görsel sunucusunun robots.txt dosyasını okur ve robots.txt'in izin vermediği görselleri atlar. Bir sayfanın içinde bulduğu görselleri asla çekmez.
Tarama davranışı
Tek bir çalıştırmada her URL, kesin 10 saniyelik bir zaman aşımıyla bir kez çekilir. Yönlendirmeler takip edilir (en fazla beş adım, her biri yeniden kontrol edilir). Aynı URL daha sonraki bir çalıştırmada yeniden çekilebilir; örneğin zamanlanmış bir denetim tekrarlandığında veya bir site sahibi raporu yeniden çalıştırdığında. Bu nedenle zaman içinde aynı URL için tekrarlanan istekler görebilirsiniz.
Başarıyla taranan URL'ler saklanır ve zamanlanmış arka plan çalıştırmaları tarafından en fazla 7 gün yeniden kullanılır. Bir kullanıcı raporu yeniden çalıştırdığında her zaman yeni bir tarama tetiklenir; bu sayede başlık, meta açıklama veya H1'de yapılan düzenlemeler hemen görünür. Yani site sahibi o URL üzerinde aktif olarak çalışırken aynı URL için tekrarlanan istekler görebilirsiniz.
Bir sayfa taraması (sayfa içi kontroller ve iç bağlantı taraması) çalıştırma başına en fazla 1.000 sayfayı kapsar; bunlar her zaman mülkün kendi sayfalarıdır ve Search Console'un o mülk için bildirdiği URL'ler arasından seçilir. Bir feed denetimi, satıcının kendi Merchant Center feed'indeki her benzersiz ürün URL'sini ve bu feed girdilerinin atıfta bulunduğu görselleri kapsar; sabit bir sayfa sınırı yoktur, bunun yerine nezaket kurallarıyla sınırlıdır: ana makine başına az sayıda paralel istek, sunucunuz 429 veya 503 yanıtı verdiğinde geri çekilme ve aşağıda açıklanan robots.txt kuralları.
Canlı bir sayfa veya feed görseli çekilmeden önce tarayıcı robots.txt dosyanızı indirir (çalıştırma başına site başına bir kez) ve GSCWizard-Bot için (bulunamazsa * için) Allow / Disallow kurallarını, * joker karakterleri ve $ sabitleyicileri dahil, değerlendirir. İzin verilmeyen URL'ler asla çekilmez; bunun yerine raporda kullanıcıya bildirilir. Eksik veya erişilemeyen bir robots.txt "hepsine izin ver" olarak kabul edilir.
Site haritası kapsam kontrolleri için tarayıcı, Sitemap: yönergelerini bulmak üzere /robots.txt dosyasını ister, bulamazsa /sitemap.xml adresine başvurur ve bir site haritası dizinini bir seviye derinliğe kadar takip eder (en fazla 50 site haritası dosyası / 50.000 URL). Site haritasındaki URL'ler yalnızca karşılaştırma için kullanılır; taranmak üzere asla kuyruğa alınmaz.
Accept: text/html gönderir ve yanıt gövdesini doğrudan ayrıştırır. Başsız tarayıcı, betik çalıştırma veya varlık çekme yoktur.
Özel, dahili veya geri döngü IP aralıklarına çözümlenen URL'ler, herhangi bir ağ isteği yapılmadan önce engellenir.
GSCWizard-Bot'a nasıl izin verilir
Çoğu site için değişiklik gerekmez. Bir WAF, bot yönetimi katmanı veya kısıtlayıcı bir güvenlik duvarı kullanıyorsanız ve Sayfa İçi SEO raporu boş dönüyorsa (veya HTTP 403 / 429 hataları veriyorsa), kullanıcı aracısını beyaz listeye ekleyin.
robots.txt (açık izin)
User-agent: GSCWizard-Bot
Allow: /Cloudflare WAF ve Bot Fight Mode
Kendi özel kurallarınız için (ülke engelleri, ASN kuralları ve benzerleri), Security → WAF → Custom rules altına bir kural ekleyin ve engelleyen kuralların üstüne yerleştirin:
(http.user_agent contains "GSCWizard-Bot")
Action: Skip → All remaining custom rules
(Pro plans and above: also All Super Bot Fight Mode rules)Bu, Cloudflare'in Free planındaki bot koruması olan Bot Fight Mode için işe yaramaz. Cloudflare bunu WAF'ın dışında çalıştırır, bu nedenle Skip ve Allow eylemlerinin ve Page Rules'un üzerinde etkisi yoktur. Kapatmanın dışında, dikkate aldığı tek istisna isteğe önce eşleşen bir IP Access Rule'dur; güncel sunucu adresimiz için bize e-posta gönderin. GSCWizard-Bot artık Cloudflare tarafından doğrulanmış bir bottur (bkz. Kullanıcı aracısını doğrulama) ve Cloudflare'in varsayılan bot ayarları bunlara dokunmaz; bu yüzden önce kural olmadan deneyin. Bir IP Access Rule, o adresin diğer güvenlik kontrollerinizi de geçmesine izin verir, bu yüzden yalnızca istekler hâlâ doğrulamaya takılıyorsa ekleyin.
Nginx
if ($http_user_agent ~* "GSCWizard-Bot") {
set $allow_bot 1;
}
# use $allow_bot to bypass rate limits / challengesApache
SetEnvIfNoCase User-Agent "GSCWizard-Bot" allow_bot
<RequireAll>
Require all granted
Require env allow_bot
</RequireAll>GSCWizard-Bot nasıl engellenir
GSCWizard-Bot her sayfa çekiminden önce robots.txt dosyanızı kontrol eder ve kurallarına uyar. GSCWizard-Bot'un sitenizdeki herhangi bir sayfayı çekmesini engellemek için aşağıdaki kuralı ekleyin. Engellenen URL'ler taranmak yerine atlanır ve raporda "robots.txt tarafından engellendi" olarak işaretlenir:
User-agent: GSCWizard-Bot
Disallow: /
Uç katmanda kesin bir engelleme tercih ederseniz, User-Agent başlığı GSCWizard-Bot ile eşleşen istekleri reddeden herhangi bir kural işe yarar: yukarıdaki izin kurallarını tersine çevirin.
Kullanıcı aracısını doğrulama
Tarayıcımız üç kullanıcı aracısı dizesinden birini gönderir. Sayfa İçi SEO Denetleyicisi (başlık / meta açıklama / H1 kontrolleri ve site haritası okumaları) birincisini; genişletilmiş teknik denetim (robots.txt ve site haritası keşfi isteklerini de yapar) ikincisini; Merchant Center feed denetimi ise bir satıcının kendi feed'inin atıfta bulunduğu ürün görsellerinin boyutlarını ölçerken üçüncüsünü kullanır:
GSCWizard-Bot/1.0 (On-Page SEO Checker)
GSCWizard-Bot/1.0 (Full On-Page Checker)
GSCWizard-Bot/1.0 (Feed Audit image probe)
Üçü de GSCWizard-Bot önekini paylaşır, bu nedenle tek bir alt dize kuralı hepsini kapsar. Sayfa istekleri Accept: text/html taşır ve uygulama sunucularımızdan gelir. Ancak bir kullanıcı aracısı dizesi tek başına hiçbir şeyin kanıtı değildir: herkes kopyalayabilir. Kesinlik istiyorsanız aşağıda açıklanan imzayı kontrol edin.
Kriptografik doğrulama (Web Bot Auth)
GSCWizard-Bot'un yaptığı her istek, Cloudflare'in doğrulanmış botları tanımlamak için kullandığı aynı Web Bot Auth şeması olan HTTP Message Signatures (RFC 9421) kullanılarak bir Ed25519 anahtarıyla imzalanır. İmzalı bir istek üç ek başlık taşır:
Signature-Agent: "https://tool.gscwizard.com/.well-known/http-message-signatures-directory"
Signature-Input: sig1=("@authority" "signature-agent");created=...;keyid="...";alg="ed25519";expires=...;nonce="...";tag="web-bot-auth"
Signature: sig1=:...:Genel anahtarımız, tool.gscwizard.com/.well-known/http-message-signatures-directory adresinde bir JSON Web Key Set olarak yayımlanır. İmzayı bu anahtara karşı doğrularsanız isteğin bizden geldiğini ve farklı bir ana makineye karşı yeniden oynatılmadığını bilirsiniz: imza, gönderildiği ana makineyi kapsar ve beş dakika sonra geçerliliğini yitirir.
GSCWizard-Bot, bu anahtarla Cloudflare'in doğrulanmış botlar dizininde listelenir; dolayısıyla bir Cloudflare sitesinde imza sizin için kontrol edilir. Cloudflare, doğrulanmış botları varsayılan bot ayarlarının dışında tutar ve bunları özel kurallarda Known Bots alanıyla, yani cf.client.bot ile eşleştirebilirsiniz.
GSCWizard-Bot olduğunu iddia eden ancak geçerli bir imzası olmayan bir istek görürseniz, bu biz değiliz; ona göre davranın ve lütfen bize bildirin.
Sorular veya kötüye kullanım bildirimleri
GSCWizard-Bot'un hatalı davrandığını, yukarıda anlatılandan fazla tarama yaptığını düşünüyorsanız veya sitenizi taramayı tamamen bırakmamızı istiyorsanız lütfen bizimle iletişime geçin: