robots.txt dosyanız, arama motoru tarayıcılarına hangi sayfaları tarayabileceklerini (veya tarayamayacaklarını) bildirir. Google Search Console ile ilişkisi şöyledir:
Robots.txt Dosyanızı Kontrol Etme
Tarayıcınızda doğrudan https://yourdomain.com/robots.txt adresini ziyaret edin. Düz metin bir dosya görmelisiniz.
Belirli Bir Sayfanın Engellenip Engellenmediğini Kontrol Etme
Search Console'daki URL Denetimi aracını kullanın: tarama ayrıntıları bölümünde bir sayfanın "robots.txt tarafından engellendiğini" açıkça size söyler.
Robots.txt İçin En İyi Uygulamalar
- Dizine eklenmesini istediğiniz sayfaları (CSS ve JS dosyaları dahil) ENGELLEMEYİN
- Yönetim panellerini, giriş sayfalarını, teşekkür sayfalarını ve yinelenen parametreli URL'leri engelleyin
- Site haritası URL'nizi robots.txt içinde belirtin:
Sitemap: https://yourdomain.com/sitemap.xml - Bir sayfayı aramadan gizlemek için asla robots.txt kullanmayın, bunun yerine noindex kullanın (engellenen sayfalara bağlantı verilmişse yine de aramada görünebilir)
Robots.txt Test Aracı
Google, robots.txt test aracını 2022'de Search Console'dan kaldırdı. Bağımsız robots.txt test aracını veya üçüncü taraf araçları kullanabilirsiniz.