robots.txt test aracı
Bir sayfa adresi yazın; robots.txt dosyanızı okuyalım, seçtiğiniz botun o adrese girip giremediğini ve bunu hangi kuralın belirlediğini gösterelim. GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve Bytespider dahil yapay zekâ botlarının durumunu tek tabloda görürsünüz.
İpucu: Adres yolunu da yazın (örn. ornek.com/urunler/kirmizi); kural o yola göre sınanır.
Ne denetlenir?
- Dosya var mı, doğru türde mi, 500 KiB sınırını aşıyor mu?
- Seçilen bot için en uzun eşleşen kural (Allow/Disallow) ve satır numarası
- 12 bot için erişim tablosu: Google, Bing, Yandex ve yapay zekâ botları
- Sözdizimi sorunları: tanınmayan yönergeler, User-agent'tan önce gelen kurallar, desteklenmeyen noindex
- Site haritası bildirimi ve Crawl-delay kullanımı
Sık sorulanlar
robots.txt bir güvenlik önlemi mi?
Hayır. robots.txt botlara yönelik nazik bir istektir; uymayan botlar olabilir ve dosya herkese açıktır. Gizli içeriği parola ya da yetkilendirme ile koruyun.
Google-Extended'ı engellersem Google'da sıralamam düşer mi?
Hayır. Google-Extended, Gemini gibi üretken yapay zekâ kullanımını denetleyen bir robots.txt belirtecidir; arama sıralamasını etkilemez.
Yapay zekâ botlarını engellemeli miyim?
Eğitim amaçlı botları (ör. GPTBot) engellemek ayrı bir tercihtir. Yapay zekâ yanıtlarında görünmek istiyorsanız arama amaçlı botların (ör. OAI-SearchBot, PerplexityBot) engelli olmaması gerekir.
Allow ile Disallow çakışırsa ne olur?
En uzun (en özel) eşleşen yol kazanır; uzunluklar eşitse Allow kazanır. Araç bu kuralı uygular ve hangi satırın belirleyici olduğunu gösterir.
Diğer araçlar
- Site haritası denetimisitemap.xml geçerli mi, kaç adres içeriyor, örnek adresler yönleniyor ya da hata veriyor mu?
- Yönlendirme zinciri denetimi301/302 adımlarını, döngüleri, www ve https davranışını adım adım gösterir.
- AI görünürlük hızlı kontrolTek bir müşteri sorusunu Claude'a sorar; markanızın anılıp anılmadığını ve sitenizin kaynak gösterilip gösterilmediğini söyler.