robots.txt ve yapay zekâ botları: neyi engeller, neyi açık bırakırsınız

robots.txt gerçekte ne yapar?

robots.txt, tarayıcılara hangi URL’lere istek atabileceklerini söyleyen bir ziyaretçi kuralıdır. Google bunun, bir sayfayı Google’dan saklamak için bir mekanizma olmadığını açıkça yazar; bir sayfayı sonuçlardan uzak tutmak için noindex kullanmak ya da sayfayı parolayla korumak gerekir.¹ Engellenen bir URL, başka sayfalardan bağlantı alıyorsa içeriksiz olarak yine de listelenebilir.⁶

Teknik ayrıntılar (Google’ın yorumuyla):⁶

• Dosya boyutu sınırı 500 KiB’dir; fazlası yok sayılır.
• Kural alanı adı büyük/küçük harfe duyarsız, yol değeri duyarlıdır: /fish, /Fish.asp ile eşleşmez.
• * sıfır veya daha çok karakterle, $ URL sonuyla eşleşir.
• Çakışmada en uzun (en spesifik) yol kazanır; eşitlikte en az kısıtlayıcı kural uygulanır.
• Dosya her ana makine için kökte olmalıdır; alt dizindeki dosyalara bakılmaz.

Yapay zekâ botları üç gruba ayrılır

Konuyu karıştıran şey, “yapay zekâ botu” demenin üç farklı işi tek kelimeye sığdırmasıdır. Önce hangi işin hangi bota ait olduğuna bakın:

Bu tablodan çıkan kritik sonuç: eğitim botunu engellemek arama görünürlüğünüzü düşürmez; arama botunu engellemek düşürür. OpenAI, OAI-SearchBot’tan çıkan sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini, GPTBot’u engellemenin ise yalnız eğitimde kullanılmama sinyali olduğunu yazar.² Anthropic aynı ayrımı ClaudeBot (eğitim), Claude-User ve Claude-SearchBot (kullanıcı/arama) olarak yapar.³ Perplexity, PerplexityBot’un yapay zekâ temel modeli eğitimi için içerik toplamadığını belirtir ve sonuçlarda yer almak için izin vermeyi önerir.⁴

Google-Extended engellenirse Arama etkilenir mi?

Google-Extended ayrı bir HTTP kullanıcı aracısı değil, robots.txt belirtecidir; tarama mevcut Google aracılarıyla yapılır. Belirteç, içeriğin Gemini uygulamaları ve Vertex AI için model eğitiminde ve dayanak kullanımında kullanılıp kullanılmayacağını yönetir. Google belgesine göre Google Arama’ya dahil olmayı etkilemez ve sıralama sinyali değildir.⁵ Dolayısıyla Google-Extended’ı engellemek, AI Overviews ya da AI Mode’da görünmeyi kapatmaz; bu özelliklerde yer almak normal Arama uygunluğuna bağlıdır (sayfa dizinde ve snippet gösterilebilir olmalı).⁷

Üç senaryo, üç yapılandırma

Senaryo A: Arama görünürlüğü açık, eğitim kapalı

# Eğitim verisi olmak istemiyoruz
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Arama ve atıf botları açık (varsayılan: izinli)
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://ornek.com/sitemap.xml

Senaryo B: Her şeye açık. Belirli bir kural yazmamak yeterlidir; botlar varsayılan olarak izinlidir. Yalnız yönetim, sepet ve arama sonuçları gibi alanları Disallow edin.

Senaryo C: Gizli içerik. Gerçekten gizli olması gereken içerik robots.txt’e değil, erişim denetimine (parola, oturum) konur. robots.txt herkese açık bir dosyadır: yasaklı yolları listelemek, o yolları duyurmak demektir.

Anthropic botlarını IP ile engellemeyin

Anthropic, botlarının robots.txt yönergelerine uyduğunu belirtir ve engelleme için robots.txt’i, yalnızca yavaşlatmak için ise standart dışı Crawl-delay uzantısını destekler. Botların IP adreslerini engellemeyi önermez; çünkü bu, botun robots.txt dosyanızı okumasını engelleyip tercihinizin uygulanmasını güvenilmez kılabilir.³

Değişiklik ne zaman yürürlüğe girer?

OpenAI ve Perplexity, ayar değişikliklerinin yaklaşık bir gün içinde sistemlerine yansıyabileceğini belirtir.²⁴ Yani engellemeyi kaldırıp hemen sonuç beklemeyin; değişiklik tarihini bir yere not edin ki sonraki ölçümü onunla karşılaştırabilesiniz.

Karar listesi: dört adımda uygulayın

1. Yapay zekâ aramasında görünmek isteyip istemediğinize karar verin. İstiyorsanız arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) engellemeyin.
2. Eğitim kullanımına itirazınız varsa eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) engelleyin. Bunun görünürlüğe etkisi yukarıdaki belgelere göre yoktur; fakat bir bot kullanıcı aracısı hakkında yazılan davranış zamanla değişir, kayıtları yılda iki kez gözden geçirin.
3. Günlük kayıtlarınızda hangi botların gerçekten geldiğini ölçün (log analizi); kullanıcı aracısı dizgisi taklit edilebilir, resmî IP listeleriyle doğrulayın.
4. Değişikliği yaptıktan sonra dosyayı bir robots.txt test aracıyla ve gerçek bir isteğe benzeyen kural eşleştirmesiyle doğrulayın.