Log analizi: tarama bütçesi, bot doğrulama ve yapay zekâ botu trafiği

Neden sunucu günlüğüne bakmalı?

Bir tarama aracı, sitenizi kendi kurallarıyla gezer. Sunucu günlüğü (access log) ise Google’ın, Bing’in ve yapay zekâ botlarının gerçekte hangi URL’lere ne sıklıkla, hangi yanıtla geldiğini söyler. Tarama bütçesi, Google’ın sitenizde taramaya ayırdığı kabaca emek demektir. Üç soruya yalnız günlük cevap verir: önemli sayfalarım taranıyor mu, tarama bütçesi çöpe mi gidiyor, ve beklenmeyen botlar sitemde ne yapıyor?

Başlamadan önce: günlüğü doğru yerden alın

• Kaynak: web sunucusu (nginx/Apache) günlüğü. CDN ya da WAF arkasındaysanız, bot istekleri önbellekten karşılandığında kaynak sunucuya hiç ulaşmayabilir; CDN günlüklerini de alın.
• Alanlar: zaman, istemci IP, istek yolu, durum kodu, yanıt boyutu, kullanıcı aracısı, mümkünse yanıt süresi.
• Dönem: en az 30 gün; mevsimsel sitelerde daha uzun.
• KVKK: IP adresi kişisel veri olabilir. Analizi bot IP’leriyle sınırlayın, ziyaretçi IP’lerini analiz verisine taşımayın ve saklama süresini belgeleyin (hukuki değerlendirme yapılmalıdır).

Gelen “Googlebot” gerçekten Google mı? Bot doğrulama

“Googlebot” yazan her istek Googlebot değildir. Google iki yöntem tanımlar:¹

1. Elle (DNS): günlükteki IP için ters DNS sorgusu yapın; alan adı googlebot.com, google.com veya googleusercontent.com olmalı. Sonra bu ana makine adı için ileri DNS sorgusu yapın; sonuç özgün IP ile eşleşmeli.
2. Otomatik (IP aralıkları): IP’yi Google’ın yayımladığı JSON listelerle (CIDR) eşleştirin: yaygın tarayıcılar için common-crawlers.json, özel tarayıcılar için special-crawlers.json, kullanıcı tetiklemeli getiriciler için user-triggered-fetchers.json ve benzerleri.

# Örnek: ters ve ileri DNS
host 66.249.66.1
# crawl-66-249-66-1.googlebot.com adı dönmelidir
host crawl-66-249-66-1.googlebot.com
# aynı IP'ye çözülmelidir

Anthropic, botlarının IP listesini kimlik doğrulama amacıyla yayımladığını belirtir; ama bu IP’leri engellemeyi önermez.³ Diğer sağlayıcıların resmî IP/kullanıcı aracısı belgeleri için robots.txt ve yapay zekâ botları rehberine bakın.

Üç temel analiz: komutlar (nginx birleşik biçim)

# Googlebot isteklerinin durum kodu dağılımı
grep -i "googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

# En çok taranan 30 URL
grep -i "googlebot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

# Parametreli URL'lere giden tarama payı
grep -i "googlebot" access.log | awk '{print $7}' | grep -c "?"

Bu komutlar yöntemi göstermek içindir; üretimde önce IP doğrulaması yapılmış bir alt küme üzerinde çalışın, aksi hâlde taklit edilmiş istekleri ölçersiniz.

Gördüğünüz şey ne anlama gelir, ne yapmalı?

Günlük almadan hızlı bakış: Search Console Tarama İstatistikleri

Rapor, tarama isteği sayısı, indirme boyutu, yanıt süresi, ana makine kullanılabilirliği, yanıt kodları, dosya türleri, tarama amacı ve Googlebot türünü gösterir; yalnız kök düzeyindeki mülklerde bulunur. Yanıt kodlarını “iyi” (200, 301, 302, 304), “muhtemelen iyi” (404) ve “kötü” (401/407, 5xx, DNS hatası, zaman aşımı, yönlendirme hatası) olarak gruplar; dosya türü yüzdeleri bayt değil yanıt payıdır. Google bin sayfadan küçük sitelerin genellikle bu rapora ihtiyaç duymadığını da yazar.² Günlük analizinin üstünlüğü, yalnız Google’ı değil tüm botları ve tüm süreyi kapsamasıdır.

Yapay zekâ botları sitenize geliyor mu?

Günlükte GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User gibi kullanıcı aracılarını ayrı ayrı sayın. Kullanıcı kaynaklı getiriciler (*-User) bir insanın isteği üzerine gelir ve robots.txt kurallarının her zaman uygulanmadığı belirtilmiştir.⁴⁵ Bu istekler iki yönden yararlıdır: hangi sayfalarınızın yanıtlarda kullanıldığını gösterir ve engellemeyi düşündüğünüz botun gerçek yükünü ölçer. Dikkat: kullanıcı aracısı taklit edilebilir; sayılar “iddia edilen bot” sayısıdır, doğrulanmış sayı değildir.

Bunu düzene bağlayın: aylık ve çeyreklik süreç

1. Aylık: bot doğrulamalı özet (durum kodları, boşa giden tarama, 5xx).
2. Her büyük yayından sonra: yeni şablon ya da taşıma sonrası 2 hafta yoğun izleme (site taşıma rehberi).
3. Çeyreklik: yetim sayfa raporu ve yapay zekâ botu trafiği karşılaştırması.
4. Sürekli: günlük saklama süresi ve erişim yetkisi denetimi (KVKK).