robots.txt Crawl-delay: Google bu kurala uyar mı?

Sunucunuz botların yoğun taramasından şikâyet ettiği için robots.txt'ye Crawl-delay: 10 eklendi. Bu kural bazı botları yavaşlatır, ama Googlebot'u değil.

KTYAPTECH SEO Analyzer bu sorunu INDEX-ROBOTS-CRAWL-DELAY-DECLARED-001 koduyla, “robots.txt Crawl-delay bildiriyor” başlığı altında ve bilgi önem derecesiyle raporlar (İndekslenebilirlik). Bu rehber, bulgunun ne anlama geldiğini, neden önemli olduğunu ve adım adım nasıl düzeltileceğini anlatıyor.

robots.txt Crawl-delay nedir?

Crawl-delay, tarayıcılardan ardışık istekler arasında belirli saniye beklemelerini isteyen, standart dışı bir robots.txt kuralıdır. Bing gibi bazı tarayıcılar dikkate alır; Google ise bu kuralı desteklemez.

SEO Analyzer bu kuralı bilgi düzeyinde raporlar: hata değildir, ama etkisi sınırlıdır ve bazı botlarda taramayı gereğinden fazla yavaşlatabilir.

Neden önemli? SEO ve kullanıcı deneyimine etkisi

Yüksek bir Crawl-delay değeri, onu destekleyen arama motorlarının büyük sitelerinizi çok yavaş taramasına ve yeni içeriği geç görmesine yol açabilir. Googlebot için ise hiçbir etkisi yoktur; dolayısıyla asıl yük sorunu çözülmemiş olabilir.

Sorun nasıl tespit edilir?

• SEO Analyzer raporundaki “robots.txt Crawl-delay bildiriyor” bulgusunu inceleyin.
• robots.txt'deki Crawl-delay değerini ve hangi User-agent grubunda olduğunu kontrol edin.
• Sunucu günlüklerinde hangi botların gerçekten yük oluşturduğuna bakın.

Adım adım çözüm

1. Tarama yükünün gerçekten sorun olup olmadığını ve hangi botlardan geldiğini ölçün.
2. Sorun yoksa Crawl-delay satırını kaldırın.
3. Sunucu yükünü önbellek, CDN ve kapasite ile çözün.
4. Kötü niyetli veya gereksiz botları güvenlik duvarı ve hız sınırlamasıyla yönetin.
5. Googlebot geçici olarak aşırı yük oluşturuyorsa, kısa süreli 503 veya 429 yanıtları taramayı yavaşlatır; bu uzun süre kullanılmamalıdır.

Search Console tarama hızı ayarı

Google, eski tarama hızı sınırlayıcı aracını kaldırdı. Tarama hızını azaltmanın önerilen yolu, aşırı yük durumunda geçici olarak 500, 503 veya 429 durum kodları döndürmektir.

Sık yapılan hatalar

• Crawl-delay ile Googlebot'u yavaşlatmaya çalışmak.
• Çok yüksek değerler vermek.

Düzeltmeyi nasıl doğrularsınız?

• robots.txt'yi ve sunucu yükünü izleyin.
• SEO Analyzer'ı yeniden çalıştırın.

Sık sorulan sorular

Googlebot'u nasıl yavaşlatırım?

Geçici olarak 503 veya 429 döndürerek. Uzun süreli kullanılırsa sayfalar dizinden düşebilir.

Bing için Crawl-delay kullanmalı mıyım?

Gerçekten yük sorunu varsa düşük bir değer kullanılabilir; ancak önce sunucu tarafı çözümleri deneyin.

Özet

Crawl-delay Googlebot tarafından desteklenmez ve diğer botlarda taramayı gereğinden fazla yavaşlatabilir. Yük sorunlarını önbellek, kapasite ve hız sınırlamasıyla çözün.

Sitenizde bu ve benzeri sorunların olup olmadığını görmek için KTYAPTECH Ücretsiz SEO Analizi aracını kullanabilirsiniz: rapordaki her bulgunun yanında, sorunu anlatan çözüm rehberine giden bir bağlantı bulunur.