robots.txt nedir, nasıl oluşturulur? Doğru robots.txt örnekleri

Arama motoru botu bir siteye geldiğinde ilk olarak alanadi.com/robots.txt adresine bakar. Bu küçük metin dosyası, botlara hangi bölümleri taramaları gerektiğini ve site haritasının nerede olduğunu söyler.

KTYAPTECH SEO Analyzer bu sorunu INDEX-ROBOTS-TXT-MISSING-001 koduyla, “robots.txt yok” başlığı altında ve düşük önem derecesiyle raporlar (İndekslenebilirlik). Bu rehber, bulgunun ne anlama geldiğini, neden önemli olduğunu ve adım adım nasıl düzeltileceğini anlatıyor.

robots.txt dosyası nedir?

robots.txt, sitenin kök dizininde bulunan ve Robots Exclusion Protocol kurallarını içeren düz bir metin dosyasıdır. User-agent satırı kuralın hangi bot için geçerli olduğunu, Disallow ve Allow satırları taranmayacak ve taranabilecek yolları, Sitemap satırı ise site haritasının adresini belirtir.

Dosya yoksa botlar tüm siteyi taranabilir kabul eder. SEO Analyzer bu yüzden eksik robots.txt'yi düşük önemde raporlar: bir hata değil, kullanılmayan bir kontrol aracıdır.

Neden önemli? SEO ve kullanıcı deneyimine etkisi

robots.txt olmadan sonsuz adres üreten bölümler (iç arama, filtre kombinasyonları, takvimler) taranabilir ve tarama kaynakları boşa harcanabilir. Site haritasını bildirmenin en kolay yolu da robots.txt'dir.

Ayrıca robots.txt adresi 404 yerine 5xx dönüyorsa Google taramayı tamamen durdurabilir; dosyanın düzgün yanıt vermesi önemlidir.

Sorun nasıl tespit edilir?

• SEO Analyzer raporundaki “robots.txt yok” bulgusunu kontrol edin.
• Tarayıcıda alanadiniz.com/robots.txt adresini açın.
• Search Console'daki robots.txt raporunda Google'ın dosyayı nasıl gördüğünü inceleyin.

Adım adım çözüm

1. Sitenin kök dizininde robots.txt adında düz metin bir dosya oluşturun (alt dizinde çalışmaz).
2. Tüm botlar için User-agent: * satırıyla bir grup başlatın.
3. Yalnızca taranması gerçekten gereksiz olan bölümleri Disallow ile engelleyin (iç arama, sepet, sonsuz filtreler).
4. CSS, JavaScript ve görselleri engellemeyin; Google sayfayı render etmek için bunlara ihtiyaç duyar.
5. Sitemap: satırıyla site haritanızın tam adresini ekleyin.
6. Dosyanın 200 durum kodu ve text/plain türüyle sunulduğundan emin olun.

robots.txt güvenlik aracı değildir

Dosya herkese açıktır ve kurallara uymak botların isteğine bağlıdır. Gizli bölümleri korumak için parola veya kimlik doğrulama kullanın; robots.txt'de gizli yolları listelemek onları ifşa eder.

Alt alan adları

Her alan adı ve alt alan adının kendi robots.txt dosyası vardır. blog.ornek.com'un kuralları www.ornek.com'daki dosyadan okunmaz.

Sık yapılan hatalar

• Disallow: / yazarak tüm siteyi engellemek (genellikle test ortamından kalma).
• CSS ve JS dosyalarını engellemek.
• Dizinden çıkarmak için robots.txt kullanmak (noindex'in görülmesini engeller).
• Dosyayı alt dizine koymak.

Düzeltmeyi nasıl doğrularsınız?

• robots.txt adresini açıp içeriği kontrol edin.
• Search Console robots.txt raporunda hata olmadığını görün.
• SEO Analyzer'ı yeniden çalıştırın.

Sık sorulan sorular

robots.txt olmadan sitem taranır mı?

Evet. Dosya yoksa tüm site taranabilir kabul edilir.

robots.txt sayfayı dizinden çıkarır mı?

Hayır. Yalnızca taramayı engeller; dizinden çıkarmak için noindex kullanın.

Crawl-delay kullanmalı mıyım?

Googlebot Crawl-delay kuralını desteklemez. Tarama yükü sorunlarını sunucu kapasitesiyle çözün.

Özet

robots.txt, taramayı yönlendirmenin ve site haritasını bildirmenin basit bir yoludur. Kök dizinde sade bir dosya oluşturun, yalnızca gereksiz bölümleri engelleyin, CSS/JS'yi açık bırakın ve site haritanızı ekleyin.

Sitenizde bu ve benzeri sorunların olup olmadığını görmek için KTYAPTECH Ücretsiz SEO Analizi aracını kullanabilirsiniz: rapordaki her bulgunun yanında, sorunu anlatan çözüm rehberine giden bir bağlantı bulunur.