robots.txt ile engellenen sayfalara iç bağlantı vermek neden sorun?

Search Console'da “robots.txt tarafından engellenmiş olmasına rağmen dizine eklendi” uyarısıyla karşılaştıysanız, sorunun kaynağı çoğu zaman sitenizin kendi bağlantılarıdır.

robots.txt taramayı engeller, dizine eklemeyi değil. Bu ayrımı bilmemek, gizli kalmasını istediğiniz sayfaların arama sonuçlarında içeriksiz bir kayıt olarak görünmesine yol açabilir.

KTYAPTECH SEO Analyzer bu sorunu INDEX-ROBOTS-BLOCKED-PAGE-LINKED-001 koduyla, “İç bağlantılar robots ile engellenmiş bir adrese gidiyor” başlığı altında ve orta önem derecesiyle raporlar (İndekslenebilirlik). Bu rehber, bulgunun ne anlama geldiğini, neden önemli olduğunu ve adım adım nasıl düzeltileceğini anlatıyor.

robots.txt ile engellenmiş sayfaya bağlantı nedir?

robots.txt dosyasındaki Disallow kuralı, arama motoru botlarının belirtilen adresleri taramasını (içeriğini okumasını) engeller. Ancak Google o adrese bağlantı gördüğünde adresin var olduğunu bilir ve bağlantı metni gibi dış sinyallere dayanarak adresi yine de dizine ekleyebilir.

SEO Analyzer, sitenin iç bağlantılarının robots.txt tarafından engellenen adreslere gittiğini tespit ettiğinde bu bulguyu verir.

Neden önemli? SEO ve kullanıcı deneyimine etkisi

Engellenen ama bağlantı alan sayfalar arama sonuçlarında açıklamasız, “Bu sayfa hakkında bilgi yok” notuyla görünebilir. Bu hem kötü bir görünüm hem de gizli olması istenen sayfaların (sepet, hesap, filtre sonuçları) açığa çıkması demektir.

Ayrıca iç bağlantı değeri, taranamayan ve değerlendirilemeyen sayfalara akar. Engelleme amacı dizinden çıkarmaksa robots.txt yanlış araçtır.

Sorun nasıl tespit edilir?

• SEO Analyzer raporundaki “İç bağlantılar robots ile engellenmiş bir adrese gidiyor” bulgusunu inceleyin.
• Search Console'da “robots.txt tarafından engellenmiş olmasına rağmen dizine eklendi” sayfalarını listeleyin.
• robots.txt kurallarınızı bir test aracıyla kontrol edin ve hangi bölümlerin engellendiğini netleştirin.
• Menü, alt bilgi ve filtre bağlantılarında engellenen adreslere giden bağlantıları arayın.

Adım adım çözüm

1. Engellenen adreslerin neden engellendiğini belirleyin: tarama yükünü azaltmak mı, yoksa sayfanın arama sonuçlarında görünmemesi mi?
2. Amaç dizinden çıkarmaksa robots.txt engelini kaldırın ve sayfaya noindex ekleyin; Google'ın noindex'i görebilmesi için sayfa taranabilir olmalıdır.
3. Sayfa dizinden çıktıktan sonra, isterseniz tarama yükü için engeli geri ekleyebilirsiniz.
4. Engeli korumanız gerekiyorsa bu adreslere verilen gereksiz iç bağlantıları kaldırın veya azaltın.
5. Filtre ve sıralama parametreleri gibi sonsuz adres üreten yapılar için bağlantıları mümkünse düzenli adres yerine form veya JavaScript ile yönetin.

robots.txt ne zaman doğru araçtır?

Sonsuz sayıda adres üreten takvim, filtre kombinasyonu veya iç arama gibi bölümler için tarama bütçesini korumak amacıyla. Hassas veya özel içeriği gizlemek için değil; bunun için parola koruması veya noindex kullanılmalıdır.

Sepet ve hesap sayfaları

Bu sayfalar zaten kullanıcıya özeldir ve çoğu zaman giriş gerektirir. Giriş gerektiren sayfalar taranmaya çalışıldığında giriş ekranına yönlenir; bunları dizin dışı tutmak için noindex eklemek, robots.txt ile engellemekten daha güvenilirdir.

Sık yapılan hatalar

• Hem robots.txt engeli hem noindex kullanıp noindex'in görüleceğini sanmak.
• Hassas sayfaları yalnızca robots.txt ile gizlemeye çalışmak (robots.txt herkese açıktır).
• Her sayfada engellenen bölümlere bağlantı vermek.

Düzeltmeyi nasıl doğrularsınız?

• Search Console URL Denetimi ile sayfanın taranabildiğini ve noindex'in görüldüğünü doğrulayın.
• Dizine eklenmiş-engellenmiş sayfa sayısının zamanla düştüğünü izleyin.
• SEO Analyzer'ı yeniden çalıştırın.

Sık sorulan sorular

robots.txt sayfayı arama sonuçlarından kaldırır mı?

Hayır. robots.txt yalnızca taramayı engeller. Sayfa başka yerlerden bağlantı alıyorsa içeriği okunmadan dizine eklenebilir.

noindex ve Disallow birlikte çalışır mı?

Hayır. Disallow edilen sayfa taranmadığı için Google noindex etiketini göremez.

robots.txt'de gizli bölümleri listelemek güvenli mi?

Hayır. robots.txt herkese açıktır ve listelediğiniz yollar, gizlemeye çalıştığınız bölümleri ifşa eder. Gerçek gizlilik için parola koruması kullanın.

Özet

robots.txt taramayı, noindex dizine eklemeyi kontrol eder. Bir sayfanın arama sonuçlarında görünmesini istemiyorsanız onu taranabilir bırakıp noindex ekleyin ve engellenen bölümlere gereksiz iç bağlantı vermeyin.

Sitenizde bu ve benzeri sorunların olup olmadığını görmek için KTYAPTECH Ücretsiz SEO Analizi aracını kullanabilirsiniz: rapordaki her bulgunun yanında, sorunu anlatan çözüm rehberine giden bir bağlantı bulunur.