Koçyiğit YazılımRobots.txt Test Aracı
Robots.txt dosyanızdaki tarama engellerini ve site haritası tanımlarını görün.
Robots.txt kontrolü ne işe yarar?
Robots.txt, arama motoru tarayıcılarına hangi adresleri tarayabilecekleri konusunda kurallar bildirir. Bu araç, yapıştırdığınız dosyadaki Disallow ve Sitemap satırlarını sayar; tüm yolu kapsayan “Disallow: /” satırını fark etmenize yardımcı olur. Özellikle yayına geçişte dosyaya hızlıca göz atmak için kullanılabilir.
Nasıl kullanılır?
- Sitenizin kök adresindeki robots.txt dosyasını açıp içeriğini kopyalayın.
- Metni araca yapıştırın ve kontrolü çalıştırın.
- Bulunan satırları, ait oldukları User-agent grupları ve diğer kurallarla birlikte inceleyin. Gerekli değişiklikleri kendi sunucunuzda yapın.
Bu kontrolün kapsamı
Araç tam bir robots.txt kural yorumlayıcısı değildir. User-agent gruplarını, Allow önceliklerini, joker karakterleri veya belirli bir URL’nin taranabilirliğini hesaplamaz. “Disallow: /” uyarısını gördüğünüzde hangi tarayıcı grubuna ait olduğunu ayrıca kontrol edin. Dosyada satır bulunması, kuralın bütün arama motorlarına aynı biçimde uygulandığı anlamına gelmez.
Test ortamından taşınan bir dosyada “User-agent: *” altında “Disallow: /” kalmış olabilir. Bu iki satırı birlikte görmek, canlı sitenin tarama ayarını yeniden incelemeniz gerektiğini gösterir.