robot_2
Robots.txt Oluşturucu
Arama motoru botlarını yönlendirin
tune Ayarlar
Her satıra bir yol yazın
0 = Gecikme yok (önerilen)
code Robots.txt Çıktısı
info
Nasıl Kullanılır?
Bu kodu kopyalayın ve sitenizin kök dizinine robots.txt adıyla kaydedin.
Robots.txt Nedir?
Robots.txt dosyası, arama motoru botlarına (crawler) sitenizin hangi
bölümlerini taraması veya taramaması gerektiğini söyleyen bir metin dosyasıdır. Bu dosya,
sitenizin kök dizinine yerleştirilir ve https://siteniz.com/robots.txt
adresinden erişilebilir olmalıdır.
Robots.txt Ne İşe Yarar?
- Arama motorlarının dizine eklemesini istemediğiniz sayfaları engelleyebilirsiniz (admin paneli, kullanıcı sayfaları vb.)
- Sunucu kaynaklarını korumak için tarama hızını kontrol edebilirsiniz
- Sitemap dosyanızın konumunu arama motorlarına bildirebilirsiniz
- Gereksiz sayfa taramalarını önleyerek crawl bütçenizi optimize edebilirsiniz
Önemli Uyarılar
- Robots.txt gizlilik aracı DEĞİLDİR. Sadece tarayıcıları yönlendirir.
- Kötü niyetli botlar robots.txt'yi görmezden gelebilir.
- Hassas içerikler için parola koruması veya noindex meta etiketi kullanın.