Robots.txt Oluşturucu

Crawler botlarını izin vermek veya kısıtlamak ve dinamik XML sitemap dizin konumlarınızı referans göstermek için tamamen yapılandırılmış Robots.txt kural yönergeleri oluşturun.

Robots Yönergeleri

Gerekli Arama Botları (Kullanıcı-Agent: *)

Googlebot Politikası:

Sitemap XML URL'si:

Yasaklanmış Dizinler (her satırda bir):

Robots.txt Çıktısı:

Özellikler

Robots.txt Yardımcı Üretici

Arama motorlarının sayfa yapılarınızı taraması için net yönergeler tanımlayın.

🤖

Kraltçı Botları Koruma

Kraliyet botlarını, yönetim panelleri veya geliştirme yolları gibi özel alanları indekslemek için tüketmekten engeller.

📄

Sitemap Dizinleme

Robots direktifleri içinde sitemap yolunu açıkça ilan eder, kraltçıların linkleri daha hızlı haritalamasına yardımcı olur.

🔒

Sunucu Yüklemeleri Yok

%100 tarayıcı tabanlı yapılandırma. Domain dosyalarını kaydetme, saklama veya izleme yapmıyoruz.

🕷️

Googlebot Özelleştirme

Google'in indeksleme botları için farklı kuralları kolayca tanımlayın.

💾

İndirme Entegrasyonu

Hesaplanmış kurallar setini doğrudan bir temiz, yüklemek üzere hazır robots.txt metin dosyası olarak indirin.

⚙️

Varsayılan Geçersiz Kılma

Basit bir açılır menü yapılandırmasıyla standart varsayılan izin verme/izin vermeme politikası ayarlarını belirleyin.

Sıkça Sorulan Sorular

Robots.txt dosyası, webmasters tarafından arama motoru kraltçıları (örneğin Googlebot) için sitelerdeki sayfaların nasıl taranacağını yönlendirmek üzere oluşturulan bir metin dosyasıdır. Bu, Robots Exclusion Protocol (REP) adlı bir protokolün bir parçasıdır.

Robots.txt dosyanızın website host'unun kök dizinine (örneğin https://yourdomain.com/robots.txt) yüklenmesi gerekir, böylece arama kraliyetleri otomatik olarak bulabilir.

Mutlaka değil. Bir robots.txt yasak kuralları Googlebot'a bu sayfanın taranmasını engeller, ancak başka bir site bu sayfaya link verirse, hâlâ indekslenebilir. Sayfaları tamamen gizlemek için meta "noindex" etiketleri veya sunucu yetkilendirmesini kullanın.

XML sitemap'nizi robots.txt içinde bağlayarak arama motoru kraliyetleri sitenizin sitemap düzenini tam olarak bulmasını söyler, bu da en yeni makalelerinizin daha hızlı indekslenmesini sağlar.

Evet, arama motoru crawler'ları * (herhangi bir karakter dizisi) ve $ (satır sonu) gibi joker karakterleri destekler ve desen eşleşmeleri tanımlamak için kullanılır.

Kurallarınızı Google Search Console'un Robots Test Aracı'nı veya Bing Webmaster Tools'taki dizin kontrol seçeneklerini kullanarak doğrulayabilirsiniz.