Γεννήτρια Robots.txt

Δημιουργήστε πλήρως δομημένες οδηγίες κανόνων Robots.txt για να επιτρέπετε ή να περιορίζετε τα bots ανίχνευσης και να αναφέρετε τις τοποθεσίες του ευρετηρίου των δυναμικών XML sitemaps σας.

Οδηγίες Robots

Προεπιλεγμένες μηχανές αναζήτησης (User-agent: *):

Πολιτική Googlebot:

Διεύθυνση URL του Sitemap XML:

Απαγορευμένοι Φάκελοι (ένας ανά γραμμή):

Έξοδος Robots.txt:

Χαρακτηριστικά

Γεννήτρια Εργαλείου Robots.txt

Ορίστε σαφείς κατευθυντήριες γραμμές για τις μηχανές αναζήτησης ώστε να σαρώνουν τις δομές σελίδων σας.

🤖

Φύλακας Ανιχνευτών

Σταματά τα bots ανίχνευσης από το να σπαταλούν τον προϋπολογισμό ανίχνευσης ευρετηριάζοντας μη δημόσιες περιοχές όπως πίνακες διαχείρισης ή διαδρομές ανάπτυξης.

📄

Ευκτρίωση Χάρτη Ιστοτόπου

Δηλώνει ρητά τη διαδρομή του sitemap σας μέσα στις οδηγίες robots, βοηθώντας τα προγράμματα ανίχνευσης να χαρτογραφήσουν τους συνδέσμους γρηγορότερα.

🔒

Καμία Μεταφόρτωση στον Διακομιστή

Ρύθμιση 100% βασισμένη σε browser. Δεν καταχωρούμε, αποθηκεύουμε ή παρακολουθούμε αρχεία domain.

🕷️

Προσαρμογή Googlebot

Εύκολα ορισμός ξεχωριστών κανόνων για τα σπίτσικα ευρετηρίων Google.

💾

Λήψη Ενσωμάτωσης

Απευθείας κατεβάστε το τελικό σύνολο κανονισμών ως καθαρό, έτοιμο προς χρήση αρχείο robots.txt κειμένου.

⚙️

Παράκαμψη προεπιλογής

Ορίστε τις τυπικές προεπιλεγμένες ρυθμίσεις πολιτικής επιτρεπτικό/απαγορευτικό με μια απλή διαμόρφωση μέσω αναπτυσσόμενου μενού.

Συχνές Ερωτήσεις

Ένα αρχείο robots.txt είναι ένα αρχείο κειμένου που δημιουργούν οι διαχειριστές ιστοσελίδων για να καθοδηγήσουν τα ρομπότ μηχανών αναζήτησης (όπως το Googlebot) πώς να ανιχνεύουν τις σελίδες στον ιστότοπό τους. Είναι μέρος του Πρωτοκόλλου Εξαίρεσης Ρομπότ (REP).

Το αρχείο robots.txt πρέπει να ανεβεί στον ριζικό φάκελο του κεντρικού υπολογιστή του ιστότοπού σας (π.χ. https://yourdomain.com/robots.txt) ώστε οι spiders αναζήτησης να το εντοπίζουν αυτόματα.

Όχι απαραίτητα. Ένας κανόνας disallow στο robots.txt υποδεικνύει στο Googlebot να μην ανιχνεύσει τη συγκεκριμένη σελίδα, αλλά αν κάποιος άλλος ιστότοπος συνδέεται με αυτή τη σελίδα, μπορεί παρ' όλα αυτά να καταχωριστεί στο ευρετήριο. Για να κρύψετε πλήρως σελίδες, χρησιμοποιήστε ετικέτες meta "noindex" ή εξουσιοδότηση στον διακομιστή.

Η σύνδεση του XML sitemap σας στο robots.txt λέει στους ανιχνευτές μηχανών αναζήτησης ακριβώς πού να βρουν τη διάταξη του χάρτη του ιστότοπου, βοηθώντας τους να ευρετηριάσουν τα πιο πρόσφατα άρθρα σας πιο γρήγορα.

Ναι, τα προγράμματα ανίχνευσης των μηχανών αναζήτησης υποστηρίζουν χαρακτήρες μπαλαντέρ όπως το * (οποιαδήποτε ακολουθία χαρακτήρων) και το $ (τέλος γραμμής) για τον ορισμό αντιστοιχίσεων μοτίβων.

Μπορείτε να επαληθεύσετε τους κανόνες σας χρησιμοποιώντας το εργαλείο δοκιμής Robots του Google Search Console ή τις επιλογές ελέγχου ευρετηρίου στο Bing Webmaster Tools.