Robots.txt जेनरेटर

क्रॉलर बॉट्स को अनुमति देने या प्रतिबंधित करने और अपने डायनामिक XML साइटमैप इंडेक्स स्थानों का संदर्भ देने के लिए पूरी तरह से संरचित Robots.txt नियम निर्देश बनाएँ।

रोबोट्स निर्देश

डिफ़ॉल्ट सर्च बॉट्स (User-agent: *):

Googlebot नीति:

साइटमैप XML URL:

अस्वीकृत डायरेक्टरीज़ (प्रति पंक्ति एक):

Robots.txt आउटपुट:

विशेषताएँ

Robots.txt यूटिलिटी जेनरेटर

सर्च इंजनों के लिए आपके पेज संरचनाओं को क्रॉल करने हेतु स्पष्ट दिशानिर्देश निर्धारित करें।

🤖

क्रॉलर बॉट्स गार्ड

क्रॉलर बॉट्स को एडमिन डैशबोर्ड या डेव पाथ जैसे गैर-सार्वजनिक क्षेत्रों को इंडेक्स करने में क्रॉल बजट बर्बाद करने से रोकता है।

📄

साइटमैप इंडेक्सिंग

robots निर्देशों के भीतर आपके साइटमैप पथ को स्पष्ट रूप से घोषित करता है, जिससे क्रॉलर लिंक को तेज़ी से मैप कर पाते हैं।

🔒

कोई सर्वर अपलोड नहीं

100% ब्राउज़र आधारित कॉन्फ़िगरेशन। हम डोमेन फ़ाइलों को पंजीकृत, सहेजते या ट्रेस नहीं करते हैं।

🕷️

Googlebot कस्टमाइज़ेशन

Google के इंडेक्सिंग स्पाइडर के लिए आसानी से अलग-अलग नियम निर्धारित करें।

💾

डाउनलोड इंटीग्रेशन

अंतिम नियम-सेट को सीधे एक स्वच्छ, अपलोड करने के लिए तैयार robots.txt टेक्स्ट फ़ाइल के रूप में डाउनलोड करें।

⚙️

डिफ़ॉल्ट ओवरराइड

एक सरल ड्रॉपडाउन कॉन्फ़िगरेशन के साथ मानक डिफ़ॉल्ट allow/disallow नीति सेटिंग्स सेट करें।

अक्सर पूछे जाने वाले प्रश्न

robots.txt फ़ाइल एक टेक्स्ट फ़ाइल है जिसे वेबमास्टर्स सर्च इंजन रोबोट्स (जैसे Googlebot) को यह निर्देश देने के लिए बनाते हैं कि वे उनकी साइट के पेजों को कैसे क्रॉल करें। यह रोबोट्स एक्सक्लूज़न प्रोटोकॉल (REP) का हिस्सा है।

robots.txt फ़ाइल को आपकी वेबसाइट होस्ट की रूट डायरेक्टरी में अपलोड किया जाना चाहिए (उदाहरण: https://yourdomain.com/robots.txt) ताकि सर्च स्पाइडर इसे स्वचालित रूप से खोज सकें।

आवश्यक रूप से नहीं। robots.txt का disallow नियम Googlebot को उस पेज को क्रॉल न करने के लिए कहता है, लेकिन यदि कोई अन्य साइट उस पेज से लिंक करती है, तो वह फिर भी इंडेक्स हो सकता है। पेजों को पूरी तरह छिपाने के लिए, मेटा "noindex" टैग या सर्वर प्राधिकरण का उपयोग करें।

अपने XML साइटमैप को robots.txt में लिंक करना सर्च इंजन क्रॉलर्स को ठीक-ठीक बताता है कि आपके साइट मैप का लेआउट कहाँ मिलेगा, जिससे उन्हें आपके नवीनतम लेखों को तेज़ी से इंडेक्स करने में मदद मिलती है।

हाँ, सर्च इंजन क्रॉलर पैटर्न मैच परिभाषित करने के लिए * (कोई भी वर्ण अनुक्रम) और $ (पंक्ति का अंत) जैसे वाइल्डकार्ड का समर्थन करते हैं।

आप अपने नियमों को Google Search Console के Robots Testing Tool या Bing Webmaster Tools में इंडेक्स जाँच विकल्पों का उपयोग करके सत्यापित कर सकते हैं।