ক্রলার বটগুলিকে অনুমতি দিতে বা সীমাবদ্ধ করতে এবং আপনার ডায়নামিক XML সাইটম্যাপ ইনডেক্সের অবস্থান উল্লেখ করতে সম্পূর্ণ কাঠামোবদ্ধ Robots.txt নিয়ম নির্দেশিকা তৈরি করুন।
আপনার পৃষ্ঠার কাঠামো ক্রল করার জন্য সার্চ ইঞ্জিনগুলির জন্য স্পষ্ট নির্দেশিকা নির্ধারণ করুন।
ক্রলার বটগুলোকে অ্যাডমিন ড্যাশবোর্ড বা ডেভ পাথের মতো অ-পাবলিক এলাকা ইনডেক্স করে ক্রল বাজেট নষ্ট করা থেকে বিরত রাখে।
রোবটস নির্দেশিকার ভেতরে আপনার সাইটম্যাপের পাথ স্পষ্টভাবে ঘোষণা করে, যা ক্রলারদের দ্রুত লিংক ম্যাপ করতে সাহায্য করে।
100% ব্রাউজার ভিত্তিক কনফিগারেশন। আমরা ডোমেন ফাইল নিবন্ধন, সংরক্ষণ বা ট্রেস করি না।
Google-এর ইনডেক্সিং স্পাইডারগুলোর জন্য সহজেই আলাদা নিয়ম নির্ধারণ করুন।
চূড়ান্ত রুলসেটটি সরাসরি একটি পরিচ্ছন্ন, আপলোডের জন্য প্রস্তুত robots.txt টেক্সট ফাইল হিসেবে ডাউনলোড করুন।
একটি সাধারণ ড্রপডাউন কনফিগারেশনের মাধ্যমে স্ট্যান্ডার্ড ডিফল্ট অ্যালাউ/ডিসঅ্যালাউ পলিসি সেটিংস নির্ধারণ করুন।