منشئ ملف Robots.txt

أنشئ توجيهات قواعد Robots.txt كاملة البنية للسماح لروبوتات الزحف أو تقييدها والإشارة إلى مواقع فهرس خرائط XML الديناميكية الخاصة بك.

توجيهات Robots

روبوتات البحث الافتراضية (User-agent: *):

سياسة Googlebot:

عنوان URL لخريطة الموقع XML:

الأدلة غير المسموح بها (واحد في كل سطر):

مُخرج Robots.txt:

الميزات

مُنشئ أداة Robots.txt

حدد إرشادات واضحة لمحركات البحث لزحف هياكل صفحاتك.

🤖

حامي روبوتات الزحف

يمنع روبوتات الزحف من إهدار ميزانية الزحف في فهرسة المناطق غير العامة مثل لوحات تحكم الإدارة أو مسارات التطوير.

📄

فهرسة خريطة الموقع

يعلن صراحةً عن مسار خريطة موقعك داخل توجيهات robots مما يساعد برامج الزحف على رسم الروابط بشكل أسرع.

🔒

لا توجد عمليات تحميل إلى السيرفر

إعداد يعمل بالكامل في المتصفح بنسبة 100%. لا نسجل ملفات النطاق أو نحفظها أو نتتبعها.

🕷️

تخصيص Googlebot

حدّد بسهولة قواعد مميزة لعناكب الفهرسة الخاصة بجوجل.

💾

تكامل التنزيل

قم بتنزيل مجموعة القواعد النهائية مباشرةً كملف نصي robots.txt نظيف وجاهز للتحميل.

⚙️

التجاوز الافتراضي

اضبط إعدادات سياسة السماح/عدم السماح الافتراضية القياسية باستخدام تكوين بسيط من قائمة منسدلة.

الأسئلة الشائعة

ملف robots.txt هو ملف نصي ينشئه مسؤولو المواقع لإرشاد روبوتات محركات البحث (مثل Googlebot) إلى كيفية الزحف إلى صفحات موقعهم. وهو جزء من بروتوكول استبعاد الروبوتات (REP).

يجب تحميل ملف robots.txt إلى المجلد الجذر لمضيف موقعك (على سبيل المثال https://yourdomain.com/robots.txt) حتى تتمكن عناكب البحث من اكتشافه تلقائيًا.

ليس بالضرورة. تخبر قاعدة الحظر في robots.txt عنكبوت Googlebot بعدم الزحف إلى تلك الصفحة، ولكن إذا ربط موقع آخر بتلك الصفحة، فقد تظل مفهرسة. لإخفاء الصفحات تمامًا، استخدم علامات meta "noindex" أو تفويض الخادم.

إن ربط خريطة موقعك بتنسيق XML في ملف robots.txt يخبر زواحف محركات البحث بمكان العثور على مخطط خريطة موقعك بالتحديد، مما يساعدها على فهرسة أحدث مقالاتك بشكل أسرع.

نعم، تدعم برامج زحف محركات البحث أحرف البدل مثل * (أي تسلسل أحرف) و $ (نهاية السطر) لتحديد تطابقات الأنماط.

يمكنك التحقق من قواعدك باستخدام أداة اختبار Robots في Google Search Console أو خيارات فحص الفهرسة في Bing Webmaster Tools.