Генератор Robots.txt

Створюйте повністю структуровані директиви правил Robots.txt, щоб дозволити або обмежити роботів-сканерів і вказати розташування вашого динамічного індексу XML-карт сайту.

Директиви robots

Стандартні пошукові роботи (User-agent: *):

Політика Googlebot:

URL-адреса XML-карти сайту:

Заборонені каталоги (по одному в рядку):

Результат Robots.txt:

Функції

Генератор файлу robots.txt

Визначте чіткі правила для пошукових систем щодо сканування структур вашої сторінки.

🤖

Захист від ботів-сканерів

Не дає ботам-сканерам витрачати краулінговий бюджет на індексацію непублічних розділів, як-от адмін-панелі чи шляхи для розробки.

📄

Індексація карти сайту

Явно вказує шлях до вашої карти сайту в директивах robots, допомагаючи сканерам швидше картувати посилання.

🔒

Без завантаження на сервер

Конфігурація на 100% у браузері. Ми не реєструємо, не зберігаємо та не відстежуємо файли доменів.

🕷️

Налаштування Googlebot

Легко визначайте окремі правила для індексувальних роботів Google.

💾

Завантажити інтеграцію

Завантажте кінцевий набір правил безпосередньо у вигляді чистого текстового файлу robots.txt, готового до вивантаження.

⚙️

Перевизначення за замовчуванням

Задайте стандартні налаштування політики дозволу/заборони за замовчуванням за допомогою простого спадного меню.

Часті запитання

Файл robots.txt — це текстовий файл, який вебмайстри створюють, щоб вказати роботам пошукових систем (наприклад, Googlebot), як сканувати сторінки їхнього сайту. Він є частиною Протоколу виключення роботів (REP).

Файл robots.txt потрібно завантажити до кореневого каталогу хостингу вашого веб-сайту (наприклад, https://yourdomain.com/robots.txt), щоб пошукові роботи могли автоматично його знайти.

Не обов'язково. Правило disallow у robots.txt вказує Googlebot не сканувати цю сторінку, але якщо інший сайт посилається на неї, вона все одно може бути проіндексована. Щоб повністю приховати сторінки, використовуйте метатеги "noindex" або авторизацію на сервері.

Додавання посилання на XML-карту сайту у файлі robots.txt точно вказує пошуковим сканерам, де знайти структуру карти вашого сайту, що допомагає їм швидше індексувати ваші найновіші статті.

Так, сканери пошукових систем підтримують символи підстановки, такі як * (будь-яка послідовність символів) і $ (кінець рядка), для визначення відповідності шаблонам.

Ви можете перевірити свої правила за допомогою інструмента тестування robots.txt у Google Search Console або опцій перевірки індексації в Bing Webmaster Tools.