Генератор Robots.txt

Создавайте полностью структурированные директивы правил Robots.txt, чтобы разрешать или ограничивать доступ поисковых роботов и указывать расположение индекса ваших динамических XML-карт сайта.

Директивы для роботов

Стандартные поисковые боты (User-agent: *):

Политика Googlebot:

URL-адрес Sitemap XML:

Запрещённые каталоги (по одному в строке):

Результат robots.txt:

Возможности

Генератор файла robots.txt

Задайте понятные правила для поисковых систем при сканировании структуры ваших страниц.

🤖

Защита от поисковых роботов

Не позволяет поисковым роботам расходовать краулинговый бюджет на индексацию непубличных разделов, таких как административные панели или пути разработки.

📄

Индексирование карты сайта

Явно указывает путь к вашей карте сайта в директивах robots, помогая поисковым роботам быстрее находить ссылки.

🔒

Без загрузки на сервер

Настройка на 100% выполняется в браузере. Мы не регистрируем, не сохраняем и не отслеживаем файлы домена.

🕷️

Настройка Googlebot

Легко задавайте отдельные правила для индексирующих роботов Google.

💾

Интеграция загрузки

Скачайте итоговый набор правил напрямую в виде готового к загрузке текстового файла robots.txt.

⚙️

Переопределение значения по умолчанию

Задайте стандартные настройки политики разрешения/запрета по умолчанию с помощью простого выпадающего списка.

Часто задаваемые вопросы

Файл robots.txt — это текстовый файл, который веб-мастера создают, чтобы указать роботам поисковых систем (например, Googlebot), как сканировать страницы их сайта. Он является частью стандарта исключений для роботов (REP).

Файл robots.txt должен быть загружен в корневой каталог хостинга вашего сайта (например, https://yourdomain.com/robots.txt), чтобы поисковые роботы могли обнаружить его автоматически.

Не обязательно. Правило disallow в robots.txt указывает Googlebot не сканировать эту страницу, но если на неё ссылается другой сайт, она всё равно может попасть в индекс. Чтобы полностью скрыть страницы, используйте метатеги "noindex" или авторизацию на сервере.

Указание XML-карты сайта в robots.txt сообщает поисковым роботам, где именно найти структуру вашего сайта, что помогает им быстрее индексировать ваши последние статьи.

Да, поисковые краулеры поддерживают подстановочные знаки, такие как * (любая последовательность символов) и $ (конец строки), для задания шаблонов соответствия.

Вы можете проверить свои правила с помощью инструмента тестирования robots.txt в Google Search Console или параметров проверки индексации в Bing Webmaster Tools.