Generador de Robots.txt

Cree directivas de reglas de Robots.txt completamente estructuradas para permitir o restringir los bots rastreadores y hacer referencia a las ubicaciones del índice de sus mapas de sitio XML dinámicos.

Directivas de robots

Bots de búsqueda predeterminados (User-agent: *):

Política de Googlebot:

URL del sitemap XML:

Directorios no permitidos (uno por línea):

Salida de Robots.txt:

Características

Generador de utilidad robots.txt

Define directrices claras para que los motores de búsqueda rastreen las estructuras de tus páginas.

🤖

Protección contra bots rastreadores

Evita que los bots rastreadores desperdicien presupuesto de rastreo indexando áreas no públicas como paneles de administración o rutas de desarrollo.

📄

Indexación de sitemap

Declara explícitamente la ruta de su sitemap dentro de las directivas de robots, lo que ayuda a los rastreadores a mapear los enlaces más rápido.

🔒

Sin subidas al servidor

Configuración 100 % basada en el navegador. No registramos, guardamos ni rastreamos archivos de dominio.

🕷️

Personalización de Googlebot

Define fácilmente reglas distintas para las arañas de indexación de Google.

💾

Descargar integración

Descarga directamente el conjunto final de reglas como un archivo de texto robots.txt limpio y listo para subir.

⚙️

Anulación predeterminada

Configura los ajustes estándar predeterminados de la política de permitir/no permitir con una sencilla configuración desplegable.

Preguntas frecuentes

Un archivo robots.txt es un archivo de texto que los webmasters crean para indicar a los robots de los motores de búsqueda (como Googlebot) cómo rastrear las páginas de su sitio. Forma parte del Protocolo de Exclusión de Robots (REP).

El archivo robots.txt debe subirse al directorio raíz del host de tu sitio web (p. ej. https://yourdomain.com/robots.txt) para que las arañas de búsqueda puedan descubrirlo automáticamente.

No necesariamente. Una regla disallow en robots.txt le indica a Googlebot que no rastree esa página, pero si otro sitio enlaza a esa página, esta aún podría indexarse. Para ocultar páginas por completo, utilice etiquetas meta "noindex" o autorización en el servidor.

Enlazar tu sitemap XML en robots.txt indica a los rastreadores de los motores de búsqueda exactamente dónde encontrar la estructura del mapa de tu sitio, ayudándoles a indexar tus artículos más recientes más rápido.

Sí, los rastreadores de los motores de búsqueda admiten comodines como * (cualquier secuencia de caracteres) y $ (fin de línea) para definir coincidencias de patrones.

Puedes verificar tus reglas usando la Herramienta de prueba de robots de Google Search Console o las opciones de comprobación de indexación de Bing Webmaster Tools.