Gerador de Robots.txt

Crie diretivas de regras de Robots.txt totalmente estruturadas para permitir ou restringir bots rastreadores e referenciar as localizações do índice dos seus sitemaps XML dinâmicos.

Diretivas de Robots

Bots de Pesquisa Padrão (User-agent: *):

Política do Googlebot:

URL do sitemap XML:

Diretórios não permitidos (um por linha):

Saída do Robots.txt:

Funcionalidades

Gerador Utilitário de Robots.txt

Defina diretrizes claras para que os mecanismos de busca rastreiem as estruturas das suas páginas.

🤖

Proteção Contra Bots Rastreadores

Impede que os bots de rastreamento desperdicem orçamento de rastreamento a indexar áreas não públicas, como painéis de administração ou caminhos de desenvolvimento.

📄

Indexação de Sitemap

Declara explicitamente o caminho do seu sitemap nas diretivas robots, ajudando os rastreadores a mapear os links mais rapidamente.

🔒

Sem Envios para o Servidor

Configuração 100% baseada no navegador. Não registramos, salvamos nem rastreamos arquivos de domínio.

🕷️

Personalização do Googlebot

Defina facilmente regras distintas para os rastreadores de indexação do Google.

💾

Integração de Download

Baixe diretamente o conjunto final de regras como um arquivo de texto robots.txt limpo e pronto para ser carregado.

⚙️

Substituição Padrão

Defina as configurações padrão da política de permitir/não permitir com uma simples configuração de lista suspensa.

Perguntas Frequentes

Um ficheiro robots.txt é um ficheiro de texto que os webmasters criam para instruir os robôs dos motores de busca (como o Googlebot) sobre como rastrear as páginas do seu site. Faz parte do Protocolo de Exclusão de Robôs (REP).

O ficheiro robots.txt deve ser carregado no diretório raiz do servidor do seu site (por exemplo, https://yourdomain.com/robots.txt) para que os robôs de busca o possam descobrir automaticamente.

Não necessariamente. Uma regra disallow no robots.txt indica ao Googlebot que não deve rastrear essa página, mas se outro site tiver um link para essa página, ela poderá ainda assim ser indexada. Para ocultar páginas por completo, utilize meta tags "noindex" ou autorização no servidor.

Ligar o seu sitemap XML no robots.txt indica aos rastreadores dos motores de busca exatamente onde encontrar a estrutura do mapa do seu site, ajudando-os a indexar os seus artigos mais recentes mais rapidamente.

Sim, os rastreadores dos motores de busca suportam caracteres curinga como * (qualquer sequência de caracteres) e $ (fim de linha) para definir correspondências de padrões.

Você pode verificar suas regras usando a Ferramenta de Teste de Robots do Google Search Console ou as opções de verificação de índice do Bing Webmaster Tools.