O que é
O robots.txt é um arquivo de texto na raiz do site (em seusite.com.br/robots.txt) que diz aos robôs de busca — como o Googlebot — quais partes do site eles podem ou não rastrear. Não é uma barreira de segurança (não protege conteúdo), mas é a forma padrão de orientar os crawlers: evitar que rastreiem áreas administrativas, páginas de busca interna, carrinho, filtros com parâmetros e outras URLs que não deveriam ir para o índice.
Este gerador monta o arquivo para você. Comece por um modelo (permitir tudo, bloquear tudo, WordPress, bloquear áreas internas ou barrar bots de IA) e ajuste: defina um ou mais grupos de User-agent, liste os caminhos a bloquear (Disallow) e a liberar (Allow), e informe o endereço do seu sitemap. O resultado aparece na hora, pronto para copiar ou baixar.
Tudo roda no navegador, de graça e sem cadastro. Depois é só colocar o arquivo na raiz do seu site.
Como usar
- Escolha um modelo pronto para começar (opcional).
- Defina o User-agent (* para todos) e liste os caminhos em Disallow e Allow.
- Adicione outros grupos se quiser regras diferentes para robôs específicos.
- Informe a URL completa do seu sitemap.xml.
- Copie ou baixe o robots.txt e coloque na raiz do site (seusite.com.br/robots.txt).
Exemplos
- Permitir tudo: User-agent: * / Disallow:
- Bloquear o admin do WordPress: Disallow: /wp-admin/ com Allow: /wp-admin/admin-ajax.php
- Bloquear áreas internas: /admin/, /login/, /carrinho/, /busca/
- Barrar bots de IA (GPTBot, ClaudeBot…) mantendo os buscadores liberados.
Perguntas frequentes
O que é o arquivo robots.txt?
É um arquivo de texto público, na raiz do site, que instrui os robôs de busca sobre o que podem rastrear. Ele usa regras simples como 'User-agent' (a qual robô a regra se aplica), 'Disallow' (o que não rastrear) e 'Allow' (exceções liberadas), além da linha 'Sitemap'.
Onde devo colocar o robots.txt?
Sempre na raiz do domínio, acessível em https://seusite.com.br/robots.txt. Ele não vale em subpastas: cada host (incluindo subdomínios) precisa do seu próprio arquivo na raiz.
Bloquear no robots.txt impede a página de aparecer no Google?
Não necessariamente. O robots.txt impede o rastreamento, mas uma URL bloqueada ainda pode aparecer no índice (sem descrição) se houver links para ela. Para garantir que uma página não seja indexada, use a meta tag noindex ou proteção por senha — não o robots.txt.
O robots.txt protege conteúdo privado?
Não. Ele é público e apenas 'pede' aos robôs que respeitem as regras — robôs mal-intencionados podem ignorá-lo. Para proteger conteúdo de verdade, use autenticação (login/senha) no servidor. Nunca confie no robots.txt como medida de segurança.