O robots.txt é obrigatório para o meu site?

Não é obrigatório. Se o arquivo não existir, os buscadores assumem que podem rastrear todo o site. Mesmo assim, vale a pena ter um para apontar o sitemap e bloquear áreas como a administrativa. Só tome cuidado para não criar regras que bloqueiem conteúdo importante sem querer.

Bloquear uma página no robots.txt faz ela sumir do Google?

Não necessariamente. O robots.txt impede o rastreamento, mas a URL ainda pode aparecer nos resultados, só que sem descrição. Para remover de verdade uma página do índice, use a tag noindex no HTML dela e permita que o Google rastreie a página para ler essa tag.

Como eu testo se o meu robots.txt está correto?

Abra o endereço seusite.com.br/robots.txt direto no navegador para ver o conteúdo que está no ar. Em seguida, use o teste de robots.txt dentro do Google Search Console para verificar se as URLs importantes do seu site estão liberadas para rastreamento.

Como criar o robots.txt certo (e os erros que prejudicam o SEO)

O robots.txt é um dos arquivos mais simples de um site: poucas linhas de texto, sem programação nenhuma. Mas é justamente por isso que ele é perigoso. Um único caractere no lugar errado pode mandar o Google parar de rastrear tudo e, em questão de dias, fazer seu site inteiro sumir dos resultados de busca. Muita gente nem desconfia que a queda de tráfego veio daí.

Neste guia direto você vai entender o que esse arquivo faz, as regras básicas e, principalmente, os erros que custam caro em SEO.

O que é e onde fica o robots.txt

O robots.txt é um arquivo de texto que fica na raiz do seu domínio. Ou seja, ele precisa estar acessível em seusite.com.br/robots.txt e em nenhum outro lugar. Se você colocar em uma subpasta, os buscadores simplesmente não vão encontrá-lo.

A função dele é dar instruções aos robôs de busca (como o Googlebot) sobre quais partes do site eles podem ou não rastrear. Pense nele como um aviso na porta: ele orienta o visitante automático, mas não é uma trava de segurança.

As regras básicas

O arquivo é formado por poucas instruções. As que você realmente precisa conhecer são:

User-agent: define para qual robô a regra vale. O asterisco (*) significa "todos os robôs".
Disallow: bloqueia o rastreamento de um caminho. Disallow: /admin/ pede para não rastrear a pasta admin.
Allow: libera um caminho específico, mesmo dentro de uma pasta bloqueada.
Sitemap: indica o endereço do seu sitemap XML, ajudando o Google a achar todas as páginas.

Um exemplo mínimo e seguro para a maioria dos sites fica assim:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://seusite.com.br/sitemap.xml

Esse modelo libera o site todo para rastreamento, bloqueia apenas a área administrativa e aponta o sitemap. Simples assim.

Erros que prejudicam o SEO

Aqui está a parte que mais derruba sites. Confira os erros clássicos antes que eles custem seu tráfego:

Bloquear o site inteiro sem querer. A linha Disallow: / manda os robôs não rastrearem absolutamente nada. Isso costuma ficar esquecido do período de desenvolvimento, quando o site estava fechado. Ao publicar, essa linha precisa sumir, ou seu site desaparece do Google.
Bloquear CSS e JavaScript. Antigamente era comum colocar Disallow: /wp-includes/ ou bloquear pastas de arquivos. O problema: o Google precisa carregar o CSS e o JS para entender como a página aparece. Sem isso, ele pode achar que seu site não é compatível com celular e te rebaixar.
Achar que robots.txt tira a página do índice. Esse é o mal-entendido mais comum. Bloquear no robots.txt impede o rastreamento, mas a URL ainda pode aparecer no Google (sem descrição, só o link). Para remover de verdade uma página dos resultados, use a tag noindex no HTML da página, e deixe o Google rastreá-la para enxergar essa tag.
Esquecer o sitemap. Não é um erro fatal, mas é uma oportunidade perdida. Incluir a linha Sitemap: facilita a vida do Google para descobrir e indexar suas páginas mais rápido.
Bloquear por engano pastas importantes. Uma regra ampla demais, como Disallow: /produtos, pode derrubar sua loja inteira do rastreamento. Sempre teste o que cada linha realmente bloqueia antes de publicar.

Boas práticas rápidas

Deixe o arquivo o mais simples possível. Menos regras, menos chance de erro.
Nunca bloqueie CSS, JavaScript ou imagens que fazem parte do layout.
Sempre inclua a linha do Sitemap apontando para o endereço correto.
Antes de publicar um site novo, confira se não sobrou nenhum Disallow: / da fase de testes.
Para esconder uma página do Google de verdade, use noindex, não o robots.txt.
Depois de qualquer alteração, teste o arquivo no Google Search Console e abra seusite.com.br/robots.txt no navegador para confirmar que está no ar.

Crie o seu em segundos

Montar um robots.txt na mão é fácil de errar, e um erro aqui sai caro. Para garantir um arquivo limpo, sem bloqueios acidentais e já com o sitemap configurado, use o nosso gerador de robots.txt. É gratuito, você preenche o endereço do seu site, escolhe o que bloquear e baixa o arquivo pronto para subir na raiz do domínio. Rápido, seguro e sem risco de tirar seu site do Google.