Como configurar robots.txt e llms.txt: guia prático para blogs, lojas online e sites empresariais

• O que é um arquivo robots.txt?
• Estrutura e localização do arquivo robots.txt
• O que um arquivo robots.txt deve conter?
• Que diretórios devem ser excluídos?
• Visão geral por tipo de site
• Ocultar ou indexar categorias e tags?
• O que considerar em blogs, lojas online e sites empresariais
• robots.txt para WordPress: configurações típicas
• Adicionar o sitemap ao robots.txt
• Metatags: noindex, nofollow e dofollow
• O que é um arquivo llms.txt?
• Dicas e truques para robots.txt
• Perguntas frequentes sobre robots.txt
• Glossário

O que é um arquivo robots.txt?

Se quiser otimizar seu site para motores de busca, chegará mais cedo ou mais tarde a um ponto importante: configurar corretamente seu arquivo robots.txt.

O robots.txt é um simples arquivo de texto na raiz de seu domínio, por exemplo, em:

• https://www.deineseite.de/robots.txt

Neste arquivo você define regras para rastreadores como Googlebot, Bingbot ou outros robots.txt Diga a eles quais áreas do seu site podem ser rastreadas e quais devem ser ignoradas.

Importante:

• O arquivo robots.txt controla o rastreamento, em outras palavras, que URLs um bot é permitido solicitar.
• Não é diretamente responsável por se uma página acaba no índice – é assim que meta tags gostam noindex São para.

Você pode pensar no arquivo robots.txt como uma regra de casa educada para robôs: “Você pode entrar aqui, por favor, fique lá fora.”

Estrutura e localização do arquivo robots.txt

Para garantir que os motores de busca possam encontrar seu arquivo robots.txt, ele deve sempre ser armazenado no diretório raiz do domínio:

• Correto. https://www.beispiel.de/robots.txt
• Errado. https://www.beispiel.de/ordner/robots.txt

Subdomínios cada um precisa de seu próprio arquivo robots.txt se você quiser controlá-los separadamente, por exemplo:

• https://shop.beispiel.de/robots.txt

Uma estrutura de base simples se parece com esta:

User-agent: *
Disallow: 

Sitemap: https://www.beispiel.de/sitemap_index.xml

• User-agent: * As regras se aplicam a todos os rastejantes.
• Disallow: Sem um caminho significa: nada é bloqueado, tudo pode ser rastejado.
• Com Sitemap: Você liga seu mapa do site XML, que é muito útil para SEO.

Um exemplo prático baseado em suas anotações:

User-agent: *
Disallow: 
Disallow: /sh/
Disallow: /page/
Disallow: /tag/
Disallow: /de/tag/
Disallow: /en/tag/
Disallow: /cookies/
Disallow: /tags/
Disallow: /wp-content/cache/wpo-minify/
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

Sitemap: https://www.cosci.de/sitemap_index.xml

Aqui você exclui caches, tag pages e arquivos técnicos do rastreamento e ao mesmo tempo fornecer seu mapa do site.

O que um arquivo robots.txt deve conter?

Se você quer configurar seu arquivo robots.txt corretamente, você deve mantê-lo o mais magro e claro possível. Conteúdos típicos são:

• Regras padrão para todos os rastejantes
• Regras opcionais para rastreadores específicos.
• Desautorizar regras para diretórios técnicos e sem importância
• Um link para um ou mais mapas do site

Um bom arquivo robots.txt?

• Nunca bloqueie conteúdo importante.
• Evitar desperdiçar o orçamento em URLs inúteis.
• Deixe claro onde vive o conteúdo principal do seu site.

Que diretórios devem ser excluídos?

Nem toda URL do seu site é interessante para motores de busca. Há candidatos típicos que você pode considerar em sua configuração do robots.txt

Visão geral por tipo de site

Tipo de site	Muitas vezes faz sentido bloquear	Áreas importantes que você não deve bloquear
Blog	Busca interna, paginação como /page/, arquivos de etiquetas	Posts, categorias, mídia
Loja online	carrinho, checkout, conta do cliente, busca interna	Páginas de produto, categorias, páginas de destino
Site de negócios	área de administração, pastas de teste, ferramentas internas	páginas de serviço, contato, blog, portfólio
Geral	pastas de cache, arquivos técnicos JSON	CSS, JS, imagens, fontes

Um erro comum é bloquear demais.
Se bloquear todo o CSS ou pastas JavaScript, por exemplo, o Google não pode mais renderizar seu site corretamente. Isso pode prejudicar seus rankings, porque a página parece quebrada do ponto de vista do rastreador.

Ocultar ou indexar categorias e tags?

Especialmente em blogs há uma pergunta recorrente: você deve bloquear etiquetas e categorias no arquivo robots.txt?

Ideia básica:

• Categorias geralmente são estruturadas em torno de tópicos claros e podem ser fortes landing pages.
• As etiquetas são frequentemente usadas muito vagamente e criam muitas páginas finas com pouco conteúdo único.

Possível abordagem:

• Categorias: geralmente é melhor mantê-las indexáveis, desde que sejam bem mantidas.
• Tags: ou mantê-los corretamente e usá-los como landing pages, ou removê-los do índice usando o noindex, follow metatag.

Raramente bloquearia todas as categorias ou etiquetas via robots.txt. Muitas vezes é melhor:

• Remova arquivos fracos do índice usando noindex, follow
• ainda os ligue internamente para que o rastreador possa usar os links como sinais

O que considerar em blogs, lojas online e sites empresariais

Quando você configura um arquivo robots.txt para WordPress, lojas on-line ou sites empresariais, você pode seguir estes pontos:

1. Mantenha conteúdo importante rastreável.
   • Posts, páginas, produtos, categorias
2. Bloquear áreas técnicas
   • áreas de administração, pastas de cache, arquivos de registro, certos arquivos JSON
3. Declare seu mapa do site.
   • Ligue um ou vários mapas do site.
4. Sistemas seguros de montagem e teste
   • idealmente use proteção por senha, não apenas o robots.txt.

robots.txt para WordPress: configurações típicas

Muitas instalações do WordPress usam algo assim fora da caixa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Este é um ponto de partida sensato. Além disso, você pode excluir certos diretórios, como em suas notas, por exemplo:

• /wp-content/cache/
• Arquivos técnicos dentro da pasta de uploads
• se você não quiser usá-los

A parte importante é não bloquear acidentalmente. /wp-content/ caminhos que contêm importantes CSS, JS ou imagens. Caso contrário, seu site vai parecer diferente para rastejantes do que para visitantes de verdade.

Adicionar o sitemap ao robots.txt

Se quiser configurar seu arquivo robots.txt corretamente, a entrada do mapa do site é quase sempre parte dele:

Sitemap: https://www.deineseite.de/sitemap_index.xml

Se usar vários mapas, pode listar todos. Muitos plugins de SEO para WordPress geram automaticamente mapas de sites, por exemplo:

• /sitemap_index.xml
• /post-sitemap.xml
• /page-sitemap.xml

A referência em robots.txt ajuda rastreadores a descobrir suas URLs mais importantes rapidamente.

Metatags: noindex, nofollow e dofollow

Além do arquivo robots.txt existem meta tags que você pode usar para controlar o comportamento do motor de busca no nível da página.

Uma meta tag típica é:

<meta name="robots" content="noindex,follow">

Os valores mais importantes:

• index – a página pode ser indexada
• noindex – a página não deve aparecer no índice de busca
• follow Os links na página podem ser usados como sinais de classificação.
• nofollow Os links na página não devem ser usados como sinais de classificação.

“Dofollow” não é um valor oficial. É simplesmente o comportamento padrão se você usar follow ou não especifique nada.

Exemplos práticos:

• Post de blog com conteúdo útil: index,follow
• Busca interna, páginas de filtro fracas: noindex,follow
• Links patrocinados: adicionar rel="sponsored" ou rel="nofollow" para o link

robots.txt e metatags pertencem um ao outro:

• robots.txt controla se um URL pode ser rastreado.
• A metatag controla se uma URL rastejada deve aparecer no índice.

O que é um arquivo llms.txt?

Com a ascensão de rastreadores de IA a questão de como controlar o conteúdo para modelos de IA torna-se mais importante. Aqui é onde o conceito de llms.txt entra em cena.

A idéia básica:

• Você cria um arquivo como /llms.txt na raiz do seu site
• Neste arquivo você descreve como os rastreadores de IA podem usar seu conteúdo.
• Você pode destacar áreas recomendadas, restringir algumas seções ou pedir explicitamente para não usar determinado conteúdo

Enquanto o arquivo robots.txt controla rastreadores em nível URL, o arquivo llms.txt é mais como um arquivo de orientação e contexto para modelos de linguagem grandes. Não é um padrão difícil ainda, mas é cada vez mais discutido como uma adição à abordagem clássica robots.txt.

Você também pode mirar rastreadores específicos de IA diretamente em seu arquivo robots.txt, por exemplo:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Isso diz a esses robôs que eles não podem rastrear seu site, por exemplo, para limitar o uso de seu conteúdo em treinamento de IA.

Dicas e truques para robots.txt

Algumas dicas práticas:

1. Menos é muitas vezes mais
   Mantenha o arquivo limpo. Algumas regras específicas são melhores que um conjunto caótico de regras.
2. Não use como recurso de segurança.
   O robots.txt está disponível publicamente. Tudo que é realmente secreto pertence por trás da autenticação ou proteção de acesso, não no robots.txt.
3. Testando mudanças.
   Se você mudar o robots.txt, verifique com ferramentas on-line ou no Console de busca se as regras funcionam como desejado.
4. Proteger ambientes de encenação extra
   Páginas de estacionamento não só devem ter um robots.txt, mas também ser protegidas por senha.
5. Uso de combinação
   Configurar robots.txt corretamente sempre significa: pensar em combinação com meta-tags, etiquetas canônicas, mapas de sites e ligação interna limpa, não em isolamento.

Perguntas frequentes sobre robots.txt

O que acontece se eu não tiver um arquivo robots.txt?
Nesse caso, os rastreadores podem rastrear tudo que é acessível por padrão. Para muitos sites pequenos isso é completamente bom, mas para lojas e projetos complexos pode levar a rastreamentos desnecessários.

Posso ocultar páginas com robots.txt?
Não. O arquivo robots.txt é apenas uma recomendação para rastreadores. Ele não protege contra acesso direto e não automaticamente impede URLs de aparecer no índice se eles estão ligados de outros sites.

Devo bloquear imagens via robots.txt?
Na maioria dos casos não. Imagens são uma parte importante do SEO, especialmente na busca de imagens. A exceção são imagens internas ou sensíveis que não devem ser públicas. Estes pertencem a áreas protegidas.

Quantas vezes os motores de busca lêem meu arquivo robots.txt?
Crawlers pedem o arquivo robots.txt regularmente. As mudanças são, portanto, geralmente levadas em conta relativamente rapidamente.

Posso declarar vários sitemaps no robots.txt?
Sim. Você pode adicionar vários Sitemap: entradas, por exemplo para um blog, uma loja e mapas de imagens.

Glossário

robots.txt
Arquivo de texto na raiz de um domínio que diz aos rastreadores da web quais áreas do site podem rastrear e quais devem evitar.

Crawler / bot
Programa automatizado que solicita páginas da web, lê conteúdo e processa para motores de busca ou outros serviços. Exemplos são Googlebot ou Bingbot.

Rasteje o orçamento.
Aproximadamente descreve quantos URLs em um site um rastreador vai pedir em um determinado período de tempo. Quanto maior e mais complexo o site, mais importante é não desperdiçar o orçamento em URLs sem importância.

Metadia noindex
Meta tag no cabeçalho HTML de uma página que sinaliza para o rastreador que esta página não deve aparecer no índice de busca.

Metadia nofollow
Meta tag no cabeçalho HTML (ou atributo no link) que diz que links nesta página não devem ser classificados como um sinal de ranking.

Sitemap
Normalmente um arquivo XML que contém uma lista de URLs importantes em seu site. Ajuda os motores de busca a encontrar e entender seu conteúdo mais rapidamente.

llms.txt
Conceito para um arquivo adicional na raiz do domínio que contém diretrizes especificamente para rastreadores de IA e grandes modelos de linguagem.

User-agent
Nome do bot ou navegador. No robots.txt, User-agent: para definir a qual rastreador uma regra se aplica.

Disallow
Diretiva do robots.txt que bloqueia o rastreamento de caminhos.

Allow
Diretiva do robots.txt que explicitamente permite caminhos a serem rastreados mesmo se um caminho de nível superior é bloqueado.

Este artigo foi traduzido com a ajuda de IA.