Configurar correctamente robots.txt y llms.txt: guía práctica para blogs, tiendas online y webs empresariales

• ¿Qué es un archivo robots.txt?
• Estructura y ubicación del archivo robots.txt
• ¿Qué debería contener un archivo robots.txt?
• ¿Qué directorios conviene excluir?
• Resumen por tipo de sitio
• ¿Ocultar o indexar categorías y etiquetas?
• Qué tener en cuenta en blogs, tiendas online y webs empresariales
• robots.txt para WordPress – configuración típica
• Enlazar el sitemap en robots.txt
• Etiquetas meta: noindex, nofollow y dofollow
• ¿Qué es un archivo llms.txt?
• Consejos y trucos para robots.txt
• Preguntas frecuentes sobre robots.txt
• Glosario

¿Qué es un archivo robots.txt?

Si desea optimizar su sitio web para los motores de búsqueda, tarde o temprano llegará a un punto importante: configurar su archivo robots.txt correctamente.

El robots.txt es un archivo de texto simple en la raíz de su dominio, por ejemplo bajo:

• https://www.deineseite.de/robots.txt

En este archivo se definen reglas para los rastreadores web como Googlebot, Bingbot u otros bots. Usted les dice qué áreas de su sitio pueden ser arrastradas y que debe ser ignorado.

Importante:

• El archivo robots.txt controla arrastre, en otras palabras que URLs un bot se permite solicitar.
• No es directamente responsable de si una página termina en el índice – que es lo que meta etiquetas como noindex son para.

Usted puede pensar en el archivo robots.txt como una regla de casa cortés para bots: «Usted puede entrar aquí, por favor, quédese ahí fuera.»

Estructura y ubicación del archivo robots.txt

Para asegurarse de que los motores de búsqueda pueden encontrar su archivo robots.txt, siempre debe ser almacenado en el directorio raíz del dominio:

• Correcto: https://www.beispiel.de/robots.txt
• Incorrecto: https://www.beispiel.de/ordner/robots.txt

Subdominios cada uno necesita su propio archivo robots.txt si desea controlarlos por separado, por ejemplo:

• https://shop.beispiel.de/robots.txt

Una estructura de base simple se ve así:

User-agent: *
Disallow: 

Sitemap: https://www.beispiel.de/sitemap_index.xml

• User-agent: * significa: las reglas se aplican a todos los rastreadores.
• Disallow: sin un camino significa: nada está bloqueado, todo puede ser arrastrado.
• Con Sitemap: vincula su mapa de sitios XML, que es muy útil para SEO.

Un ejemplo práctico basado en tus notas:

User-agent: *
Disallow: 
Disallow: /sh/
Disallow: /page/
Disallow: /tag/
Disallow: /de/tag/
Disallow: /en/tag/
Disallow: /cookies/
Disallow: /tags/
Disallow: /wp-content/cache/wpo-minify/
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

Sitemap: https://www.cosci.de/sitemap_index.xml

Aquí usted excluye caches, páginas de etiquetas y archivos técnicos de gateing y al mismo tiempo proporcionar su mapa de sitio.

¿Qué debería contener un archivo robots.txt?

Si desea configurar correctamente su archivo robots.txt, debe mantenerlo lo más magro y claro posible. Los contenidos típicos son:

• Reglas estándar para todos los rastreadores
• Reglas opcionales para rastreadores específicos (por ejemplo, bots AI)
• Disallow rules for technical and unimportant directories
• Un enlace a uno o más mapas del sitio

Un buen archivo robots.txt debería:

• nunca bloquee contenido importante
• evitar desperdiciar presupuesto de rastreo en direcciones URL inútiles
• dejar claro dónde vive el contenido principal de su sitio

¿Qué directorios conviene excluir?

No todas las URL en su sitio son interesantes para los motores de búsqueda. Hay candidatos típicos que puedes considerar en tu configuración robots.txt.

Resumen por tipo de sitio

Tipo de sitio	A menudo tiene sentido bloquear	Áreas importantes que no debe bloquear
Blog	búsqueda interna, paginación como /page/, archivos de etiquetas	entradas, categorías y archivos multimedia
Tienda online	carrito, checkout, cuenta de cliente, búsqueda interna	páginas de productos, categorías, landing pages
Sitio web de empresas	área de administración, carpetas de prueba, herramientas internas	páginas de servicio, contacto, blog, portfolio
General	carpetas de caché, archivos JSON técnicos	CSS, JS, imágenes y fuentes

Un error común es bloquear demasiado.
Si bloquea carpetas enteras de CSS o JavaScript, por ejemplo, Google ya no puede renderizar su sitio correctamente. Esto puede doler su clasificación, porque la página se ve rota desde el punto de vista de los rastreadores.

¿Ocultar o indexar categorías y etiquetas?

Especialmente en los blogs hay una pregunta recurrente: ¿debería bloquear etiquetas y categorías en el archivo robots.txt?

Idea básica:

• Las categorías generalmente se estructuran alrededor de temas claros y pueden ser páginas de aterrizaje fuertes.
• Las etiquetas se utilizan a menudo muy flojamente y crear muchas páginas delgadas con poco contenido único.

Posible enfoque:

• Categorías: generalmente mejor para mantenerlos indexables, siempre y cuando estén bien mantenidos.
• Etiquetas: o mantenerlos correctamente y utilizarlos como landing pages, o eliminarlos del índice utilizando el noindex, follow meta tag.

Rara vez bloquearía todas las categorías o etiquetas a través de robots.txt. A menudo es mejor:

• eliminar archivos débiles del índice utilizando noindex, follow
• todavía los vincula internamente para que el rastreador pueda utilizar los enlaces como señales

Qué tener en cuenta en blogs, tiendas online y webs empresariales

Cuando configura un archivo robots.txt para WordPress, tiendas en línea o webs empresariales, puedes seguir estos puntos:

1. Mantener contenido importante arrastrable
   • publicaciones, páginas, productos, categorías
2. Bloquear las esferas técnicas
   • áreas de administración, carpetas de caché, archivos de registro, ciertos archivos JSON
3. Declare su mapa del sitio
   • enlace uno o varios mapas del sitio
4. Sistemas seguros de estadificación y prueba
   • utilizar la protección de contraseña ideal, no solo robots.txt

robots.txt para WordPress – configuración típica

Muchas instalaciones de WordPress utilizan algo como esto fuera de la caja:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Este es un punto de partida razonable. Además, puede excluir ciertos directorios, como en sus notas, por ejemplo:

• /wp-content/cache/
• archivos técnicos dentro de la carpeta de cargas
• tag paths si no quieres utilizarlos

La parte importante no es bloquear accidentalmente completo /wp-content/ caminos que contienen importantes CSS, JS o imágenes. De lo contrario su sitio se verá diferente para los rastreadores que para los visitantes reales.

Enlazar el sitemap en robots.txt

Si desea configurar correctamente su archivo robots.txt, la entrada de mapa de sitio es casi siempre parte de él:

Sitemap: https://www.deineseite.de/sitemap_index.xml

Si utiliza varios mapas de sitios puede enumerar todos ellos. Muchos plugins SEO para WordPress generan automáticamente mapas de sitios, por ejemplo:

• /sitemap_index.xml
• /post-sitemap.xml
• /page-sitemap.xml

La referencia en robots.txt ayuda a los rastreadores a descubrir rápidamente sus URL más importantes.

Etiquetas meta: noindex, nofollow y dofollow

Además del archivo robots.txt hay meta etiquetas que puedes usar para controlar el comportamiento del motor de búsqueda a nivel de página.

Una etiqueta meta típica es:

<meta name="robots" content="noindex,follow">

Los valores más importantes:

• index – la página puede ser indexada
• noindex – la página no debe aparecer en el índice de búsqueda
• follow – enlaces en la página se pueden utilizar como señales de clasificación
• nofollow – los enlaces en la página no deben ser utilizados como señales de clasificación

«Dofollow» no es un valor oficial. Es simplemente el comportamiento predeterminado si usas follow o no especificar nada.

Ejemplos prácticos:

• blog post con contenido útil: index,follow
• búsqueda interna, páginas de filtro débiles: noindex,follow
• enlaces patrocinados: añadir rel="sponsored" o rel="nofollow" al enlace

robots.txt y meta etiquetas pertenecen juntas:

• robots.txt controla si una URL puede ser arrastrada.
• la meta tag controla si una URL arrastrada debe aparecer en el índice.

¿Qué es un archivo llms.txt?

Con el aumento de los rastreadores de IA la pregunta cómo controlar el contenido para los modelos de IA se vuelve más importante. Aquí es donde el concepto de llms.txt entra en juego.

La idea básica:

• usted crea un archivo como /llms.txt en la raíz de su sitio web
• en este archivo usted describe cómo se permite a los rastreadores AI utilizar su contenido
• puede destacar áreas recomendadas, restringir algunas secciones o pedir explícitamente que no use ciertos contenidos

Mientras que el archivo robots.txt controla los rastreadores a nivel de URL, el archivo llms.txt es más como un archivo de guía y contexto para los grandes modelos de lenguajes. No es un estándar difícil todavía, pero se discute cada vez más como una adición al enfoque clásico robots.txt.

También puede dirigirse a los rastreadores AI específicos directamente en su archivo robots.txt, por ejemplo:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Esto dice a estos bots que no se les permite rastrear tu sitio, por ejemplo para limitar el uso de su contenido en el entrenamiento de IA.

Consejos y trucos para robots.txt

Algunos consejos prácticos:

1. Menos a menudo es más
   Mantenga el archivo claro. Algunas reglas específicas son mejores que un conjunto caótico de reglas.
2. No use como una característica de seguridad
   Los robots.txt están disponibles públicamente. Cualquier cosa que sea verdaderamente secreta pertenece detrás de la autenticación o protección de acceso, no robots.txt.
3. Cambios de prueba
   Si cambia el robots.txt, compruebe con herramientas en línea o en la Consola de Búsqueda si las reglas funcionan como se desea.
4. Medios de estadificación seguros extra
   Las páginas de registro no sólo deben tener un robots.txt, sino también estar protegidas por contraseña.
5. Uso de la combinación
   Configurar robots.txt correctamente siempre significa: pensar en combinación con meta etiquetas, etiquetas canónicas, mapas de sitios y enlaces internos limpios, no en aislamiento.

Preguntas frecuentes sobre robots.txt

¿Qué pasa si no tengo un archivo robots.txt?
En ese caso se permite a los rastreadores rastrear todo lo que es accesible por defecto. Para muchos sitios web pequeños esto es completamente fino, pero para tiendas y proyectos complejos puede llevar a los rastreos innecesarios.

¿Puedo ocultar por completo las páginas con robots.txt?
No. El archivo robots.txt es sólo una recomendación para los rastreadores. No protege contra el acceso directo y no impide automáticamente que las URL aparezcan en el índice si están vinculadas a otros sitios.

¿Debería bloquear imágenes a través de robots.txt?
En la mayoría de los casos no. Las imágenes son una parte importante de SEO, especialmente en la búsqueda de imágenes. La excepción es imágenes internas o sensibles que no deben ser públicas. Estos pertenecen a áreas protegidas.

¿Con qué frecuencia los motores de búsqueda leen mi archivo robots.txt?
Crawlers solicita el archivo robots.txt regularmente. Por lo tanto, los cambios suelen tenerse en cuenta con relativa rapidez.

¿Puedo declarar múltiples mapas de sitios en robots.txt?
Sí. Usted puede añadir varios Sitemap: entradas, por ejemplo para un blog, una tienda y mapas de imágenes.

Glosario

robots.txt
Archivo de texto en la raíz de un dominio que le dice a los rastreadores web qué áreas del sitio pueden rastrear y que deben evitar.

Crawler / bot
Programa automatizado que solicita páginas web, lee contenido y lo procesa para motores de búsqueda u otros servicios. Ejemplos son Googlebot o Bingbot.

Presupuesto craneal
Roughly describe cuántas URL en un sitio un rastreador solicitará en un determinado período de tiempo. Cuanto más grande y más complejo sea el sitio, más importante no es desperdiciar presupuesto en URLs no importantes.

Día de meta noindex
Meta tag en el encabezado HTML de una página que indica al rastreador que esta página no debe aparecer en el índice de búsqueda.

Día de meta nofollow
Meta tag en el encabezado HTML (o atributo en el enlace) que dice que los enlaces en esta página no deben clasificarse como señal de clasificación.

Sitemap
Por lo general, un archivo XML que contiene una lista de direcciones URL importantes en su sitio web. Ayuda a los motores de búsqueda a encontrar y entender su contenido más rápidamente.

llms.txt
Concepto para un archivo adicional en la raíz del dominio que contiene directrices específicamente para los rastreadores de IA y los grandes modelos de lenguaje.

User-agent
Nombre del bot o navegador. En robots.txt utilizas User-agent: para definir a qué rastreador se aplica una regla.

Disallow
Directiva en robots.txt que excluye caminos de gatear.

Allow
Directiva en robots.txt que permite explícitamente que los caminos sean arrastrados incluso si se bloquea un camino de nivel superior.

Este artículo ha sido traducido con ayuda de IA.