robots.txt y meta robots: las directivas, sin misterio

Una web recién estrenada que no aparece en Google. Un entorno de pruebas que sí aparece. Una página «bloqueada» que sigue saliendo en los resultados meses después. Detrás de estos tres problemas suele estar la misma confusión: creer que robots.txt y la etiqueta meta robots sirven para lo mismo.

No es así. El primero indica a los rastreadores qué pueden descargar; la segunda, junto con su equivalente en cabeceras HTTP (X-Robots-Tag), indica qué hacer con lo descargado. A continuación se explica qué hace cada mecanismo, la sintaxis que conviene conocer y cómo elegir entre ambos.

Rastrear no es indexar

Un buscador trabaja en dos pasos. Primero rastrea una URL, es decir, la descarga. Después decide si la indexa: si la guarda y la muestra en los resultados. Cada mecanismo actúa sobre uno solo de esos pasos.

 robots.txtMeta robots / X-Robots-Tag
ControlaEl rastreoLa indexación y la forma de mostrar el resultado
AlcancePatrones de URL en todo un hostUna página o un archivo concreto
Dónde estáArchivo de texto en la raíz del sitioEn el <head> del HTML o en las cabeceras de la respuesta
¿Saca una URL de los resultados?NoSí, con noindex

La última fila es la que más sorprende. Una URL bloqueada en robots.txt puede acabar indexada si otras páginas enlazan a ella. Como el buscador no ha podido leerla, muestra la dirección a secas, normalmente sin descripción. Search Console lo recoge con el aviso «Indexada, aunque bloqueada por robots.txt».

De ahí sale la regla que resuelve casi todas las dudas sobre este tema:

Un rastreador no puede obedecer una etiqueta que no le dejan leer. Si una página debe quedar fuera de los resultados, tiene que seguir siendo rastreable para que el noindex llegue a verse.

Lo esencial de robots.txt

El archivo debe estar en la raíz del host (https://example.com/robots.txt) y solo vale para ese protocolo, ese host y ese puerto. Cada subdominio necesita el suyo.

Google admite cuatro campos: user-agent, allow, disallow y sitemap. En un sitio pequeño, el archivo puede ser tan breve como este:

User-agent: *
Disallow: /carrito/
Disallow: /*?orden=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Cómo se interpretan las reglas

  • Las rutas son prefijos y distinguen mayúsculas de minúsculas. Disallow: /carrito bloquea también /carritos-de-bebe/. Si se trata de un directorio, hay que cerrar con barra.
  • Existen dos comodines. * equivale a cualquier secuencia de caracteres y $ marca el final de la URL, como en Disallow: /*.pdf$.
  • Gana la regla más específica. Si un allow y un disallow coinciden con la misma URL, se aplica el de ruta más larga, sea cual sea el orden en el archivo.
  • Cada rastreador sigue un único grupo. Si existe un grupo con su nombre, ignora por completo el de User-agent: *. Las reglas no se heredan.

Este último punto provoca errores muy reales:

User-agent: *
Disallow: /privado/

User-agent: Googlebot
Disallow: /borradores/

Con este archivo, Googlebot puede rastrear /privado/, porque solo lee su propio grupo. Las reglas comunes hay que repetirlas en cada grupo con nombre.

Lo que robots.txt no hace

  • No admite noindex. Google dejó de respetar esa regla no oficial en 2019.
  • No frena a Googlebot. Google ignora crawl-delay, aunque otros rastreadores, como el de Bing, sí lo tienen en cuenta.
  • No protege nada. El archivo es público y su cumplimiento, voluntario. Incluir /zona-secreta/ sirve sobre todo para anunciar que existe. El contenido privado necesita autenticación.

Conviene conocer además dos detalles de funcionamiento. Si el archivo no existe (error 404), se entiende que todo puede rastrearse, y no pasa nada. Si devuelve errores de servidor, en cambio, Google actúa con mucha más cautela y puede dejar de rastrear el sitio hasta que se recupere. Por otra parte, Google guarda el archivo en caché, por lo general hasta 24 horas, de modo que los cambios no son inmediatos.

Meta robots y X-Robots-Tag

La etiqueta se coloca en el <head> de la página:

<meta name="robots" content="noindex">

Los archivos que no son HTML, como un PDF, no tienen <head>. Para ellos, las mismas directivas se envían en una cabecera de la respuesta. En Apache:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Y en nginx:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex";
}

Las directivas que merece la pena recordar

DirectivaEfecto
noindexLa página no se muestra en los resultados.
nofollowNo se siguen los enlaces de la página.
nosnippetEl resultado aparece sin fragmento de texto ni vista previa de vídeo.
max-snippet:[n]Limita el fragmento de texto a n caracteres.
max-image-preview:[none|standard|large]Fija el tamaño máximo de la vista previa de imagen.
noimageindexNo se indexan las imágenes de la página.
unavailable_after:[fecha]La página deja de mostrarse a partir de una fecha. Útil para eventos y ofertas.

Algunas observaciones prácticas:

  • index, follow es el comportamiento por defecto. Declararlo no perjudica, pero tampoco aporta nada.
  • Es posible dirigirse a un rastreador concreto por su nombre, por ejemplo <meta name="googlebot" content="noindex">.
  • Si hay directivas contradictorias, incluida una etiqueta meta que diga lo contrario que la cabecera, se aplica la más restrictiva.
  • Para excluir de los fragmentos un pasaje concreto y no la página entera, existe el atributo HTML data-nosnippet.
  • El noindex debe ir en el HTML que envía el servidor. Si Google lo encuentra ahí, puede omitir el renderizado, así que es poco probable que llegue a ver un JavaScript que elimine la etiqueta después.

Cuál usar en cada caso

ObjetivoHerramienta
Que una página no aparezca en los resultadosnoindex, dejando la página rastreable
Que un PDF o una imagen no aparezcan en los resultadosX-Robots-Tag: noindex
Que los rastreadores no malgasten peticiones en filtros, buscador interno o carritodisallow en robots.txt
Retirar una página ya indexadanoindex o un 404/410, y esperar al siguiente rastreo. La herramienta Retiradas de Search Console la oculta antes, pero solo de forma temporal.
Mantener un contenido privadoUna contraseña. Ninguno de los dos mecanismos es un control de acceso.
Mantener un entorno de staging fuera del buscadorAutenticación HTTP, mejor con noindex como segunda capa

Cinco errores que causan casi todos los daños

  1. Bloquear y poner noindex en la misma URL. El disallow impide que el rastreador llegue a ver el noindex, y la página puede seguir indexada indefinidamente.
  2. Llevar a producción la configuración de staging. Un Disallow: / olvidado o un noindex en todo el sitio es el desastre clásico tras un lanzamiento. En WordPress hay que comprobar que la casilla «Pedir a los motores de búsqueda que no indexen este sitio» está desmarcada en Ajustes › Lectura.
  3. Bloquear CSS y JavaScript. Google renderiza las páginas de forma parecida a un navegador. Si no puede descargar esos recursos, no ve la página como es.
  4. Dar por hecho que un rastreador con grupo propio hereda las reglas de *. No las hereda, como se ha visto antes.
  5. Usar robots.txt para resolver contenido duplicado. Un duplicado bloqueado no puede transmitir sus señales a ninguna parte. Para eso están las etiquetas canónicas.

Un apunte sobre los rastreadores de IA

Las empresas de inteligencia artificial publican ya sus propios identificadores de user-agent, que se gestionan en robots.txt como los de cualquier otro rastreador. La mayoría distingue entre los que recopilan datos para entrenar modelos y los que alimentan respuestas de tipo buscador, lo que permite tratarlos de forma distinta:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Google-Extended no es un rastreador aparte, sino un identificador de control: regula el uso del contenido en los modelos de IA de Google y no afecta ni a la inclusión ni al posicionamiento en la Búsqueda. Los nombres cambian con frecuencia, por lo que conviene consultar la documentación de cada empresa antes de copiar una lista. Y también aquí el cumplimiento es voluntario.

Cómo comprobar la configuración

  • Leer el archivo. Basta con abrir /robots.txt en el navegador. Debería entenderse en un minuto.
  • Consultar Search Console. El informe de robots.txt (en Ajustes) muestra la versión que Google descargó por última vez y los errores de sintaxis. La inspección de URLs indica si una página concreta está bloqueada o excluida por noindex.
  • Revisar las cabeceras. curl -I https://example.com/archivo.pdf muestra cualquier X-Robots-Tag, que no se ve en el código fuente de la página.
  • Repetir la comprobación tras cada lanzamiento, migración o cambio de plugins. Estos ajustes rara vez se estropean solos. Se estropean cuando cambia otra cosa.

En resumen

robots.txt decide en qué emplean su tiempo los rastreadores. Meta robots y X-Robots-Tag deciden qué aparece en los resultados. Un sitio pequeño necesita muy poco de ambos: un robots.txt breve con la línea del sitemap y un noindex en las pocas páginas que no deban encontrarse.

Ante la duda, basta con volver a la regla: un rastreador no puede obedecer una etiqueta que no le dejan leer.

Para saber más

Changed