Una web recién estrenada que no aparece en Google. Un entorno de pruebas que sí aparece. Una página «bloqueada» que sigue saliendo en los resultados meses después. Detrás de estos tres problemas suele estar la misma confusión: creer que robots.txt y la etiqueta meta robots sirven para lo mismo.
No es así. El primero indica a los rastreadores qué pueden descargar; la segunda, junto con su equivalente en cabeceras HTTP (X-Robots-Tag), indica qué hacer con lo descargado. A continuación se explica qué hace cada mecanismo, la sintaxis que conviene conocer y cómo elegir entre ambos.
Rastrear no es indexar
Un buscador trabaja en dos pasos. Primero rastrea una URL, es decir, la descarga. Después decide si la indexa: si la guarda y la muestra en los resultados. Cada mecanismo actúa sobre uno solo de esos pasos.
| robots.txt | Meta robots / X-Robots-Tag | |
|---|---|---|
| Controla | El rastreo | La indexación y la forma de mostrar el resultado |
| Alcance | Patrones de URL en todo un host | Una página o un archivo concreto |
| Dónde está | Archivo de texto en la raíz del sitio | En el <head> del HTML o en las cabeceras de la respuesta |
| ¿Saca una URL de los resultados? | No | Sí, con noindex |
La última fila es la que más sorprende. Una URL bloqueada en robots.txt puede acabar indexada si otras páginas enlazan a ella. Como el buscador no ha podido leerla, muestra la dirección a secas, normalmente sin descripción. Search Console lo recoge con el aviso «Indexada, aunque bloqueada por robots.txt».
De ahí sale la regla que resuelve casi todas las dudas sobre este tema:
Un rastreador no puede obedecer una etiqueta que no le dejan leer. Si una página debe quedar fuera de los resultados, tiene que seguir siendo rastreable para que el noindex llegue a verse.
Lo esencial de robots.txt
El archivo debe estar en la raíz del host (https://example.com/robots.txt) y solo vale para ese protocolo, ese host y ese puerto. Cada subdominio necesita el suyo.
Google admite cuatro campos: user-agent, allow, disallow y sitemap. En un sitio pequeño, el archivo puede ser tan breve como este:
User-agent: *
Disallow: /carrito/
Disallow: /*?orden=
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xmlCómo se interpretan las reglas
- Las rutas son prefijos y distinguen mayúsculas de minúsculas.
Disallow: /carritobloquea también/carritos-de-bebe/. Si se trata de un directorio, hay que cerrar con barra. - Existen dos comodines.
*equivale a cualquier secuencia de caracteres y$marca el final de la URL, como enDisallow: /*.pdf$. - Gana la regla más específica. Si un
allowy undisallowcoinciden con la misma URL, se aplica el de ruta más larga, sea cual sea el orden en el archivo. - Cada rastreador sigue un único grupo. Si existe un grupo con su nombre, ignora por completo el de
User-agent: *. Las reglas no se heredan.
Este último punto provoca errores muy reales:
User-agent: *
Disallow: /privado/
User-agent: Googlebot
Disallow: /borradores/Con este archivo, Googlebot puede rastrear /privado/, porque solo lee su propio grupo. Las reglas comunes hay que repetirlas en cada grupo con nombre.
Lo que robots.txt no hace
- No admite
noindex. Google dejó de respetar esa regla no oficial en 2019. - No frena a Googlebot. Google ignora
crawl-delay, aunque otros rastreadores, como el de Bing, sí lo tienen en cuenta. - No protege nada. El archivo es público y su cumplimiento, voluntario. Incluir
/zona-secreta/sirve sobre todo para anunciar que existe. El contenido privado necesita autenticación.
Conviene conocer además dos detalles de funcionamiento. Si el archivo no existe (error 404), se entiende que todo puede rastrearse, y no pasa nada. Si devuelve errores de servidor, en cambio, Google actúa con mucha más cautela y puede dejar de rastrear el sitio hasta que se recupere. Por otra parte, Google guarda el archivo en caché, por lo general hasta 24 horas, de modo que los cambios no son inmediatos.
Meta robots y X-Robots-Tag
La etiqueta se coloca en el <head> de la página:
<meta name="robots" content="noindex">Los archivos que no son HTML, como un PDF, no tienen <head>. Para ellos, las mismas directivas se envían en una cabecera de la respuesta. En Apache:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>Y en nginx:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex";
}Las directivas que merece la pena recordar
| Directiva | Efecto |
|---|---|
noindex | La página no se muestra en los resultados. |
nofollow | No se siguen los enlaces de la página. |
nosnippet | El resultado aparece sin fragmento de texto ni vista previa de vídeo. |
max-snippet:[n] | Limita el fragmento de texto a n caracteres. |
max-image-preview:[none|standard|large] | Fija el tamaño máximo de la vista previa de imagen. |
noimageindex | No se indexan las imágenes de la página. |
unavailable_after:[fecha] | La página deja de mostrarse a partir de una fecha. Útil para eventos y ofertas. |
Algunas observaciones prácticas:
index, followes el comportamiento por defecto. Declararlo no perjudica, pero tampoco aporta nada.- Es posible dirigirse a un rastreador concreto por su nombre, por ejemplo
<meta name="googlebot" content="noindex">. - Si hay directivas contradictorias, incluida una etiqueta meta que diga lo contrario que la cabecera, se aplica la más restrictiva.
- Para excluir de los fragmentos un pasaje concreto y no la página entera, existe el atributo HTML
data-nosnippet. - El
noindexdebe ir en el HTML que envía el servidor. Si Google lo encuentra ahí, puede omitir el renderizado, así que es poco probable que llegue a ver un JavaScript que elimine la etiqueta después.
Cuál usar en cada caso
| Objetivo | Herramienta |
|---|---|
| Que una página no aparezca en los resultados | noindex, dejando la página rastreable |
| Que un PDF o una imagen no aparezcan en los resultados | X-Robots-Tag: noindex |
| Que los rastreadores no malgasten peticiones en filtros, buscador interno o carrito | disallow en robots.txt |
| Retirar una página ya indexada | noindex o un 404/410, y esperar al siguiente rastreo. La herramienta Retiradas de Search Console la oculta antes, pero solo de forma temporal. |
| Mantener un contenido privado | Una contraseña. Ninguno de los dos mecanismos es un control de acceso. |
| Mantener un entorno de staging fuera del buscador | Autenticación HTTP, mejor con noindex como segunda capa |
Cinco errores que causan casi todos los daños
- Bloquear y poner
noindexen la misma URL. Eldisallowimpide que el rastreador llegue a ver elnoindex, y la página puede seguir indexada indefinidamente. - Llevar a producción la configuración de staging. Un
Disallow: /olvidado o unnoindexen todo el sitio es el desastre clásico tras un lanzamiento. En WordPress hay que comprobar que la casilla «Pedir a los motores de búsqueda que no indexen este sitio» está desmarcada en Ajustes › Lectura. - Bloquear CSS y JavaScript. Google renderiza las páginas de forma parecida a un navegador. Si no puede descargar esos recursos, no ve la página como es.
- Dar por hecho que un rastreador con grupo propio hereda las reglas de
*. No las hereda, como se ha visto antes. - Usar
robots.txtpara resolver contenido duplicado. Un duplicado bloqueado no puede transmitir sus señales a ninguna parte. Para eso están las etiquetas canónicas.
Un apunte sobre los rastreadores de IA
Las empresas de inteligencia artificial publican ya sus propios identificadores de user-agent, que se gestionan en robots.txt como los de cualquier otro rastreador. La mayoría distingue entre los que recopilan datos para entrenar modelos y los que alimentan respuestas de tipo buscador, lo que permite tratarlos de forma distinta:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /Google-Extended no es un rastreador aparte, sino un identificador de control: regula el uso del contenido en los modelos de IA de Google y no afecta ni a la inclusión ni al posicionamiento en la Búsqueda. Los nombres cambian con frecuencia, por lo que conviene consultar la documentación de cada empresa antes de copiar una lista. Y también aquí el cumplimiento es voluntario.
Cómo comprobar la configuración
- Leer el archivo. Basta con abrir
/robots.txten el navegador. Debería entenderse en un minuto. - Consultar Search Console. El informe de robots.txt (en Ajustes) muestra la versión que Google descargó por última vez y los errores de sintaxis. La inspección de URLs indica si una página concreta está bloqueada o excluida por
noindex. - Revisar las cabeceras.
curl -I https://example.com/archivo.pdfmuestra cualquierX-Robots-Tag, que no se ve en el código fuente de la página. - Repetir la comprobación tras cada lanzamiento, migración o cambio de plugins. Estos ajustes rara vez se estropean solos. Se estropean cuando cambia otra cosa.
En resumen
robots.txt decide en qué emplean su tiempo los rastreadores. Meta robots y X-Robots-Tag deciden qué aparece en los resultados. Un sitio pequeño necesita muy poco de ambos: un robots.txt breve con la línea del sitemap y un noindex en las pocas páginas que no deban encontrarse.
Ante la duda, basta con volver a la regla: un rastreador no puede obedecer una etiqueta que no le dejan leer.
Para saber más
- SEO técnico
- Cómo interpreta Google la especificación de robots.txt (Centro de la Búsqueda de Google)
- Especificaciones de la etiqueta meta robots, data-nosnippet y X-Robots-Tag (Centro de la Búsqueda de Google)
- RFC 9309: Robots Exclusion Protocol (en inglés)