Robots.txt y noindex: qué usar para excluir páginas de Google

Para excluir una página de Google, utiliza noindex y permite que el buscador la rastree. Robots.txt controla el acceso de los rastreadores, pero no garantiza que una URL desaparezca del buscador. La documentación de Google distingue ambas funciones. Aquí aprenderás a elegir y comprobar la configuración adecuada.

Robots.txt y noindex no resuelven el mismo problema

Rastrear significa acceder a una página; indexarla supone incorporarla al índice del buscador. Según la guía de robots.txt, Google puede conocer una URL mediante enlaces y mostrarla aunque tenga bloqueado su rastreo.

Si quieres mantener una página pública, pero excluirla de los resultados, utiliza noindex. Google debe acceder al recurso y leer esa instrucción. Añadir simultáneamente un bloqueo en robots.txt puede impedirlo, como explica su guía sobre exclusión de la indexación.

Antes de tocar la configuración, prepara una lista con cada página, su finalidad y el resultado deseado. Evita aplicar exclusiones masivas sin revisar qué contenidos necesitas mantener visibles.

Cómo aplicar noindex y comprobar el resultado

1. Selecciona la página y el método

Ejemplo hipotético: tienes una página pública de agradecimiento tras enviar un formulario y decides que no debe aparecer en Google. Para una página HTML, la instrucción puede introducirse dentro de su cabecera:

<meta name="robots" content="noindex">

Para recursos como PDF, puedes utilizar el encabezado HTTP X-Robots-Tag: noindex. Ambos mecanismos están recogidos en las especificaciones de las instrucciones robots. Comprueba el resultado publicado, no únicamente el ajuste guardado en el gestor.

2. Revisa que Google pueda acceder

Comprueba que robots.txt no bloquee esa página. No escribas noindex dentro de ese archivo: Google no admite esa implementación. La instrucción debe estar en la etiqueta o el encabezado, según su documentación de implementación.

3. Contrasta la versión publicada con la indexada

Introduce la dirección en la herramienta de inspección de URLs de Search Console. Revisa el permiso de rastreo y el de indexación; después ejecuta la prueba en tiempo real. Google aclara que los datos de la versión indexada pueden corresponder a una versión anterior.

Registra el cambio y revisa también una página que sí quieras posicionar. Así tendrás una comprobación adicional antes de ampliar la configuración.

Límites: excluir de Google no equivale a proteger

No utilices estas instrucciones como protección de contenido confidencial. Google recomienda restringir el acceso mediante contraseña cuando corresponda; robots.txt no es un mecanismo de privacidad, según su guía oficial.

La conclusión práctica: decide qué debe seguir siendo público, qué debe aparecer en búsquedas y qué necesita acceso restringido. Son decisiones diferentes.