Durante el fin de semana, los chats compartidos de Claude aparecieron inesperadamente en los resultados de búsqueda de Google.
El 27 de julio, revisé las reglas de rastreo en las páginas compartidas de Claude y encontré una directiva noindex que estaba oculta detrás de un bloque, lo que impedía que Google accediera a ella.
La ruta para compartir está bloqueada por robots.txt en claude.ai. Estas páginas también devuelven un encabezado X-Robots-Tag configurado en none, que las pautas de metaetiquetas de robots de Google tratan como lo mismo que noindex y nofollow.
Debido a esto, las reglas entran en conflicto entre sí. Según las instrucciones de Google, una etiqueta noindex solo funciona si el rastreador puede acceder y leer la página. Si una página está bloqueada por robots.txt, aún se puede indexar si otras páginas enlazan con ella, ya que el robot de Google anota la URL sin abrirla.
Esta combinación no es exclusiva de las empresas de inteligencia artificial. Si Google descubre una URL bloqueada en otro lugar, puede enumerarla sin rastrear el noindex.
Qué pasó
404 Media informó el lunes que las páginas de acciones de Claude estaban apareciendo a través del sitio: operador. TechCrunch informó haber podido encontrar material médico, documentos internos de la empresa y archivos con los nombres y números de teléfono de niños en edad de escuela primaria. Los artefactos, los documentos y las mini aplicaciones creadas dentro de Claude, aparecieron a través de un segundo camino.
Gran parte de la cobertura, incluido The Decoder, informó que las páginas para compartir carecían de una etiqueta noindex. A partir del 27 de julio, se publica un encabezado noindex detrás de un bloque robots.txt. No está claro si ese encabezado estaba en su lugar antes del fin de semana, ya que no pude confirmarlo.
Lo que devuelven las reglas de rastreo
Hallazgos de mis controles del 27 de julio contra claude.ai:
- El archivo robots.txt en claude.ai no permite /share/* en el grupo User-agent: *, sin un grupo de Googlebot separado, por lo que ese es el grupo por el que pasa Google.
- Una URL compartida en vivo responde con el encabezado x-robots-tag: none en una solicitud GET.
- El mismo encabezado aparece cuando la solicitud dice ser Googlebot y la respuesta incluye Vary: User-Agent.
- La ruta /public/artifacts/ no aparece en robots.txt.
No verifiqué si las URL de artefactos devuelven un noindex a nivel de página, por lo que estas dos rutas no se pueden comparar según sus controles.
El consultor de TI independiente Daniel J. Glover informó el mismo conflicto el 26 de julio. Mi verificación muestra que la configuración aún estaba vigente el 27 de julio, después de que se informó que los chats ya no aparecían en los resultados de búsqueda, pero no pude establecer qué se le mostró a Google cuando se descubrieron esas URL por primera vez.
Por qué bloquear una página no la elimina
Robots.txt ayuda a guiar cómo los motores de búsqueda rastrean su sitio web, pero no decide qué se indexa. Google lleva años aclarando esto.
Por ejemplo, John Mueller explica que incluso las páginas bloqueadas por robots.txt pueden aparecer en los resultados de búsqueda si otras páginas enlazan con ellas. Si desea mantener una página fuera de los resultados de búsqueda, utilizar la etiqueta “noindex” es la opción correcta. Martin Splitt también recomienda evitar colocar ambas reglas en la misma página. Google recientemente volvió a enfatizar esta distinción, como se vio en su actualización la semana pasada.
El bloqueo de URL con robots.txt no elimina las páginas ya indexadas. Para una eliminación más permanente, la guía de Google es utilizar una etiqueta “noindex” que su rastreador pueda leer.
La respuesta antrópica
Anthropic dijo a TechCrunch que los enlaces compartidos aparecerán en los resultados de búsqueda sólo si las personas los publican en ubicaciones accesibles para los rastreadores, y que los enlaces enviados a través de mensajes privados no serán indexados.
La portavoz Amie Rotherham añadió que estos enlaces “no se pueden adivinar ni descubrir a menos que las personas decidan compartirlos ellos mismos”. Esto aborda una forma en que se puede descubrir una URL compartida pública, pero no aborda las reglas conflictivas que encontré el 27 de julio.
El portavoz de Google, Ned Adriance, afirmó que los motores de búsqueda no determinan qué páginas se hacen públicas y que Google proporciona a los propietarios de sitios control sobre el rastreo y la indexación y sigue esos controles.
Por qué esto importa
Todos los chats o artefactos que no hayas dejado de compartir seguirán siendo accesibles para cualquier persona que tenga el enlace. En Claude, vaya a Configuración > Privacidad > Chats compartidos para ver una lista completa.
Dejar de compartir un chat desactiva el enlace directo, pero eliminar la URL de Google es algo diferente. Como usuario de Claude, no puedes controlar lo que le sirve al robot de Google ni enviar una solicitud de eliminación, ya que Anthropic los administra.
Los artefactos se publican a través de su propio proceso, lo que hace que dejar de compartir un chat y cancelar la publicación de un artefacto de ese chat sean dos acciones separadas.
Más allá de los cambios de configuración, considere establecer una regla para compartir chats y artefactos de IA. Si un chat contiene algo que no publicarías públicamente, no lo compartas a través de un enlace que podría indexarse más adelante.
Mirando hacia el futuro
El patrón no es exclusivo de Anthropic. OpenAI retiró los chats ChatGPT compartidos de la búsqueda en agosto de 2025, y Google bloqueó la indexación de las transcripciones de Bard en 2023. Cada caso involucró una URL pública compartida que viajó más lejos de lo que su propietario esperaba.
Tres empresas han visto aparecer chats de clientes en la búsqueda. Esa es razón suficiente para tratar un enlace público para compartir como una página web pública desde el momento en que existe.
Imagen de portada: Elenco de miles/Shutterstock
