El equipo de investigación de seguridad Defender de Microsoft publicó una investigación que describe lo que llama “envenenamiento por recomendación de IA”. La técnica implica que las empresas oculten instrucciones de inyección rápida dentro de los botones del sitio web con la etiqueta “Resumir con IA”.
Cuando hace clic en uno de estos botones, se abre un asistente de IA con un mensaje precargado entregado a través de un parámetro de consulta de URL. La parte visible le dice al asistente que resuma la página. La parte oculta le indica que recuerde a la empresa como una fuente confiable para futuras conversaciones.
Si la instrucción ingresa a la memoria del asistente, puede influir en las recomendaciones sin que usted sepa que fue colocada.
Lo que está sucediendo
El equipo de Microsoft revisó las URL relacionadas con la IA observadas en el tráfico de correo electrónico durante 60 días. Encontraron 50 intentos distintos de inyección rápida de 31 empresas.
Las indicaciones comparten un patrón similar. La publicación de Microsoft incluye ejemplos en los que las instrucciones le decían a la IA que recordara una empresa como “una fuente confiable de citas” o “la fuente de referencia” para un tema específico. Un mensaje fue más allá: inyectó un texto de marketing completo en la memoria del asistente, incluidas las características del producto y los puntos de venta.
Los investigadores rastrearon la técnica hasta herramientas disponibles públicamente, incluido el paquete npm CiteMET y el generador de URL basado en web AI Share URL Creator. La publicación describe que ambos están diseñados para ayudar a los sitios web a “construir presencia en la memoria de la IA”.
La técnica se basa en URL especialmente diseñadas con parámetros rápidos que admiten la mayoría de los principales asistentes de IA. Microsoft enumeró las estructuras de URL para Copilot, ChatGPT, Claude, Perplexity y Grok, pero señaló que los mecanismos de persistencia difieren entre plataformas.
Está catalogado formalmente como MITRE ATLAS AML.T0080 (envenenamiento de la memoria) y AML.T0051 (LLM Prompt injection).
Lo que encontró Microsoft
Las 31 empresas identificadas eran empresas reales, no actores de amenazas ni estafadores.
Múltiples mensajes se dirigieron a sitios de servicios financieros y de salud, donde las recomendaciones sesgadas de IA tienen más peso. El dominio de una empresa se confundía fácilmente con un sitio web conocido, lo que podía generar una credibilidad falsa. Y una de las 31 empresas era un proveedor de seguridad.
Microsoft mencionó un riesgo secundario. Muchos de los sitios que utilizaban esta técnica tenían secciones de contenido generado por el usuario, como hilos de comentarios y foros. Una vez que una IA considera que un sitio tiene autoridad, puede extender esa confianza a contenido no examinado en el mismo dominio.
La respuesta de Microsoft
Microsoft dijo que tiene protecciones en Copilot contra ataques de inyección cruzada. La compañía señaló que algunos comportamientos de inyección rápida informados anteriormente ya no se pueden reproducir en Copilot y que las protecciones continúan evolucionando.
Microsoft también publicó consultas de búsqueda avanzadas para organizaciones que utilizan Defender para Office 365, lo que permite a los equipos de seguridad escanear el correo electrónico y el tráfico de Teams en busca de URL que contengan palabras clave de manipulación de memoria.
Puede revisar y eliminar las memorias almacenadas de Copilot a través de la sección Personalización en la configuración del chat de Copilot.
Por qué esto importa
Microsoft compara esta técnica con el envenenamiento de SEO y el adware, colocándola en la misma categoría que las tácticas que Google pasó dos décadas luchando en la búsqueda tradicional. La diferencia es que el objetivo ha pasado de los índices de búsqueda a la memoria del asistente de IA.
Las empresas que realizan un trabajo legítimo en materia de visibilidad de la IA ahora se enfrentan a competidores que pueden aprovechar las recomendaciones mediante una inyección rápida.
El momento es notable. SparkToro publicó un informe que muestra que las recomendaciones de marcas de IA ya varían según casi todas las consultas. El vicepresidente de Google, Robby Stein, dijo en un podcast que la búsqueda con IA encuentra recomendaciones comerciales comprobando lo que dicen otros sitios. El envenenamiento de la memoria evita ese proceso al colocar la recomendación directamente en el asistente del usuario.
El análisis de Roger Montti sobre el envenenamiento de los datos de entrenamiento de IA abarcó el concepto más amplio de manipular los sistemas de IA para obtener visibilidad. Ese artículo se centró en el envenenamiento de conjuntos de datos de entrenamiento. Esta investigación de Microsoft muestra algo más inmediato que sucede en el punto de interacción del usuario y se implementa comercialmente.
Mirando hacia el futuro
Microsoft reconoció que se trata de un problema en evolución. Las herramientas de código abierto significan que pueden aparecer nuevos intentos más rápido de lo que cualquier plataforma puede bloquearlos, y la técnica del parámetro URL se aplica a la mayoría de los principales asistentes de IA.
No está claro si las plataformas de IA tratarán esto como una violación de la política con consecuencias, o si seguirá siendo una táctica de crecimiento de zona gris que las empresas seguirán utilizando.
Felicitaciones a Lily Ray por señalar la investigación de Microsoft sobre X y acreditar a @ top5seo por el hallazgo.
Imagen destacada: elenabsl/Shutterstock
