Los datos de seguimiento de la visibilidad de la IA no son del todo fiables. Debido a que los modelos generativos a menudo producen respuestas diferentes, las citas compartidas y las clasificaciones en su panel de control son simplemente instantáneas de un objetivo en constante cambio, no hechos fijos.
Una diferencia entre usted y un competidor podría ser genuina o simplemente una fluctuación entre medidas. Un nuevo artículo de IQRush que se publicará la próxima semana (tuvimos acceso previo a su publicación) proporciona un método para distinguirlos, lo que demuestra que ninguna cantidad fija de datos puede resolver definitivamente la cuestión.
El artículo es de Ron Sielinski, cofundador de IQRush, que vende software que mide la visibilidad de la IA de la forma en que el artículo sostiene que debería hacerlo. La razón por la que vale la pena es que un equipo separado publicó un hallazgo similar de mediciones repetidas en abril, por lo que IQRush no es el único que defiende este caso.
¿Cuánto se mueven estos números?
Consultar repetidamente SearchGPT, Gemini o Perplexity con la misma pregunta puede generar fuentes diferentes cada vez. Están diseñados para agregar algo de aleatoriedad a cada respuesta, por lo que cada cita es solo una de las muchas URL posibles que podría haber obtenido. Un artículo anterior del mismo autor exploró esta variabilidad y mostró que, por ejemplo, al probar SearchGPT en equipos para correr, Tom’s Guide representó aproximadamente el 9,5 % de las citas, mientras que Runner’s World representó aproximadamente el 6,0 %. En el tablero, la Guía de Tom aparecía con más frecuencia, pero el gran margen de error hacía que las cifras se superpusieran. Con solo una muestra, no era exacto decir que Tom’s Guide superó a Runner’s World, ya que la diferencia de 3,5 puntos estaba dentro del margen de error. El nuevo artículo pretende evitar este error abordando una pregunta simple pero que a menudo se pasa por alto: ¿cuántos datos se necesitan antes de que las clasificaciones sean realmente significativas?
Cuando vale la pena confiar en una clasificación
La respuesta tiene dos partes, y ambas deben ser ciertas para que una clasificación sea confiable. Primero, el orden debe dejar de cambiar.
Al principio, las clasificaciones pueden cambiar con frecuencia a medida que se agregan nuevas respuestas porque ningún sitio tiene una ventaja clara todavía. Sólo después de recopilar suficientes respuestas los sitios principales comienzan a destacarse claramente, lo que permite que el orden se estabilice. Además, es importante que los sitios principales estén bien separados; si están muy igualados, la clasificación podría no ser significativa, ya que una competencia reñida no muestra realmente quién está realmente por delante. El artículo analiza si la diferencia entre los principales sitios es mayor que el margen de error de cada uno. Cuando lo es, la clasificación refleja una diferencia real. Cuando no es así, probablemente sea sólo ruido estadístico. Ambas condiciones deben cumplirse al mismo tiempo; ninguna de ellas por sí sola es suficiente. En 30 pruebas de temas de plataforma, el número de respuestas necesarias para que se cumplieran ambas condiciones osciló entre 33 y 94, contando solo las respuestas con citas.
Tres de cada 30 no llegaron a este punto incluso después de 125 preguntas, todas en SearchGPT, donde los sitios principales eran demasiado similares para diferenciarlos. No existe un límite único aplicable en todas partes; lo que funciona para una plataforma y un tema puede no ser adecuado para otra.
Hemos estado dando vueltas a esto
En enero, hablé del descubrimiento de SparkToro de que las herramientas de inteligencia artificial brindan una lista diferente de marcas recomendadas más del 99% de las veces que haces la misma pregunta. Ese artículo dejó una pregunta sin respuesta: ¿cuántas veces hay que preguntar antes de que los resultados se estabilicen? Este artículo ofrece la respuesta más clara que he encontrado.
Rand Fishkin, quien dirigió ese estudio, comparte algunos consejos útiles. Antes de gastar dinero en rastrear la visibilidad de la IA, sugiere asegurarse de que su proveedor “muestre sus cálculos”. El documento IQRush es una excelente manera de hacer esto porque proporciona una regla de detención simple, por lo que no tiene que confiar únicamente en la intuición sobre cuántas ejecuciones son suficientes.
También se ajusta a una serie de estudios que SEJ ha cubierto durante el año pasado, cada uno de los cuales informa números de citas de IA como si estuvieran arreglados. Este se da vuelta, examina la medición en sí y pregunta, en primer lugar, si esos números son lo suficientemente estables como para compararlos.
Qué cambia esto para sus informes
El número que aparece en su panel de control es solo una muestra. Antes de confiar en él, verifique si su rastreador realiza la misma verificación repetidamente e informa un rango, o si extrae datos una vez y muestra una cifra limpia. La figura limpia puede ser en realidad una señal de advertencia, no de tranquilidad.
Una ganancia después de un cambio de contenido es fácil de malinterpretar. Por ejemplo, un aumento de tres puntos en su porcentaje de citas de SearchGPT puede parecer una prueba de que su esfuerzo valió la pena, pero tal cambio puede caer dentro de la variabilidad natural de ejecuciones sucesivas, según los datos del artículo original.
Para reclamar la victoria, mida antes y después más de una vez cada uno. Una sola lectura del antes y el después no puede separar el cambio del ruido ordinario.
La plataforma que está midiendo cambia la cantidad de datos que necesita y no de la forma que imagina. Todo se reduce a cuánta información independiente contiene cada respuesta, no a cuántas citas te entrega. Gemini acumula citas en el mismo puñado de sitios dentro de una sola respuesta, por lo que muchas de esas citas te dicen lo mismo. SearchGPT ofrece menos citas por respuesta, pero las distribuye, por lo que cada respuesta contiene más información independiente de lo que sugiere el recuento bruto. La misma cantidad de respuestas en dos motores no genera la misma confianza, y un presupuesto que liquide a Gemini puede dejarlo adivinando en SearchGPT.
A veces la respuesta honesta es que todavía no puedes decirlo. Tres de las 30 pruebas nunca separaron claramente sus sitios principales dentro del presupuesto. Para ellos, la decisión correcta es esperar, no publicar una clasificación que los datos no puedan respaldar. Un rastreador que puede indicarle que “no hay suficientes datos” vale más que uno que imprime un pedido seguro cada vez que lo solicita.
La cima del ranking es la parte que más puedes defender. Con suficientes respuestas, los líderes se alejan del medio y de la cola, aunque ni siquiera ellos son exactos. Los márgenes de error se amplían rápidamente debajo del frente, hasta que las posiciones vecinas son un lanzamiento de moneda, e incluso los 10 primeros no fueron impecables, con el margen de error típico en un sitio de los 10 primeros ocupando alrededor de cinco posiciones y una de cada cinco más ancha que 10. Confíe en los líderes, trate el medio y el fondo como si fueran difíciles, y no informe posiciones exactas más allá del frente de la lista.
Lo que el artículo no prueba
Nada de esto proviene de un estudio terminado y revisado por pares. Es una preimpresión basada en 30 pruebas de temas de plataforma en tres motores, que utilizan preguntas generadas por ChatGPT en lugar de búsquedas de usuarios reales, en un solo tramo de colección. Los números exactos no se transferirán claramente a sus temas, así que trátelos como la forma del problema, no como una tabla de búsqueda.
Esos recuentos incluyen solo respuestas que contienen citas, lo que es más importante en SearchGPT, porque una parte de sus preguntas no arrojan ninguna cita. En un tema, 125 preguntas produjeron 104 respuestas utilizables, un 17 % de errores, por lo que tendría que enviar más preguntas de las que sugieren esos totales.
El control del método también es interno. El artículo compara una clasificación que llama inicialmente con la clasificación final de esa misma colección, no con ninguna verdad externa. Esto comprueba si la regla de detención es coherente consigo misma, por lo que el resultado coincidente del equipo no afiliado funciona aquí. Los autores de ese artículo de abril, Julius Schulte, Malte Bleeker y Philipp Kaufmann, son investigadores de la Universidad de St. Gallen. Ejecutaron un conjunto de datos separado y llegaron al mismo veredicto: una sola lectura no es confiable y es necesario probar un motor repetidamente para confiar en lo que dice.
A dónde va esto
El documento no llega a lo que la mayoría de la gente querrá, que es una forma de conocer su presupuesto antes de comenzar a recaudar. Sielinski deja eso para un trabajo posterior y señala que el número depende de la forma del patrón de citas de cada plataforma, por lo que probablemente no se llegue a un presupuesto universal único.
El cambio más importante es que los informes de visibilidad de la IA van por el mismo camino que ya lo hicieron los informes de anuncios y análisis, hacia números que conllevan un margen de error en lugar de un punto decimal falso. Esto sucede mientras aún faltan los elementos básicos, ya que Search Console aún no le dirá qué clics provienen de la IA. Hasta que lo haga, le corresponde a usted ejecutar la verificación más de una vez e informar el rango, no el único número que le entrega su panel.
Más recursos
Imagen destacada: Pegajoso/Shutterstock
