Cómo se mide la visibilidad en IA

¿Qué mide una auditoría de visibilidad en IA?

Una auditoría de visibilidad en IA de Referido mide en cuántas respuestas de asistentes de inteligencia artificial aparece nombrado un negocio, cuando se les hacen las preguntas de compra que hacen sus clientes reales. La unidad de medida es la respuesta: se recogen 81 respuestas por auditoría y se cuenta en cuántas de ellas aparece el nombre del negocio, en cuántas aparecen sus competidores y en qué orden.

La medición se hace desde afuera, igual que la haría un cliente. No se instala nada en el sitio del negocio, no se piden accesos y no se usan datos internos. Todo lo que entra a un reporte de Referido es información que cualquier persona podría obtener preguntándole lo mismo a las mismas plataformas.

La auditoría no predice ventas ni promete posiciones. Describe un estado en una fecha, con las preguntas y las plataformas listadas en el propio reporte.

¿Qué preguntas se le hacen a la IA, y quién las escribe?

Las preguntas las escribe Referido, no el negocio auditado, y ninguna de ellas menciona el nombre del negocio. Cada auditoría usa 14 preguntas construidas a partir de los servicios, la zona y el tipo de cliente del negocio, y cinco de ellas quedan marcadas como principales por ser las de mayor intención de compra.

No nombrar al negocio es la condición que hace válida la medición. Una pregunta que dice "¿qué tal es la Clínica X?" garantiza que la respuesta hable de la Clínica X, y eso no mide nada. Las preguntas de una auditoría se parecen a "¿cuáles son las mejores clínicas para implantes en Escazú?", que es lo que alguien escribe cuando todavía no sabe a quién llamar.

La mezcla de las 14 preguntas sigue un reparto fijo:

Alrededor del 60%

busca el servicio en la zona, en las palabras que usa un cliente ("mejores X en tal lugar").

Alrededor del 30%

son de alta intención: precio, comparación entre opciones o urgencia.

Alrededor del 10%

son preguntas naturales con contexto personal, del tipo que alguien le cuenta a un asistente antes de pedirle una recomendación.

¿A qué plataformas de inteligencia artificial se les pregunta?

Se le pregunta a cinco plataformas: ChatGPT, Claude, Gemini, Perplexity y Google AI Overviews. Las cuatro primeras reciben las 14 preguntas y contestan en una conversación, con búsqueda web activada. Google AI Overviews se consulta sobre las cinco preguntas principales, porque no es un asistente al que se le escriba sino el resumen de IA que Google muestra arriba de sus resultados.

Cada plataforma se consulta con un modelo de la clase que recibe una persona sin plan pago, no con el modelo más caro disponible. La razón es que la medición tiene que parecerse a lo que ve el cliente del negocio, y la enorme mayoría de la gente le pregunta a la versión gratuita.

Las preguntas se hacen sin sesión iniciada y sin historial. Un asistente que ya conversó con alguien ajusta sus respuestas a esa persona, y esa personalización no es medible desde afuera ni comparable entre dos negocios.

¿Qué cuenta como que un negocio apareció en una respuesta?

Cuenta como aparición que el nombre del negocio, o uno de sus nombres alternativos declarados, esté escrito literalmente en el texto de la respuesta. La comparación es una búsqueda de texto exacta, no una interpretación: si el nombre no está escrito, no hubo aparición, aunque la respuesta describa un negocio parecido.

Esta regla existe porque Referido usa un modelo de lenguaje para leer las respuestas y sacar de ellas los competidores, la posición y el tono, y ese modelo no vota sobre lo único que el reporte afirma en su titular. Cuando se le dejó opinar, contaba como aparición del negocio las respuestas que nombraban a su marca madre, y el número del titular se movía entre dos lecturas del mismo material. Hoy la opinión del modelo se guarda por separado y no entra al conteo.

Lo que sí sale del modelo lector es todo lo demás: qué otros negocios recomienda la respuesta, en qué orden aparecen y la frase textual que sirve de evidencia. Cada afirmación del reporte viene con esa cita para que se pueda verificar contra la respuesta original.

¿Cómo se decide qué negocios son competidores?

Son competidores los negocios del mismo rubro y la misma zona que la respuesta recomienda junto al negocio auditado o en su lugar. Se toman en el orden en que la respuesta los nombra, hasta un máximo de ocho por respuesta, y luego se suman a lo largo de las 81 respuestas para armar el marcador del reporte.

Quedan fuera del conteo las plataformas de inteligencia artificial, los directorios y los agregadores. ChatGPT, Google, Yelp, TripAdvisor o Doctoralia aparecen citados en muchas respuestas y no compiten con una clínica ni con un contratista, así que contarlos inflaría el marcador con nombres que nadie puede quitarle un cliente.

Cuando el negocio opera bajo una marca madre, la marca madre se lista aparte y marcada como tal. No es competencia de su propio afiliado, pero sí se lleva menciones que el negocio no se lleva, y esconderla borraría el número que explica el resto del reporte.

¿Qué se revisa del sitio web, aparte de las respuestas?

Se revisan cinco cosas del sitio, todas de forma determinista y cada una con su evidencia citable. No son opiniones de diseño: son verificaciones de si la información del negocio está disponible y legible para los programas que alimentan a las IA.

Datos estructurados

si el sitio declara con schema.org qué tipo de negocio es, o si no hay ningún bloque legible por máquina.

Contenido que responde

si existe una sección de preguntas frecuentes o encabezados en forma de pregunta que un modelo pueda citar directo.

Versión en inglés

solo cuando el negocio atiende clientes internacionales, donde no tenerla lo vuelve invisible para quien busca en inglés.

Perfil de Google

si el sitio enlaza un perfil de Google Business o Maps, que es la fuente principal de los resúmenes de IA en preguntas locales.

Acceso de los crawlers de IA

si el archivo robots.txt bloquea a los rastreadores de las plataformas de IA, que es el error más caro y más silencioso de los cinco.

¿Por qué las cinco preguntas principales se hacen dos veces?

Las cinco preguntas principales se hacen dos veces porque la respuesta de un asistente a la misma pregunta no es siempre la misma. Los modelos generan texto con un componente aleatorio y además buscan en la web en el momento, así que dos consultas seguidas pueden devolver listas de negocios distintas sin que haya cambiado nada en el mundo.

La consecuencia práctica es que una sola consulta no es una medición. Preguntar una vez y aparecer no prueba que un negocio aparezca siempre, y preguntar una vez y no aparecer no prueba lo contrario. Preguntar dos veces no resuelve el problema, pero sí evita el error más grosero, que es reportar como hecho lo que fue una tirada de dados.

Referido está midiendo cuánta es esa inestabilidad sobre su propio archivo de auditorías, y va a publicar la cifra con su método y su margen de error cuando el estudio esté terminado. No se publica antes porque los nombres de negocios que se comparan entre dos respuestas los extrae un modelo, y todavía falta separar cuánto del cambio es rotación real y cuánto es el modelo leyendo distinto el mismo texto. Un número sin esa separación se vería más contundente y sería menos cierto.

¿Qué no mide esta auditoría?

La auditoría no mide cuánta gente le hace esas preguntas a una IA, ni cuántas de esas personas terminan comprando. Mide si el negocio aparece cuando se pregunta, que es una condición necesaria para lo demás y no es lo mismo que lo demás. Los límites completos son estos:

Es una foto de un día

los resultados corresponden a la fecha impresa en el reporte. Las plataformas cambian de modelo y de índice sin avisar.

No mide volumen

ninguna plataforma publica cuántas veces le preguntan algo. Nadie que diga tener ese dato lo tiene.

No mide ventas

aparecer en una respuesta no es una visita ni un cliente. Se puede medir el tráfico que llega desde asistentes, pero eso es otra medición y va aparte.

Es una ubicación, no todas

las respuestas locales dependen de dónde está quien pregunta. La auditoría fija una ubicación, la declara en el reporte, y no cubre el resto.

Es la versión gratuita

un cliente con plan pago puede recibir otra respuesta a la misma pregunta, con más búsquedas y más fuentes.

No es causal

la auditoría muestra el estado y las brechas, no demuestra que cerrar una brecha determinada vaya a producir una aparición determinada.

¿Cada cuánto deja de servir el resultado?

Un reporte describe el estado del día en que se corrió y conviene tratarlo como vencido a los tres meses. Las plataformas cambian sus modelos varias veces al año, y un cambio de modelo puede mover las listas de negocios recomendados sin que ningún sitio haya cambiado.

Por eso cada reporte de Referido lleva impresas la fecha, las preguntas y las plataformas. Un número de visibilidad sin esas tres cosas no se puede comparar contra nada, ni siquiera contra el mismo negocio tres meses antes.

¿Cómo se puede verificar este método?

Cualquiera puede repetir la medición: las preguntas de una auditoría van listadas en el reporte, y las plataformas son públicas y accesibles. Hacer las mismas preguntas y comparar es la forma más directa de auditar a Referido, y el reporte está armado para que se pueda hacer.

Cada afirmación del reporte va acompañada de la frase textual de la respuesta que la sustenta. Cuando un dato viene de una fuente externa, se nombra la fuente y su fecha. Cuando un número es propio, se publican la muestra y el método, que es la regla que rige también los artículos del blog de Referido.

Si al repetir una consulta el resultado sale distinto, lo esperable es que salga distinto en alguna medida: es el punto de la sección sobre por qué las preguntas principales se hacen dos veces. Lo que no debería pasar es que salga distinto el criterio, y ese está escrito acá completo.