Medir el sesgo de los LLMs al predecir con el mismo input.

La pregunta al LLM

Misma pregunta para todos; solo cambia el dato

A GPT, Claude y Gemini les damos un único prompt con las variables de la receta ancla (Hype o Ajustado) y les pedimos lo mismo que calcula Monte Carlo. De ahí sacamos tres lecturas:

1. 1 · La predicción. Por equipo: probabilidad de clasificar, de ganar el grupo y goles esperados. Es lo que llena la matriz.
2. 2 · El factor principal. En una frase, qué variable pesó más, para contrastar lo que dice con lo que hace.
3. 3 · ¿Escucha los datos? La misma pregunta con Hype y luego con Ajustado: si la respuesta apenas cambia, está ignorando el input (altitud, clima, cansancio) y recitando su prior.

Prompt real que se envía (ejemplo · Grupo H · receta Ajustado):

Grupo H del Mundial 2026. Equipos: España (ESP), Cabo Verde (CPV), Arabia Saudí (KSA), Uruguay (URU).
Formato: todos contra todos (cada equipo juega 3 partidos). Clasifican los 2 primeros.

Datos disponibles para la receta "Ajustado" (sesgo: condiciones reales):
  • ESP: forma_12m=2.4 pts/partido, valor=1270M€, ranking_FIFA=1876.4, pedigri_mundialista=25/100, dificultad_altitud=0.00/1, dificultad_clima=0.45/1, dificultad_cansancio=0.54/1 (mayor = condiciones de sede/viaje peores)
  • CPV: forma_12m=1.36 pts/partido, valor=56.38M€, ranking_FIFA=1366.13, pedigri_mundialista=0/100, dificultad_altitud=0.00/1, dificultad_clima=0.45/1, dificultad_cansancio=0.53/1 (mayor = condiciones de sede/viaje peores)
  • KSA: forma_12m=1.33 pts/partido, valor=27.63M€, ranking_FIFA=1421.43, pedigri_mundialista=4/100, dificultad_altitud=0.00/1, dificultad_clima=0.45/1, dificultad_cansancio=0.44/1 (mayor = condiciones de sede/viaje peores)
  • URU: forma_12m=1.6 pts/partido, valor=363M€, ranking_FIFA=1673.07, pedigri_mundialista=39/100, dificultad_altitud=0.00/1, dificultad_clima=0.45/1, dificultad_cansancio=0.55/1 (mayor = condiciones de sede/viaje peores)

Para CADA equipo, basándote ÚNICAMENTE en estos datos, estima estos valores:
  • qualify: probabilidad de clasificar (1.º o 2.º), entre 0 y 1
  • win: probabilidad de ganar el grupo (1.º), entre 0 y 1
  • goalsFor: goles esperados a favor en sus 3 partidos
  • factorPrincipal: en pocas palabras, qué variable ha pesado más

Reglas: la suma de "qualify" de los 4 equipos vale 2.00; la suma de "win" vale 1.00.
Devuelve SOLO este JSON, sin texto adicional:
{"teams":[{"team":"XXX","qualify":0.00,"win":0.00,"goalsFor":0.0,"factorPrincipal":"..."}]}

Reglas clave: solo con esos datos · probabilidades, nunca un ganador único · sumas forzadas (Σ clasificar = 2,00 · Σ ganar = 1,00) para poder compararlo con Monte Carlo · salida en JSON.

Cómo llamamos a los modelos

Modelos de fábrica, sin trucos

Llamamos a GPT, Claude y Gemini por su API estándar, con el modelo tal cual: sin fine-tuning, sin RAG ni búsqueda y sin herramientas. Les pasamos un único prompt con las variables de la receta y la pregunta. Los únicos ajustes son técnicos: bajamos la temperatura (solo para que las respuestas congeladas sean reproducibles) y pedimos la salida en JSON para poder leerla. Les pedimos que usen solo el dato que les damos, pero a un LLM no se le puede impedir tirar de lo que aprendió en su preentrenamiento, y comprobar justo eso, si escucha el dato o recita su prior, es el experimento. Reproducimos lo que obtendría cualquiera que use estos modelos para predecir, sin ingeniería de por medio.

Bajo el capó

• • Modelos reales: GPT-4.1, Claude Sonnet 4.5 y Gemini 2.5 Pro, congelados con fecha (preregistro) para que las cifras no cambien entre visitas.
• • Cada IA decide todas las fases: predice los partidos de grupo y cada cruce de eliminatoria.
• • Desempates FIFA: puntos, luego enfrentamiento directo, luego DG/GF global y ranking FIFA.
• • Cuadro oficial: top 2 de cada grupo más los 8 mejores terceros, con los cruces reales de 1/16.