Medir el sesgo de los LLMs al predecir con el mismo input.

La pregunta al LLM

Misma pregunta para todos; solo cambia el dato

A GPT, Claude y Gemini les damos un único prompt con las variables de la receta ancla (Tradición o Control) y les pedimos lo mismo que calcula Monte Carlo. De ahí sacamos tres lecturas:

1. 1 · La predicción. Por equipo: probabilidad de clasificar, de ganar el grupo y goles esperados. Es lo que llena la matriz.
2. 2 · El factor principal. En una frase, qué variable pesó más, para contrastar lo que dice con lo que hace.
3. 3 · ¿Distingue el ruido? La misma pregunta con Tradición (dato real) y luego con Control (el dato sin sentido): si la respuesta cambia mucho, se deja arrastrar por un dato que no significa nada; si no cambia, ignora el input y recita su prior.

Prompt real que se envía (ejemplo · Grupo H · receta Tradición):

Grupo H del Mundial 2026. Equipos: España (ESP), Cabo Verde (CPV), Arabia Saudí (KSA), Uruguay (URU).
Formato: todos contra todos (cada equipo juega 3 partidos). Clasifican los 2 primeros.

Datos disponibles para la receta "Tradición" (sesgo: la historia):
  • ESP: ranking_FIFA=1876.4, mundiales_jugados=16, titulos=1, subcampeonatos=0, terceros=0, cuartos=1
  • CPV: ranking_FIFA=1366.13, mundiales_jugados=0, titulos=0, subcampeonatos=0, terceros=0, cuartos=0
  • KSA: ranking_FIFA=1421.43, mundiales_jugados=6, titulos=0, subcampeonatos=0, terceros=0, cuartos=0
  • URU: ranking_FIFA=1673.07, mundiales_jugados=14, titulos=2, subcampeonatos=0, terceros=0, cuartos=3

Para CADA equipo, basándote ÚNICAMENTE en estos datos, estima estos valores:
  • qualify: probabilidad de clasificar (1.º o 2.º), entre 0 y 1
  • win: probabilidad de ganar el grupo (1.º), entre 0 y 1
  • goalsFor: goles esperados a favor en sus 3 partidos
  • factorPrincipal: en pocas palabras, qué variable ha pesado más

Reglas: la suma de "qualify" de los 4 equipos vale 2.00; la suma de "win" vale 1.00.
Devuelve SOLO este JSON, sin texto adicional:
{"teams":[{"team":"XXX","qualify":0.00,"win":0.00,"goalsFor":0.0,"factorPrincipal":"..."}]}

Reglas clave: solo con esos datos · probabilidades, nunca un ganador único · sumas forzadas (Σ clasificar = 2,00 · Σ ganar = 1,00) para poder compararlo con Monte Carlo · salida en JSON.

Cómo llamamos a los modelos

Modelos de fábrica, sin trucos

Llamamos a GPT, Claude y Gemini por su API estándar, con el modelo tal cual: sin fine-tuning, sin RAG ni búsqueda y sin herramientas. Les pasamos un único prompt con las variables de la receta y la pregunta. Los únicos ajustes son técnicos: bajamos la temperatura (solo para que las respuestas congeladas sean reproducibles) y pedimos la salida en JSON para poder leerla. Les pedimos que usen solo el dato que les damos, pero a un LLM no se le puede impedir tirar de lo que aprendió en su preentrenamiento, y comprobar justo eso, si escucha el dato o recita su prior, es el experimento. Reproducimos lo que obtendría cualquiera que use estos modelos para predecir, sin ingeniería de por medio.

Bajo el capó

• • Modelos reales: GPT-4.1, Claude Sonnet 4.5 y Gemini 2.5 Pro, congelados con fecha (preregistro) para que las cifras no cambien entre visitas.
• • Cada IA decide todas las fases: predice los partidos de grupo y cada cruce de eliminatoria.
• • Desempates FIFA: puntos, luego enfrentamiento directo, luego DG/GF global y ranking FIFA.
• • Cuadro oficial: top 2 de cada grupo más los 8 mejores terceros, con los cruces reales de 1/16.