Cada vez que un modelo de lenguaje responde una pregunta ambigua con precisión inquietante, surge la misma sensación: parece que del otro lado hay alguien que entendió. Como arquitecto que ha pasado los últimos años integrando estos sistemas en producción, esa sensación es exactamente lo que quiero desarmar. No porque la respuesta sea decepcionante, sino porque la pregunta correcta no es "¿entiende?", es "¿qué estamos pidiendo que signifique 'entender'?".

Lo que realmente ocurre bajo el capó

Un modelo de lenguaje grande no razona sobre el mundo, calcula la distribución de probabilidad del siguiente token dado el contexto previo. Cada palabra que genera es, en esencia, la respuesta a una pregunta estadística: dado todo lo que vino antes, ¿qué es lo más plausible que venga después?

# Simplificación conceptual de lo que hace un LLM en cada paso
def generar_siguiente_token(contexto, modelo):
    distribucion = modelo.calcular_probabilidades(contexto)
    return muestrear(distribucion)  # no hay "creencia", hay probabilidad

No hay una representación interna del mundo que el modelo consulte para verificar si algo es cierto, hay pesos entrenados sobre billones de tokens que codifican correlaciones estadísticas extraordinariamente ricas. La fluidez que percibimos como comprensión es, técnicamente, la consecuencia de haber comprimido patrones del lenguaje humano a una escala que ningún humano podría procesar conscientemente.

El argumento en contra: el cuarto chino, actualizado

El filósofo John Searle planteó en los años 80 el experimento mental del "cuarto chino": una persona que no habla chino sigue un manual de reglas para responder mensajes en chino de forma convincente, sin entender una sola palabra. La pregunta que planteó sigue vigente: manipular símbolos según reglas —por sofisticadas que sean— ¿es lo mismo que entender su significado?

Los LLM son, en cierto sentido, la versión más elaborada jamás construida de ese cuarto. La diferencia con 1980 es que el "manual de reglas" ahora tiene billones de parámetros aprendidos automáticamente en vez de estar escrito a mano, y el resultado es tan fluido que la distinción entre "seguir reglas" y "entender" deja de ser evidente desde afuera.

El argumento a favor: la comprensión también es un proceso físico

La objeción más fuerte al cuarto chino es que nuestro propio cerebro tampoco "entiende" en un sentido mágico: son neuronas disparando según patrones aprendidos, sin que exista un homúnculo interno que le dé significado "real" a nada. Si exigimos que una IA demuestre comprensión con un criterio que nuestro propio cerebro no podría superar bajo el mismo escrutinio, el estándar es poco honesto.

Además, hay evidencia de que los LLM construyen representaciones internas que van más allá de la simple memorización superficial: relaciones geométricas entre conceptos en el espacio de embeddings, generalización a problemas fuera de la distribución de entrenamiento, capacidad de seguir cadenas de razonamiento de varios pasos. Eso no es "entendimiento" en el sentido humano, pero tampoco es simple autocompletado de teclado.

La pregunta que sí es útil para un arquitecto

Después de meses debatiendo esto en foros filosóficos, llegué a una conclusión más pragmática: para diseñar sistemas en producción, la pregunta "¿entiende de verdad?" es la menos útil de todas. La pregunta que sí importa es otra:

  • ¿El modelo generaliza de forma confiable fuera de los casos que vio en entrenamiento?
  • ¿Falla de forma predecible o de forma caótica cuando se equivoca?
  • ¿Podemos verificar sus respuestas con una fuente de verdad externa antes de actuar sobre ellas?

Un sistema puede ser extraordinariamente útil sin que resolvamos si "entiende" en el sentido filosófico del término, y puede ser peligroso aunque parezca entender perfectamente. Confundir fluidez con confiabilidad es, en mi experiencia, el error de arquitectura más caro que he visto cometer a equipos que integran IA sin escepticismo.

Mi postura, con la incertidumbre incluida

No creo que los LLM "entiendan" como lo hace una persona: no tienen cuerpo, no tienen continuidad de experiencia entre conversaciones, no tienen nada que se parezca a una intención propia. Pero tampoco creo que sean solo "autocompletado glorificado" — esa frase, repetida como si zanjara el debate, ignora la complejidad real de lo que ocurre en esos billones de parámetros.

La honestidad intelectual exige aceptar que todavía no tenemos una definición de "entender" lo suficientemente precisa como para aplicarla con rigor a un sistema que no es humano ni es una calculadora. Mientras esa definición no exista, la pregunta seguirá siendo fascinante — y seguirá siendo, sobre todo, la pregunta equivocada para decidir cómo construir software responsable con estas herramientas.