Ciencia — Terence Tao, uno de los matemáticos vivos más influyentes del mundo, ofreció una perspectiva única sobre los grandes modelos de lenguaje (LLMs): su funcionamiento subyacente es matemáticamente simple, pero su comportamiento práctico sigue siendo difícil de predecir.
Lo que sabemos: es simple
Entrenar y ejecutar LLMs utiliza principalmente álgebra lineal, multiplicación de matrices y un poco de cálculo — material que un estudiante universitario puede manejar. "Entendemos cómo construir y operar estos modelos", explicó Tao. No hay misterio en la infraestructura técnica subyacente.
El verdadero misterio
Lo que sí carece de explicación es por qué estos modelos funcionan tan bien en algunas tareas y fallan en otras, y por qué no podemos predecir eso de antemano. No existen buenas reglas para pronosticar el rendimiento a nivel de tarea, por lo que el progreso es en gran medida empírico.
El régimen intermedio
La clave del problema está en la naturaleza de los datos del mundo real. El ruido puro se entiende perfectamente, los datos perfectamente estructurados también, pero el texto natural se encuentra en un punto intermedio — parcialmente estructurado y parcialmente aleatorio. La matemática para ese régimen intermedio es escasa, similar a cómo la física lucha en las escalas meso entre átomos y continuos.
El rompecabezas central
Debido a esta brecha, podemos describir los mecanismos pero no podemos explicar aún los saltos de capacidad ni dar predicciones confiables a nivel de tarea. Esa discrepancia — maquinaria simple versus comportamiento impredecible — es el rompecabezas central.
Fuentes y créditos: