La IA puede pasar de memorizar a descubrir reglas. La interpretabilidad mecanicista —técnica para analizar lo que ocurre dentro de los modelos de lenguaje— encuentra señales de que estos sistemas crean representaciones internas de conceptos y relaciones entre hechos, más allá de asociar palabras.

El fenómeno estrella se llama grokking: tras un largo periodo con pocos avances, el modelo puede empezar a resolver problemas nuevos al generalizar una regla subyacente que nadie le programó. Por primera vez se verificó en preentrenamiento de LLMs reales a escala práctica: el grokking ocurre por grupos de datos de forma local y asíncrona, no de golpe global, según arXiv 2506.21551 (feb-2026).

El mecanismo propuesto es elegante: las rutas internas (elecciones de expertos por capa en MoE) evolucionan de aleatorias y específicas a estructuradas y compartidas entre muestras. La similitud entre rutas y la consistencia entre capas crecen durante el grokking: la generalización emerge de ordenar el interior, no de memorizar más.

Y ya hay leyes de escala: un estudio de septiembre de 2026 mapea la frontera memorización-generalización en 384 configuraciones y halla que la complejidad de los datos manda (duplicar datos acelera la generalización ~4x; duplicar ancho, solo ~1,2x), con frontera de fase nítida en decaimiento de pesos, según arXiv 2609.10657.

La cautela la pone la propia literatura: un grokkeado no siempre razona por un circuito nuevo —a veces solo integra hechos memorizados en rutas ya existentes—, y generalizar y formar circuito pueden ocurrir por separado. El «¡ajá!» del modelo no equivale a comprender como una persona ni a construir un modelo completo del mundo.

Aun así, el programa avanza: medir el progreso durante el entrenamiento (pérdidas restringidas/excluidas, compresión de pesos) permite anticipar saltos que la pérdida clásica no ve. Entender el interior deja de ser filosofía para ser instrumentación.

El origen clásico sigue vigente: el trabajo de Nanda et al. (ICLR 2023) dividió el fenómeno en memorización, formación de circuito y limpieza, con la multiplicación de Fourier emergiendo en una sola capa. Lo que era curiosidad de juguete en aritmética modular hoy se mide en modelos de miles de millones de parámetros.

Fuentes
arXiv 2506.21551: memorización-a-generalización en MoE
arXiv 2609.10657: leyes de escala de la transición
Crédito de la imagen: Célula PC-12 viva en fluorescencia multicolor, imagen de 8x57is, licencia CC BY-SA 4.0 vía Wikimedia Commons.