En 3 puntos

1. Memorilla comprime colecciones enteras en 16 tokens latentes.
2. Reduce uso de tokens 20 a 4,212× y acelera 27× con 512 documentos.
3. Para Latam implica menos costo por consulta y mejor respuesta en español.

Stanford presentó Memorilla, un sistema de memoria latente que codifica documentos una vez y los recuerda con 16 tokens por consulta.

El enfoque evita cargar todo el contexto en el prompt, lo que baja latencia de 19.9s a 0.74s en pruebas con H100.

En México y Latam esto se traduce en menores costos de inferencia y posibilidad de mantener historial largo sin pagar por ventana gigante.

Qué sigue: probar Memorilla con corpus en español y medir ahorro real en proveedores locales.Fuentes: arXiv Memorilla | GitHub Memorilla