Memoria y arquitecturas
El olvido catastrófico es una limitación estructural, no una impresión; Nested Learning y HOPE proponen un modelo hecho de relojes de aprendizaje entrelazados.
Si un asistente parece tener memoria de pez, no es una sensación: es estructural. Los modelos actuales se entrenan una vez, se congelan y a partir de ahí sirven lo que ya aprendieron.
El olvido catastrófico
Cuando se intenta que sigan aprendiendo, la información nueva pisa y degrada la anterior: los mismos parámetros que aprenden lo nuevo sostienen lo viejo. Se parece a una amnesia anterógrada —brillantes con lo que ya saben, muy pobres consolidando—. Las dos salidas actuales no bastan: reentrenar desde cero es caro, lento y a menudo inviable; el fine-tuning mejora lo nuevo y degrada lo anterior.
Queda la memoria a corto plazo, el contexto del prompt, con el coste que eso tiene en saturación de contexto. Lo que no hay es un mecanismo nativo de memoria a largo plazo integrada en el propio aprendizaje.
Nested Learning: relojes entrelazados
La propuesta de Google no es “una capa más”, sino otra forma de organizar el aprendizaje. El machine learning clásico dio modelos que aprendían patrones concretos; el deep learning apiló capas y dio modelos masivos pero rígidos —aprenden mucho, una sola vez—. Nested Learning concibe el modelo como un sistema de problemas de optimización anidados que se actualizan a frecuencias distintas.
La idea viene de la neurociencia: no todo el cerebro se actualiza igual de rápido. Traducido a módulos jerárquicos, unos se ajustan a menudo —memoria rápida, detalles del contexto— y otros muy lentamente —conocimientos estables de fondo—. En lugar de un único reloj de aprendizaje, un sistema de relojes entrelazados capaz de absorber lo nuevo sin sobrescribir lo anterior.
HOPE: el prototipo
Para demostrar que no era teoría bonita, Google construyó HOPE, equipado con un sistema de memoria continua (CMS):
- Arquitectura auto-referencial: el modelo aprende a optimizar cómo actualiza su propia memoria.
- Memoria a múltiples velocidades: no solo corta y larga, sino muchos niveles.
- Aprendizaje continuo: incorpora conocimiento incrementalmente sin rediseñar el modelo.
En pruebas de lenguaje, razonamiento y contexto largo —Needle in a Haystack incluida— supera a Transformers y a recurrentes modernos, con menor perplejidad. Sigue siendo investigación, no producto: no hay API pública. Cualquier plan que dependa hoy de HOPE apuesta a una publicación, no a un servicio.
Qué cambiaría
Asistentes que de verdad recuerdan —un copiloto que ha trabajado con el equipo durante meses—, productos que aprenden en producción sin downtime de inteligencia, y responsabilidades nuevas para la gobernanza.
Conviene no confundir esta línea con la difusión para texto: aquella cambia cómo se genera, ésta cómo se aprende. Y mientras no se resuelva, el conocimiento tiene que vivir fuera del modelo, escrito — el argumento de conocimiento y documentación.