W skrócie
- Google Research opisało metodę, w której model na zmianę pracuje i „śpi”: we śnie utrwala nową wiedzę i trenuje na własnych „snach”.
- W tłumaczeniu na nowe języki (mandżurski, kalamang) model według autorów prawie nie tracił starej wiedzy.
- To wyniki samych autorów, bez nazwy modelu bazowego i kosztów.
Najkrócej: 27.10.2026 Ali Behrouz i Vahab Mirrokni z Google Research opisali „ramy snu” dla modeli językowych. Model na zmianę pracuje i śpi, a sen służy do utrwalenia tego, czego nauczył się w ciągu dnia. Ma to ograniczyć katastrofalne zapominanie, czyli utratę starej wiedzy przy nauce nowej.
Na czym polega sen modelu
- Faza czuwania: model przyjmuje dane i trzyma nowe informacje w szybkiej pamięci krótkotrwałej, zamiast tylko w oknie kontekstu.
- Utrwalanie: w czasie snu model nie przyjmuje danych; dokłada nowe, małe „szuflady” na wiedzę, nie nadpisując starych, i przenosi do nich pamięć krótkotrwałą przez destylację wiedzy.
- Przycinanie: potem czyści tymczasową pamięć, jak mózg po nocy.
- Śnienie: model sam generuje przykłady, wybiera najbardziej przydatne, uczy się na nich i sprawdza, czy wyniki się poprawiły.
Wyniki według autorów
- W nauce tłumaczenia na języki, których model nie znał (mandżurski i kalamang), spadek starej wiedzy był bliski zera; inne metody traciły dużo.
- W teście długich tekstów BABILong wynik był niemal idealny do 10 mln tokenów.
- W zadaniach matematycznych: 79,2% w AIME 24, 69,0% w AIME 25 i 46,1% w HMMT 25.
Jak to czytać
To wpis badaczy z wynikami, których nikt jeszcze niezależnie nie powtórzył. Wpis nie podaje nazwy ani wielkości modelu bazowego, kosztu snu ani ograniczeń metody. Na dziś to kierunek, nie gotowe narzędzie. O tym, jak agenci pamiętają dziś, piszę w hubie pamięć agentów, a o pracach naukowych w hubie badania i papery.