Was ist SLEEP?
SLEEP ist ein Forschungsansatz von Google Research für kontinuierliches Lernen großer Sprachmodelle. Er soll den Verlust früherer Fähigkeiten beim Erwerb neuen Wissens verringern.
Warum ein neuer Ansatz?
Die Aktualisierung mit neuen Daten kann früher gelernte Fähigkeiten verschlechtern. Die reine Nutzung des Gesprächskontexts begrenzt die Speicherung zudem auf das verfügbare Kontextfenster.
Was geschieht in der Schlafphase?
Der Ansatz verbindet aktive Interaktion mit einer Phase der Wissenskonsolidierung. Schlaf und Träumen sind Metaphern für technische Prozesse; sie bedeuten weder menschlichen Schlaf noch Bewusstsein.
Was zeigen die Ergebnisse?
Google berichtet Vergleichsergebnisse für kontinuierliches Lernen und lange Kontexte. Die Diagramme gelten für bestimmte Datensätze und Versuchsbedingungen; sie garantieren nicht dieselbe Leistung für jedes Modell.
Wann ist der Ansatz nutzbar?
Es handelt sich um Forschung und nicht um einen Nachweis, dass jeder Chatbot dauerhaftes Gedächtnis oder zehn Millionen Token Gesprächskontext besitzt. Einsatz und praktische Leistung müssen gesondert geprüft werden.
