SLEEP nedir?
Google Research tarafından açıklanan SLEEP, büyük dil modellerinde sürekli öğrenme üzerine bir araştırma çerçevesidir. Amaç, yeni bilgileri edinirken önceki yeteneklerde yaşanan kaybı azaltmaktır.
Neden yeni bir yaklaşıma ihtiyaç var?
Bir model yeni verilerle güncellendiğinde daha önce öğrendiklerini kaybedebilir. Yalnızca sohbet bağlamına güvenmek de bilgi saklamayı mevcut bağlam penceresiyle sınırlar.
Uyku aşamasında ne oluyor?
Çerçeve, etkin kullanım dönemini bilgi pekiştirme aşamasıyla birleştiriyor. Araştırmadaki uyku ve rüya ifadeleri teknik süreçleri anlatan benzetmelerdir; insan uykusu ya da bilinç anlamına gelmez.
Araştırma sonuçları ne söylüyor?
Google, sürekli öğrenme ve uzun bağlam değerlendirmelerinde karşılaştırmalı sonuçlar bildiriyor. Grafikler belirli veri kümeleri ve deney koşulları için geçerlidir; her modelde aynı başarı beklenmemelidir.
Ne zaman kullanılabilir?
Bu çalışma bir araştırma yaklaşımıdır; bütün sohbet uygulamalarının artık kalıcı hafızaya veya 10 milyon tokenlık gerçek sohbet kapasitesine sahip olduğunu göstermez. Yöntemin dağıtımı ve pratik performansı ayrıca değerlendirilmelidir.
