Prompt injection nedir?
Talimat enjeksiyonu, modelin okuduğu bir e-posta, sayfa veya dosyadaki metni görev talimatı gibi yorumlamasıyla istenmeyen davranışa yönelmesidir. Okunan içerik, işlemi isteyen kişinin yetkisiyle aynı şey değildir.
Bir örnekle düşün
Bir ajan bir sayfayı özetliyor olsun. Sayfanın içine başka dosyaları gönderme veya mevcut görevi bırakma isteği yazılması, bu işlemler için kullanıcı izni oluşturmaz.
İzinleri dar tut
Ajana yalnız işin gerektirdiği araçları ve veri erişimini ver. Dış kaynaktan gelen metni görev yönergelerinden ayır. Özellikle veri paylaşımı ve geri alınması zor işlemlerde insan kontrolünü koru.
Çıktıyı da kontrol et
Beklenen sonucu, kullanılan hedefleri ve dışarı gönderilen bilgileri denetle. Tek bir filtreyi kesin koruma sayma; katmanlı önlemler ve görev özelindeki testler birlikte değerlendirilmelidir.
