- Prompt injection, LLM'lerin sistem talimatlarını kullanıcı verilerinden ayırt edememe yetersizliğinden yararlanır.
- Sistemlerin gizliliğini ve bütünlüğünü tehlikeye atabilecek doğrudan, dolaylı ve depolanmış varyantlar mevcuttur.
- Bu, jailbreaking'den farklıdır çünkü jailbreaking özellikle modelin etik ve güvenlik engellerini aşmayı amaçlar.
- Olumsuz etkilerin azaltılması, girdi filtreleme, ayrıcalık yönetimi ve insan gözetimini birleştiren çok disiplinli bir yaklaşım gerektirir.
Muhtemelen chatbot'ları ve hayatımızı nasıl kolaylaştırdıklarını duymuşsunuzdur, ancak haberlerde her zaman yer almayan karanlık bir yönü de var. Görünüşte sihirli olan bu araçların, bilgi işleme biçimlerinde temel bir zayıflığı olduğu ve bazı kullanıcıların onları, yaratıcılarının asla amaçlamadığı şeyleri yapmaya "kandırmalarına" olanak tanıdığı ortaya çıkıyor.
Bahsettiğimiz şey, temelde yapay zekayı kontrol altına almak için dili manipüle etmeyi içeren bir teknik olan prompt injection (anlık enjeksiyon). Kodlama uzmanı olmanıza veya anlaşılması güç programlar yüklemenize gerek yok; bazen, iyi yerleştirilmiş bir ifade, modelin kurallarını görmezden gelmesine ve sırları ifşa etmesine veya kötü niyetli davranmasına yetebilir ve bu da modern siber güvenlik için gerçek bir baş ağrısı haline gelir.
Acil enjeksiyon tam olarak nedir?
Bunu doğru anlamak için, GPT-4 veya Gemini gibi Büyük Dil Modellerinin (LLM'ler) komut istemleri kullanarak çalıştığını bilmek önemlidir. Komut istemi, kullanıcının makineye verdiği talimattır. Sorun şu ki, geliştiriciler botun davranışını ve kurallarını tanımlamak için görünmez dahili talimatlar (sistem komut istemleri) eklerler, ancak yapay zeka programcının komutunun nerede bittiğini ve kullanıcının metninin nerede başladığını ayırt edemez.
Bu güvenlik açığı, modelin tüm metin akışını tek bir birim olarak işlemesinden kaynaklanmaktadır. Dolayısıyla, bir saldırgan "yukarıdaki her şeyi yok say" diyen bir komut eklerse, yapay zeka yeni komutu orijinal güvenlik kurallarının önüne geçirebilir. Bu, özünde, dilin asistanın davranışını ele geçirmek için kullanılan bir silah olduğu, makinelere uygulanan bir tür sosyal mühendisliktir.
Prompt Injection ve Jailbreak arasındaki temel farklar
Birçok insan bu iki terimi karıştırıyor, ancak aynı şey değiller. Jailbreaking, yapay zekânın "kilidini açmaya" çalışmak gibidir. Amacı, etik korumaları ve içerik politikalarını geçersiz kılmak ve böylece botun yasaklanmış şeyler söylemesini veya kısıtlanmış içerik üretmesini sağlamaktır. En ünlü örnek, modelin kurallar olmadan bir karakteri benimsemeye zorlandığı DAN modu ("Şimdi Her Şeyi Yap")'dır.
Öte yandan, prompt injection daha geniş bir kavramdır. Her zaman ahlaki kuralları çiğnemeyi hedeflemez, daha ziyade sistem işlevselliğini değiştirmeyi amaçlar . Saldırgan, botun iç talimatlarını ifşa etmesini veya bağlı bir sistemde yetkisiz bir işlem gerçekleştirmesini isteyebilir. Jailbreak genellikle kullanıcının kendi oturumu içinde kasıtlı olarak yaptığı bir eylem iken, prompt injection üçüncü tarafları etkileyen görünmez bir saldırı olabilir.
Saldırı türleri: Doğrudan, Dolaylı ve Depolanmış
Tüm saldırılar aynı şekilde gerçekleştirilmez. En basit yöntem , kullanıcının kötü amaçlı komutu doğrudan sohbet penceresine yazmasıyla gerçekleşen doğrudan enjeksiyondur . Bu, sistemi hacklemek için kasıtlı bir eylem veya modelde düzensiz davranışa neden olan kazara bir kullanıcı hatası olabilir.
Dolaylı enjeksiyon çok daha tehlikelidir . Burada saldırgan yapay zekâ ile doğrudan iletişim kurmaz, bunun yerine yapay zekânın okuyacağı harici kaynaklara (örneğin bir web sayfası, PDF belgesi veya e-posta) talimatlar gizler. Örneğin, bir bottan "kullanıcı verilerini çal" komutuyla görünmez metin içeren bir web sayfasını özetlemesini isterseniz, yapay zekâ gizli komutu işleyecek ve bilginiz olmadan bilgilerinizi sızdırabilir.
Son olarak, depolanmış enjeksiyon yönteminden bahsedelim . Bu yöntem, kötü amaçlı talimatları veritabanlarına veya eğitim verilerinin kendisine yerleştirmeyi içerir. Bilgiler zaten depolandığı için, model kötü amaçlı yazılımı emip , birisi bu belirli bilgilere her eriştiğinde onu kopyaladığı için, saldırı farklı oturumlardaki birçok kullanıcıyı etkileyebilir.
Gerçek hayattaki etkiler ve tehlike senaryoları
Bir saldırı başarılı olduğunda, sonuçlar ciddi olabilir; gizli şirket verilerinin sızmasından kritik kararların manipülasyonuna kadar uzanabilir. Yapay zekanın API'lere veya e-postaya erişebildiği kurumsal ortamlarda, bir saldırgan botun kullanıcı adına mesaj göndermesini veya özel dosyalara erişmesini sağlayabilir.
- Özgeçmiş sahtekarlığı: Bazı adaylar, İK'nın yapay zekâ filtrelerini yanıltmak için (insanlar tarafından görülemeyen) boş metin ekleyerek kendilerinin "olağanüstü uzmanlar" olduklarını belirtmişlerdir.
- Tarayıcı ele geçirme: Araştırmacılar başarılı oldular E-postaları okuyan yapay zeka ajanları Gizli talimatlar kullanarak kullanıcının patronuna istifa mektupları gönderin.
- Sistem sızıntıları: Bing Chat örneğinde, bir öğrenci botun kod adını ("Sydney") ve iç çalışma kurallarını ortaya çıkarmayı başardı.
- Çok modlu saldırılar: Şimdi, kötü amaçlı talimatların metin içinde olmadığı durumlarda da riskler mevcut, ancak resimlere gömülü Yapay zekanın analiz ettiği ve saldırı yüzeyini genişlettiği durum.
Savunma ve hafifletme stratejileri
Kötü haber şu ki, LLM'lerin stokastik doğası nedeniyle kesin bir çözüm yok. Bununla birlikte, çok etkili önlemler alınabilir . En iyi seçeneklerden biri, harici bir sistemin, modele ulaşmadan önce istemin şüpheli kalıplar içerip içermediğini analiz ettiği giriş/çıkış filtrelemesidir.
En az ayrıcalık ilkesini uygulamak da çok önemlidir . Bir yapay zekaya e-posta hesabınıza veya veritabanınıza tam erişim vermemelisiniz; yüksek riskli işlemler için insan onayı gerektiren bir aracı olarak hareket etmesi daha iyidir . Diğer teknikler arasında, harici verileri işlemek için "karantinaya alınmış" modeller kullanmak ve kontrol mantığını güvenilmeyen verileri okumaktan ayırmak yer almaktadır.
Son olarak, sürekli eğitim ve düşmanca testler çok önemlidir. Şirketler, bilgisayar korsanlarından önce güvenlik açıklarını bulmak için saldırıları simüle etmelidir. Ayrıca, telemetri kaydı, modelin yanıtlarındaki anormalliklerin tespit edilmesini sağlayarak, bir şeylerin ters gittiği durumlarda hızlı tepki vermeye yardımcı olur.