- Suntikan segera mengeksploitasi ketidakupayaan LLM untuk membezakan arahan sistem daripada data pengguna.
- Terdapat varian langsung, tidak langsung dan tersimpan yang boleh menjejaskan privasi dan integriti sistem.
- Ia berbeza daripada jailbreak kerana yang terakhir secara khusus bertujuan untuk memintas halangan etika dan keselamatan model tersebut.
- Mitigasi memerlukan pendekatan pelbagai disiplin yang menggabungkan penapisan input, pengurusan keistimewaan dan pengawasan manusia.
Anda mungkin pernah mendengar tentang chatbot dan bagaimana ia memudahkan hidup kita, tetapi terdapat sisi gelap yang tidak selalu menjadi berita. Ternyata alat ini, walaupun kelihatan ajaib, mempunyai kelemahan asas dalam cara ia memproses maklumat, yang membolehkan pengguna tertentu "menipu" mereka untuk melakukan perkara yang tidak pernah dirancang oleh pencipta mereka.
Kita sedang bercakap tentang suntikan segera, satu teknik yang pada asasnya melibatkan manipulasi bahasa untuk mengawal AI. Anda tidak perlu menjadi pakar pengekodan atau memasang program yang tidak jelas; kadangkala, frasa yang diletakkan dengan tepat sudah cukup untuk model mengabaikan peraturannya dan mendedahkan rahsia atau bertindak secara berniat jahat, lalu menjadi masalah besar bagi keselamatan siber moden.
Apakah sebenarnya suntikan segera?
Untuk memahami perkara ini dengan betul, adalah penting untuk mengetahui bahawa Model Bahasa Besar (LLM), seperti GPT-4 atau Gemini, beroperasi menggunakan gesaan. Gesaan hanyalah arahan yang diberikan oleh pengguna kepada mesin. Masalahnya ialah pembangun menambah arahan dalaman yang tidak kelihatan (gesaan sistem) untuk menentukan tingkah laku dan peraturan bot, tetapi AI tidak dapat membezakan di mana arahan pengaturcara berakhir dan teks pengguna bermula.
Kerentanan ini berlaku kerana model memproses keseluruhan aliran teks sebagai satu unit. Oleh itu, jika penyerang memasukkan arahan yang mengatakan "abaikan semua yang di atas," AI boleh mengutamakan arahan baharu berbanding peraturan keselamatan asal. Pada dasarnya, ia merupakan satu bentuk kejuruteraan sosial yang digunakan pada mesin, di mana bahasa merupakan senjata yang digunakan untuk merampas tingkah laku pembantu.
Perbezaan utama antara Suntikan Segera dan Jailbreak
Ramai orang mengelirukan kedua-dua istilah ini, tetapi ia tidak sama. Jailbreaking adalah seperti cuba "memetik kunci" pada AI. Matlamatnya adalah untuk mengatasi perlindungan etika dan dasar kandungan supaya bot mengatakan perkara yang dilarang atau menjana kandungan terhad. Contoh paling terkenal ialah mod DAN ("Lakukan Apa Sahaja Sekarang"), di mana model terpaksa menerima pakai watak tanpa peraturan.
Sebaliknya, suntikan segera adalah konsep yang lebih luas. Ia tidak selalunya bertujuan untuk melanggar peraturan moral, tetapi sebaliknya untuk mengubah fungsi sistem . Penyerang mungkin hanya mahu bot mendedahkan arahan dalamannya atau melakukan tindakan yang tidak dibenarkan pada sistem yang disambungkan. Walaupun jailbreaking biasanya merupakan tindakan yang disengajakan oleh pengguna dalam sesi mereka sendiri, suntikan segera boleh menjadi serangan halimunan yang menjejaskan pihak ketiga.
Jenis serangan: Langsung, Tidak Langsung dan Tersimpan
Tidak semua serangan dilaksanakan dengan cara yang sama. Kaedah paling mudah ialah suntikan langsung , yang berlaku apabila pengguna menaip arahan berniat jahat terus ke dalam tetingkap sembang. Ini boleh jadi tindakan yang disengajakan untuk menggodam sistem atau ralat pengguna yang tidak disengajakan yang menyebabkan tingkah laku tidak menentu dalam model.
Suntikan tidak langsung jauh lebih berbahaya . Di sini, penyerang tidak berkomunikasi secara langsung dengan AI, tetapi sebaliknya menyembunyikan arahan dalam sumber luaran yang akan dibaca oleh AI, seperti halaman web, dokumen PDF atau e-mel. Contohnya, jika anda meminta bot untuk meringkaskan halaman web yang mengandungi teks yang tidak kelihatan dengan arahan "curi data pengguna," AI akan memproses arahan tersembunyi dan boleh mengeluarkan maklumat tanpa pengetahuan anda.
Akhir sekali, kita telah menggunakan suntikan tersimpan . Kaedah ini melibatkan penanaman arahan berniat jahat dalam pangkalan data atau dalam data latihan itu sendiri. Oleh kerana maklumat tersebut telah disimpan, serangan itu boleh menjejaskan ramai pengguna dalam sesi yang berbeza, kerana model tersebut menyerap perisian hasad dan mereplikasinya setiap kali seseorang mengakses maklumat khusus tersebut.
Impak kehidupan sebenar dan senario bahaya
Apabila serangan berjaya, akibatnya boleh menjadi teruk, bermula daripada kebocoran data sulit syarikat hinggalah manipulasi keputusan penting. Dalam persekitaran korporat, di mana AI mempunyai akses kepada API atau e-mel, penyerang boleh membuat bot menghantar mesej bagi pihak pengguna atau mengakses fail peribadi.
- Penipuan resume: Sesetengah calon telah memasukkan teks kosong (tidak dapat dilihat oleh manusia) yang mengatakan bahawa mereka adalah "pakar luar biasa" untuk memperdaya penapis AI HR.
- Rampasan pelayar: Para penyelidik telah berjaya dalam Ejen AI yang membaca e-mel hantar surat peletakan jawatan kepada bos pengguna menggunakan arahan tersembunyi.
- Kebocoran sistem: Dalam kes Bing Chat, seorang pelajar berjaya membuat bot mendedahkan nama kodnya, "Sydney," dan garis panduan operasi dalamannya.
- Serangan berbilang mod: Kini terdapat risiko apabila arahan berniat jahat tidak terdapat dalam teks, tetapi terbenam dalam imej yang dianalisis oleh AI, mengembangkan permukaan serangan.
Strategi pertahanan dan mitigasi
Berita buruknya ialah, disebabkan sifat stokastik LLM, tiada penyelesaian muktamad. Walau bagaimanapun, perlindungan yang sangat berkesan boleh dilaksanakan . Salah satu pilihan terbaik ialah penapisan input/output, yang mana sistem luaran menganalisis sama ada gesaan mengandungi corak yang mencurigakan sebelum ia sampai ke model.
Ia juga penting untuk menerapkan prinsip keistimewaan paling minimum . Anda tidak seharusnya memberikan AI akses penuh ke akaun e-mel atau pangkalan data anda; adalah lebih baik untuk ia bertindak sebagai perantara yang memerlukan kelulusan manusia untuk tindakan berisiko tinggi. Teknik lain termasuk menggunakan model "dikuarantin" untuk memproses data luaran, memisahkan logik kawalan daripada membaca data yang tidak dipercayai.
Akhir sekali, latihan berterusan dan ujian adversarial adalah kunci. Syarikat mesti mensimulasikan serangan untuk mencari kelemahan sebelum penggodam melakukannya. Tambahan pula, pengelogan telemetri membolehkan pengesanan anomali dalam tindak balas model, membantu bertindak balas dengan cepat apabila sesuatu kelihatan tidak kena.