- Injeksi cepat memanfaatkan ketidakmampuan LLM untuk membedakan instruksi sistem dari data pengguna.
- Terdapat varian langsung, tidak langsung, dan tersimpan yang dapat membahayakan privasi dan integritas sistem.
- Hal ini berbeda dari jailbreaking karena yang terakhir secara khusus berupaya untuk menghindari hambatan etika dan keamanan dari model tersebut.
- Upaya mitigasi memerlukan pendekatan multidisiplin yang menggabungkan penyaringan input, manajemen hak akses, dan pengawasan manusia.
Anda mungkin pernah mendengar tentang chatbot dan bagaimana mereka mempermudah hidup kita, tetapi ada sisi gelap yang tidak selalu menjadi berita. Ternyata, meskipun tampak ajaib, alat-alat ini memiliki sisi gelap. titik lemah mendasar dalam cara mereka memproses informasi, yang memungkinkan pengguna tertentu untuk "menipu" mereka agar melakukan hal-hal yang tidak pernah diizinkan oleh penciptanya.
Kita sedang membicarakan injeksi prompt, sebuah teknik yang pada dasarnya melibatkan manipulasi bahasa untuk mengambil kendali atas AI. Anda tidak perlu menjadi ahli pemrograman atau menginstal program yang tidak biasa; terkadang, frasa yang tepat Hal ini cukup bagi model tersebut untuk mengabaikan aturannya dan mengungkapkan rahasia atau bertindak jahat, sehingga menjadi masalah besar bagi keamanan siber saat ini.
Apa sebenarnya injeksi cepat itu?
Untuk memahami hal ini dengan benar, penting untuk terlebih dahulu mengetahui bahwa Model Bahasa Besar (LLM), seperti GPT-4 atau Gemini, bekerja menggunakan prompt. Prompt hanyalah instruksi yang diberikan pengguna kepada mesin. Masalahnya adalah pengembang menambahkan instruksi internal yang tak terlihat (perintah sistem) untuk menentukan perilaku dan aturan bot, tetapi AI tidak dapat membedakan di mana perintah programmer berakhir dan di mana teks pengguna dimulai.
Kerentanan ini terjadi karena model memproses seluruh aliran teks sebagai satu kesatuan. Dengan demikian, jika penyerang memasukkan perintah yang berbunyi "abaikan semua yang di atas," AI dapat prioritaskan tatanan baru tentang aturan keamanan asli. Pada intinya, ini adalah bentuk rekayasa sosial yang diterapkan pada mesin, di mana bahasa adalah senjata untuk membajak perilaku asisten.
Perbedaan utama antara Prompt Injection dan Jailbreak
Banyak orang yang salah mengartikan kedua istilah ini, tetapi keduanya tidak sama. Jailbreaking itu seperti mencoba "membuka kunci" pada AI. Tujuannya adalah untuk membatalkan perlindungan etika dan kebijakan konten yang mencegah bot mengucapkan hal-hal terlarang atau menghasilkan konten yang dibatasi. Contoh yang paling terkenal adalah mode DAN ("Do Anything Now"), di mana model dipaksa untuk mengadopsi karakter tanpa aturan.
Di sisi lain, injeksi cepat adalah konsep yang lebih luas. Hal ini tidak selalu bertujuan untuk melanggar aturan moral, tetapi... mengubah fungsi sistemPenyerang mungkin hanya ingin bot tersebut mengungkapkan instruksi internalnya atau melakukan tindakan tidak sah pada sistem yang terhubung. Sementara jailbreaking biasanya merupakan tindakan yang disengaja oleh pengguna dalam sesi mereka sendiri, injeksi dapat berupa serangan tak terlihat yang memengaruhi pihak ketiga.
Jenis serangan: Langsung, Tidak Langsung, dan Tersimpan
Tidak semua serangan dieksekusi dengan cara yang sama. Jalur paling sederhana adalah... injeksi langsungHal ini terjadi ketika pengguna mengetikkan instruksi berbahaya langsung ke jendela obrolan. Ini bisa berupa upaya yang disengaja untuk meretas sistem atau kesalahan pengguna yang tidak disengaja yang menyebabkan perilaku yang tidak menentu pada model.
Jauh lebih berbahaya adalah injeksi tidak langsungDi sini, penyerang tidak berkomunikasi dengan AI, melainkan menyembunyikan instruksi dalam sumber eksternal yang akan dibaca oleh AI, seperti halaman web, dokumen PDF, atau email. Misalnya, jika Anda meminta bot untuk meringkas halaman web yang berisi teks tersembunyi dengan perintah "curi data pengguna," AI tersebut akan akan memproses perintah tersembunyi dan dapat membocorkan informasi tanpa Anda sadari.
Akhirnya, kami memiliki injeksi tersimpanMetode ini melibatkan penanaman instruksi berbahaya di dalam basis data atau di dalam data pelatihan itu sendiri. Karena informasi tersebut sudah tersimpan, serangan ini dapat memengaruhi banyak pengguna dalam sesi yang berbeda, karena model tersebut menyerap racun dan hal ini terulang setiap kali seseorang mengakses informasi spesifik tersebut.
Dampak dan skenario bahaya di kehidupan nyata
Ketika suatu serangan berhasil, konsekuensinya bisa serius. Dari kebocoran data rahasia Dari perusahaan hingga manipulasi keputusan penting. Di lingkungan korporat, di mana AI memiliki akses ke API atau email, penyerang dapat membuat bot mengirim pesan atas nama pengguna atau mengakses file pribadi.
- Penipuan resume: Beberapa kandidat menyertakan teks kosong (yang tidak terlihat oleh manusia) yang menyatakan bahwa mereka adalah "pakar luar biasa" untuk mengelabui filter AI HR.
- Pembajakan browser: Para peneliti telah berhasil dalam Agen AI yang membaca email Mengirim surat pengunduran diri kepada atasan pengguna menggunakan instruksi tersembunyi.
- Kebocoran sistem: Dalam kasus Bing Chat, seorang mahasiswa berhasil membuat bot tersebut mengungkapkan nama kodenya, "Sydney," dan pedoman operasional internalnya.
- Serangan multimodal: Sekarang ada risiko di mana instruksi berbahaya tidak berupa teks, tetapi tertanam dalam gambar bahwa AI menganalisis, memperluas area serangan.
Strategi pertahanan dan mitigasi
Kabar buruknya adalah, karena sifat stokastik dari LLM, tidak ada solusi pasti. Namun, beberapa langkah dapat diambil. hambatan keamanan Sangat efektif. Salah satu pilihan terbaik adalah penyaringan input/output, di mana sistem eksternal menganalisis apakah perintah tersebut mengandung pola mencurigakan sebelum mencapai model.
Penting juga untuk menerapkan prinsip hak istimewa minimalAnda sebaiknya tidak memberikan akses penuh kepada AI ke akun email atau basis data Anda; lebih baik jika AI bertindak sebagai perantara yang membutuhkan persetujuan manusia untuk tindakan berisiko tinggi. Teknik lain termasuk penggunaan model "terisolasi" untuk memproses data eksternal, memisahkan logika kontrol dari pembacaan data yang tidak tepercaya.
Terakhir, pelatihan berkelanjutan dan pengujian lawan adalah kuncinya. Perusahaan harus mensimulasikan serangan untuk menemukan kerentanan sebelum peretas melakukannya. Lebih lanjut, log telemetri Ini memungkinkan Anda mendeteksi anomali dalam respons model, membantu Anda bereaksi cepat ketika ada sesuatu yang mencurigakan.