- Keamanan AI mencakup perlindungan model dan data dari serangan serta penggunaan AI untuk memperkuat keamanan siber dan mengurangi insiden.
- Risiko tersebut menggabungkan kegagalan teknis (peracunan data, contoh-contoh yang merugikan, Trojan) dengan faktor struktural seperti persaingan ketat dan kurangnya tata kelola.
- Kerangka kerja seperti NIST AI RMF, OWASP Top 10 untuk LLM, dan MITRE ATLAS membantu menyusun kontrol dan pengujian serangan pada sistem AI yang sedang beroperasi.
- Mendata aset AI, membatasi akses, memantau penggunaan, dan mengadopsi AISPM adalah langkah-langkah kunci untuk memanfaatkan AI sekaligus meminimalkan potensi serangan.
Kecerdasan buatan telah meresap ke dalam segala hal : mulai dari cara kita bekerja dan berkomunikasi hingga cara pengambilan keputusan di bidang keuangan, medis, dan militer. Kehadiran yang masif ini memiliki sisi yang sangat positif, tetapi juga sisi gelap: jika sistem ini gagal, dimanipulasi, atau digunakan secara jahat, kerusakannya bisa sangat besar, baik bagi perusahaan maupun bagi masyarakat secara keseluruhan.
Dalam beberapa tahun terakhir, kekhawatiran publik tentang risiko AI telah meningkat seiring dengan adopsinya. Survei terbaru menunjukkan bahwa mayoritas orang merasa lebih cemas daripada antusias terhadap perluasannya, dan banyak warga menganggap masuk akal bahwa AI dapat memicu peristiwa bencana jika tidak terkendali. Pada saat yang sama, penelitian teknis murni tetap berfokus terutama pada peningkatan kekuatan AI, dengan hanya sebagian kecil yang didedikasikan untuk membuatnya lebih aman dan lebih tangguh.
Apa yang kita maksud dengan keamanan AI dan mengapa hal itu sangat penting?
Ketika kita berbicara tentang keamanan kecerdasan buatan, kita merujuk pada serangkaian metode, prinsip teknis, kontrol keamanan siber , dan kerangka kerja tata kelola yang dirancang untuk memastikan bahwa sistem AI tangguh, dapat diprediksi, tahan terhadap serangan, dan selaras dengan tujuan manusia . Ini mencakup perlindungan tradisional (mencegah serangan siber, kebocoran data, atau manipulasi model) dan isu-isu yang lebih luas seperti bias, kurangnya transparansi, dan potensi dampak sistemik.
Bagi bisnis dan lembaga pemerintah, keamanan AI sangat penting karena semakin banyak keputusan penting yang didelegasikan kepada model : penilaian risiko keuangan, prioritas medis, pemeringkatan resume, analisis big data, otomatisasi proses, dan deteksi ancaman. Kegagalan serius, celah keamanan, atau penggunaan yang berbahaya dapat menyebabkan kerugian jutaan dolar, sanksi regulasi, kerusakan reputasi, dan, dalam skenario terburuk, ancaman terhadap keamanan nasional.
Pada tingkat sosial, AI dapat memperparah ketidaksetaraan dan penyalahgunaan jika tidak dikendalikan dengan benar. Sistem yang tidak transparan atau yang dilatih dengan data yang bias dapat secara sistematis mendiskriminasi kelompok tertentu, memperkuat pengawasan massal, atau memfasilitasi kampanye disinformasi berskala besar. Dan, melihat lebih jauh ke depan, kemungkinan mencapai bentuk kecerdasan buatan umum (AGI) atau bahkan superintelijen (ASI) telah membuka perdebatan tentang risiko eksistensial jika sistem ini tidak selaras dengan nilai-nilai kemanusiaan dan lepas dari kendali yang efektif.
Para ahli berbeda pendapat mengenai risiko mana yang paling mendesak atau paling mungkin terjadi , tetapi ada beberapa konsensus bahwa kemungkinan hasil yang sangat buruk tidak dapat diabaikan. Survei terhadap para peneliti AI memperkirakan sekitar 5% kemungkinan skenario yang sangat negatif (misalnya, keruntuhan peradaban) yang berasal dari AI tingkat lanjut. Beberapa menganggap kekhawatiran ini berlebihan, sementara yang lain percaya bahwa justru karena kekhawatiran ini sangat serius, bijaksana untuk mengantisipasinya dan tidak mengandalkan "memperbaikinya sambil berjalan."
Dari peringatan dini hingga agenda keamanan AI modern
Meskipun mungkin tampak seperti topik baru-baru ini, risiko otomatisasi cerdas telah dibahas sejak awal komputasi. Sejak pertengahan abad ke-20, tokoh-tokoh seperti Norbert Wiener memperingatkan bahwa, sejauh kita memberikan otonomi kepada mesin yang mampu belajar dari pengalaman, kita juga menanggung risiko bahwa mereka akan berperilaku bertentangan dengan keinginan kita.
Seiring waktu, kekhawatiran ini menjadi lebih konkret. Pada akhir tahun 2000-an, asosiasi profesional seperti AAAI mempromosikan studi tentang dampak sosial jangka panjang AI. Pesan umumnya adalah skeptis terhadap argumen-argumen yang lebih bersifat bencana seperti dalam fiksi ilmiah, tetapi pada saat yang sama mengakui perlunya metode yang lebih baik untuk memverifikasi sistem yang kompleks dan meminimalkan hasil yang tidak terduga.
Pada tahun 2010-an, perdebatan semakin intensif. Buku-buku berpengaruh tentang superintelijen dan risiko eksistensial mendorong terciptanya pusat-pusat penelitian baru yang didedikasikan untuk AI yang "bermanfaat dan ramah manusia," dan inisiatif filantropi muncul yang mendanai proyek-proyek spesifik tentang keamanan teknis, dampak sosial, dan keselarasan tujuan. Pada saat yang sama, tokoh-tokoh publik seperti Elon Musk, Bill Gates, dan Stephen Hawking mulai berbicara secara terbuka tentang risiko serius jika AI berkembang tanpa pengamanan.
Konferensi internasional diselenggarakan, agenda penelitian tentang “masalah keamanan AI spesifik” dipublikasikan, dan prinsip-prinsip seperti yang dikemukakan Asilomar dirumuskan, yang mencakup rekomendasi eksplisit: kerja sama antar tim untuk menghindari penurunan standar keamanan, analisis dampak, transparansi jika memungkinkan, dan lain-lain. Bidang kerja ini kemudian mengukuhkan bidangnya sendiri: rekayasa keamanan AI , dengan tujuan mengantisipasi kegagalan dan merancang sistem yang seaman mungkin sebelum penyebaran massal.
Dalam beberapa tahun terakhir, pemerintah dan regulator telah bergabung dalam upaya ini . Lokakarya yang diselenggarakan oleh Gedung Putih, program dari lembaga-lembaga AS (DARPA, IARPA, NSF), Strategi AI Nasional Inggris, dan pedoman etika Tiongkok mencerminkan bahwa keamanan AI bukan lagi sekadar topik akademis, tetapi masalah kebijakan publik. Di Eropa, Undang-Undang AI memperkenalkan pembatasan yang jelas pada penggunaan tertentu (misalnya, pengenalan wajah massal atau manipulasi subliminal) dan menetapkan kewajiban tambahan untuk aplikasi "berisiko tinggi".
Area teknis utama: ketahanan, pemantauan, dan penyelarasan.
Penelitian keamanan AI biasanya dikelompokkan menjadi tiga area utama: ketahanan, pemantauan, dan penyelarasan . Masing-masing menangani jenis risiko yang berbeda, tetapi dalam praktiknya ketiganya saling terkait erat.
Ketahanan (robustness) berfokus pada sistem AI yang berperilaku wajar di berbagai situasi, termasuk situasi yang tidak terwakili dengan baik dalam data pelatihan. Ini melibatkan penanganan "angsa hitam" (peristiwa langka tetapi sangat merusak) dan serangan di mana seseorang sengaja memanipulasi input untuk memicu kesalahan.
Contoh klasik kurangnya ketahanan dalam menghadapi peristiwa langka adalah Flash Crash tahun 2010 , di mana sistem perdagangan otomatis bereaksi secara tidak menentu terhadap anomali pasar dan menghapus hampir satu triliun dolar dalam hitungan menit. Di dunia nyata, kendaraan otonom terus berjuang dengan "kasus-kasus khusus": sinyal lalu lintas yang tidak biasa, kondisi cuaca ekstrem, atau kombinasi objek yang jarang muncul dalam data dunia nyata.
Secara paralel, banyak model pembelajaran mendalam terbukti sangat rentan terhadap contoh-contoh yang merugikan : gangguan kecil pada gambar, audio, atau teks, yang hampir tidak terlihat oleh mata manusia, yang secara pasti menyebabkan kesalahan klasifikasi. Hal ini memengaruhi sistem penglihatan, pengenalan suara, dan model bahasa. Lebih buruk lagi, ini bukan hanya masalah menipu model "utama": model penghargaan atau evaluasi yang digunakan untuk melatih model lain dapat dieksploitasi untuk secara artifisial meningkatkan skor tanpa benar-benar meningkatkan kinerja pada tugas yang dimaksud.
Pemantauan membahas cara mendeteksi sejak dini ketika sistem AI mengalami kegagalan, diserang, atau disalahgunakan. Ini mencakup kalibrasi kepercayaan (memastikan probabilitas yang dihasilkan model secara akurat mencerminkan keandalannya), deteksi di luar distribusi (ketika sistem menemukan sesuatu yang "terlalu berbeda" dari apa yang telah dilihat sebelumnya), dan pemantauan terhadap potensi penggunaan yang berbahaya.
Terakhir, penyelarasan memastikan bahwa sistem yang paling canggih, terutama yang membuat keputusan berdampak tinggi atau mampu bertindak secara otonom, mengejar tujuan yang kita anggap dapat diterima dan tidak mengembangkan strategi berbahaya untuk mencapainya. Hal ini melibatkan konsep-konsep seperti konvergensi instrumental (kecenderungan agen canggih untuk mencari tujuan perantara yang serupa) dan risiko kehilangan kendali ketika kapasitas tinggi dikombinasikan dengan otonomi yang luas.
Transparansi, interpretasi, dan jebakan dalam model.
Salah satu tantangan terbesar adalah bahwa banyak sistem AI modern, terutama jaringan saraf besar, berfungsi sebagai kotak hitam sejati . Kita tahu apa yang masuk ke dalamnya dan apa yang keluar, tetapi memahami mengapa mereka membuat keputusan tertentu, atau pola internal apa yang sebenarnya mereka gunakan, bukanlah hal yang mudah.
Kurangnya transparansi ini bertentangan langsung dengan persyaratan hukum dan etika untuk penjelasan di bidang-bidang seperti kredit, seleksi personel, dan sistem peradilan, di mana wajib untuk membenarkan mengapa seseorang diterima atau ditolak. Hal ini juga mempersulit penyelidikan kegagalan serius: dalam insiden seperti tabrakan fatal dengan kendaraan otonom, terkadang sangat sulit untuk merekonstruksi kombinasi sinyal internal apa yang menyebabkan kesalahan dalam persepsi atau pengambilan keputusan.
Inilah sebabnya mengapa seluruh subbidang teknik interpretasi dan transparansi telah berkembang . Beberapa berfokus pada menunjukkan bagian mana dari input yang "diperhatikan" oleh model (misalnya, piksel atau kata mana yang paling berpengaruh pada output), sementara yang lain menggali lebih dalam, menganalisis representasi internal dan koneksi antar neuron. Dalam model seperti CLIP, neuron telah diidentifikasi yang merespons baik kata "laba-laba" maupun gambar Spiderman, dan dalam transformer bahasa, pola perhatian dan sirkuit berulang yang tampaknya mengkodekan aturan sintaksis atau asosiasi fakta dipelajari.
Selain membantu dalam memahami dan melakukan debugging, teknik-teknik ini memungkinkan pengeditan model yang ditargetkan . Dimungkinkan untuk menemukan parameter yang terkait dengan peristiwa tertentu (misalnya, kota tempat monumen terkenal berada) dan memodifikasinya untuk mengubah respons secara sistematis. Meskipun eksperimen ini menunjukkan bahwa kesalahan juga dapat ditimbulkan, pendekatan yang sama dapat diterapkan untuk memperbaiki kesalahan besar tanpa perlu melatih ulang model dari awal.
Isu sensitif lainnya adalah Trojan atau pintu belakang (backdoor) dalam model AI . Ini merujuk pada situasi di mana, selama pelatihan, seseorang memasukkan pola spesifik yang, ketika muncul pada input, memicu perilaku yang berbeda dari biasanya. Misalnya, sistem pengenalan wajah yang hanya memberikan akses jika orang tersebut mengenakan aksesori tertentu, atau mobil otonom yang berperilaku sembrono jika mendeteksi stiker tertentu pada rambu.
Aspek yang mengkhawatirkan adalah bahwa mengubah sebagian kecil saja dari data pelatihan sudah cukup untuk menyisipkan Trojan yang berfungsi. Karena banyak model dilatih menggunakan sejumlah besar data publik, realistis untuk mempertimbangkan skenario di mana penyerang berhasil mencemari sebagian dari korpus tersebut. Trojan ini, selain menjadi kerentanan tersendiri, juga berfungsi sebagai lahan uji yang ideal untuk mengembangkan alat yang lebih baik untuk mengaudit dan mendeteksi perilaku jahat yang tersembunyi.
Risiko struktural, persaingan, dan tata kelola global
Di luar serangan spesifik atau insiden terisolasi, terdapat risiko sistemik yang terkait dengan bagaimana ekosistem AI diorganisasikan: tekanan persaingan antar perusahaan dan negara, kurangnya budaya keamanan, insentif ekonomi untuk merilis produk secepat mungkin, dan ketidakseimbangan antara penyerang siber dan pihak yang bertahan.
Beberapa analis telah menunjukkan bahwa fokus semata-mata pada "kegagalan teknis" atau "penyalahgunaan individu" tidaklah cukup, karena rantai sebab akibat yang mengarah pada bencana jauh lebih panjang . Dinamika geopolitik selama Perang Dingin—di mana keputusan beberapa individu dapat membawa konflik nuklir lebih dekat atau lebih jauh—sering digunakan sebagai analogi untuk apa yang dapat terjadi dengan perlombaan kacau untuk mengembangkan sistem AI yang semakin canggih.
Kekhawatiran yang berulang adalah apa yang disebut "perlombaan menuju jurang" : jika aktor swasta atau negara melihat keuntungan signifikan dengan menjadi yang pertama (ekonomi, militer, atau dalam hal prestise), mereka mungkin merasa terdorong untuk mempercepat dan mengurangi kontrol keamanan, meskipun semua orang mengakui bahwa kemajuan yang lebih lambat akan lebih baik. Menghindari dinamika ini membutuhkan mekanisme kerja sama, transparansi bersama, kesepakatan tentang standar minimum, dan, kemungkinan besar, lembaga internasional baru.
Pada saat yang sama, banyak tantangan global saat ini merupakan masalah kerja sama : perubahan iklim, risiko nuklir, senjata siber, dan sebagainya. AI dapat memperburuk tantangan ini (misalnya, dengan memfasilitasi serangan siber yang lebih kuat atau kampanye manipulasi politik yang sangat canggih), tetapi juga dapat membantu dengan menyediakan alat yang lebih baik untuk peramalan, analisis skenario, dan pengambilan keputusan kolektif.
Oleh karena itu, terjadilah konsolidasi bidang tata kelola AI , yang berupaya merumuskan kerangka peraturan, standar teknis, praktik bisnis terbaik, dan mekanisme akuntabilitas. Cakupan bidang ini meliputi karya-karya fundamental yang membandingkan potensi dampak AI dengan teknologi transformatif masa lalu (seperti listrik atau mesin uap) hingga proposal yang sangat konkret: audit eksternal , program hadiah untuk penemuan bug, basis data insiden publik, kriteria untuk menentukan kapan suatu laboratorium bertanggung jawab untuk mempublikasikan hasil atau model, dan persyaratan keamanan yang lebih ketat untuk laboratorium terkemuka.
Peran keamanan siber: AI untuk membela dan melindungi AI itu sendiri
Dalam ranah praktis sehari-hari, AI sudah menjadi pemain sentral dalam keamanan siber , dan hubungannya bersifat timbal balik: kita menggunakan AI untuk melindungi diri kita dengan lebih baik, dan pada saat yang sama kita harus melindungi sistem AI itu sendiri dari serangan.
Dalam beberapa dekade terakhir, ancaman siber telah berevolusi dari upaya menimbulkan gangguan yang terlihat menjadi pencurian data, penyusupan sistem selama berbulan-bulan, dan penyebaran malware yang sangat sulit dideteksi . Untuk memerangi ancaman tersebut, solusi seperti SIEM, yang mengumpulkan dan menganalisis sejumlah besar log, dan EDR, yang terus memantau apa yang terjadi pada setiap perangkat perusahaan, telah menjadi populer. Masalahnya adalah jumlah data jauh melebihi kemampuan tim manusia untuk meninjaunya secara manual.
Di sinilah pembelajaran mesin berperan, mampu mendeteksi pola dan anomali secara real-time dari kumpulan sinyal yang sangat besar: upaya login yang tidak biasa, akses tidak sah ke data sensitif, perilaku proses yang aneh, atau koneksi ke domain yang mencurigakan.
Platform AI dalam bidang keamanan juga digunakan untuk mengotomatisasi sebagian dari respons : mengkorelasikan peringatan terkait, merekonstruksi "narasi" serangan, memprioritaskan insiden mana yang harus ditinjau terlebih dahulu, dan, dalam beberapa kasus, langsung mengeksekusi tindakan penahanan (mengisolasi mesin, memutus koneksi, mencabut kredensial yang dis compromised). Hal ini mengurangi gangguan, membantu analis fokus pada hal yang penting, dan secara dramatis mempersingkat waktu dari saat masalah terdeteksi hingga tindakan efektif diambil.
Secara paralel, kemajuan yang sama diterapkan pada perlindungan jaringan dan titik akhir . Firewall generasi berikutnya mengintegrasikan model yang menganalisis lalu lintas untuk perilaku berbahaya, memperbarui aturan internal secara langsung, atau mengkonfigurasi ulang segmentasi jaringan untuk membatasi pergerakan lateral penyerang. EDR yang ditingkatkan dengan AI mendeteksi perilaku proses anomali (seperti akses tak terduga ke file sensitif atau rantai eksekusi yang khas dari ransomware) sebelum kerusakan menjadi tidak dapat diperbaiki.
Ditambah lagi dengan munculnya asisten berbasis bahasa alami yang terintegrasi ke dalam perangkat keamanan siber. Asisten AI ini memungkinkan tim keamanan untuk mengajukan pertanyaan kompleks (“Jalur serangan apa saja yang ada ke basis data ini?”) dan menerima penjelasan kontekstual, ringkasan insiden, atau usulan mitigasi tanpa harus menavigasi secara manual melalui berbagai dasbor.
Bagaimana penyerang menggunakan AI
Sayangnya, para penjahat siber juga telah terjun langsung menggunakan AI . Di forum-forum bawah tanah, setiap model baru yang canggih yang muncul dianalisis, dan versi modifikasi pun bermunculan, beberapa di antaranya secara eksplisit diarahkan untuk kegiatan kriminal, tanpa filter etika dan dilatih sebagai "asisten peretasan."
Saat ini relatif mudah untuk memanfaatkan model generatif untuk mengotomatisasi hampir semua fase operasi kriminal : penulisan massal email phishing yang sempurna dan personal, pembuatan halaman login palsu yang sangat kredibel, pembuatan skrip atau perangkat ransomware untuk mencuri kredensial , penyusunan pesan persuasif untuk rekayasa sosial, dan lain sebagainya.
Aspek mengkhawatirkan lainnya adalah kemampuan AI untuk menciptakan konten palsu yang sangat meyakinkan . Alat pembuatan teks memungkinkan produksi artikel dan berita palsu yang meniru gaya media profesional; sistem pembuatan video seperti deepfake mengganti wajah dalam klip berkualitas tinggi; dan kloning suara memungkinkan untuk menciptakan kembali suara seseorang hanya dengan beberapa menit audio.
Kasus penipuan telepon yang menggunakan suara anggota keluarga yang dikloning untuk mendesak transfer uang telah didokumentasikan , begitu pula kampanye fitnah politik dan manipulasi media sosial yang menggabungkan video yang diedit, audio palsu, dan bot generatif untuk memperkuat pesan. Biaya alat-alat ini menurun setiap tahun, sehingga meningkatkan pengembalian investasi bagi para penyerang.
Singkatnya, AI melipatgandakan kemampuan ofensif: AI membuat serangan canggih lebih mudah dan murah, memungkinkan kampanye berskala besar, dan mempersulit tugas membedakan informasi yang otentik dari informasi yang dimanipulasi . Oleh karena itu, penggunaan AI secara defensif bukan lagi pilihan: tanpa otomatisasi dan kecerdasan, tim manusia tidak akan mampu mengimbanginya.
Risiko keamanan utama yang spesifik untuk AI
Selain risiko keamanan siber secara umum, penerapan sistem AI memiliki kerentanan tersendiri yang harus dipahami dan dikelola. Beberapa yang paling relevan adalah:
Peracunan data dan model. Memasukkan data berbahaya atau yang dimanipulasi ke dalam set pelatihan dapat mendistorsi perilaku model, menyisipkan pintu belakang (backdoor), atau menurunkan kinerja tanpa terlihat dalam metrik standar. Dalam lingkungan pembelajaran federasi, di mana banyak aktor berkontribusi pada pelatihan, mendeteksi peserta mana yang sengaja memasukkan noise sangatlah menantang.
Contoh-contoh yang merugikan dan penghindaran. Mendesain input yang sedikit dimodifikasi untuk memicu kesalahan sistematis memungkinkan penyerang untuk melewati sistem deteksi malware, filter spam, pengklasifikasi gambar, atau mekanisme otentikasi biometrik. Karena model "percaya" bahwa input tersebut normal, jenis serangan ini sulit untuk diatasi hanya dengan menggunakan aturan tradisional.
Inversi model dan kebocoran privasi. Melalui kueri berulang dan analisis output, penyerang dapat merekonstruksi informasi tentang data pelatihan, bahkan menyimpulkan apakah catatan tertentu disertakan atau mengekstrak fragmen data sensitif yang disimpan oleh model. Ini menimbulkan masalah serius ketika pelatihan menggunakan informasi pribadi, klinis, atau rahasia.
Pencurian model dan kekayaan intelektual. Dengan melakukan kueri besar-besaran pada API AI, dimungkinkan untuk melatih model tiruan yang meniru perilaku aslinya secara akurat. Hal ini merusak model bisnis mereka yang menawarkan AI sebagai layanan dan, terlebih lagi, menciptakan salinan yang sepenuhnya dikendalikan oleh penyerang, termasuk kemampuan untuk mengeksploitasi kerentanan tanpa batasan.
Serangan terhadap API dan infrastruktur. Antarmuka yang menghubungkan model AI dengan aplikasi lain merupakan titik masuk yang sangat menggoda: otentikasi yang lemah, kurangnya validasi input, tidak adanya batasan frekuensi atau pemantauan dapat memungkinkan berbagai hal mulai dari penolakan layanan hingga ekstraksi data besar-besaran atau eksekusi kode jarak jauh.
Injeksi dan penyalahgunaan yang terjadi secara tiba-tiba dalam GenAI. Dalam kasus model bahasa dan asisten generatif, vektor yang muncul adalah injeksi instruksi langsung atau tidak langsung . Penyerang dapat menyematkan perintah berbahaya dalam teks masukan itu sendiri ("abaikan aturan sebelumnya dan…") atau dalam dokumen eksternal yang akan dibaca oleh model, dengan tujuan untuk melewati batasan, mengeksfiltrasi data, atau mengeksekusi tindakan yang tidak diinginkan.
Halusinasi yang dieksploitasi. Model generatif dapat memalsukan data dengan sangat mudah. Jika sistem ini digunakan tanpa pengawasan manusia dalam konteks kritis, atau jika penyerang berhasil melegitimasi halusinasi tertentu sebagai "fakta," hal itu membuka pintu bagi keputusan yang salah, disinformasi, dan hilangnya kepercayaan yang meluas terhadap informasi digital.
Kerangka kerja, standar, dan praktik terbaik untuk AI yang lebih aman.
Untuk menghindari terjun tanpa persiapan, berbagai organisasi telah mengusulkan kerangka kerja khusus untuk keamanan AI . Meskipun tidak ada satu pun yang mencakup seluruh lanskap secara mandiri, jika digabungkan, kerangka kerja tersebut menawarkan fondasi yang kokoh untuk membangun strategi.
Di antara berbagai kerangka kerja tersebut, Kerangka Kerja Manajemen Risiko AI NIST menonjol , yang menyusun pekerjaan di sekitar empat fungsi: mengatur (menetapkan kebijakan dan tanggung jawab), memetakan (memahami konteks dan risiko), mengukur (mengevaluasi kinerja dan paparan), dan mengelola (memprioritaskan dan menerapkan kontrol). Upaya lain, seperti matriks MITRE ATLAS, mengkatalogkan taktik dan teknik serangan spesifik terhadap sistem AI, serupa dengan apa yang dilakukan ATT&CK terhadap ancaman tradisional.
Di bidang yang lebih terapan, komunitas keamanan telah mengembangkan daftar seperti OWASP Top 10 untuk LLM , yang mengumpulkan risiko utama dalam aplikasi berbasis model bahasa besar: injeksi prompt, paparan data, kerentanan dalam rantai pasokan model, pencurian model, dll. Vendor utama telah menerbitkan kerangka kerja mereka sendiri (seperti SAIF milik Google) dengan langkah-langkah konkret untuk menerapkan sistem AI dengan lebih aman.
Selain itu, pendekatan praktis yang sangat spesifik sedang muncul untuk menerapkan GenAI di lingkungan cloud, seperti kerangka kerja isolasi penyewa dan pengguna yang dengan cermat memisahkan data, izin, dan saluran komunikasi, mengurangi dampak potensi kegagalan atau injeksi. Idenya adalah untuk menggabungkan kontrol keamanan siber tradisional (enkripsi, manajemen identitas, segmentasi jaringan, sandboxing) dengan langkah-langkah yang disesuaikan dengan karakteristik spesifik AI.
Berdasarkan hal ini, rekomendasi yang paling sering diulang meliputi memastikan kualitas dan keragaman data pelatihan, secara langsung menangani implikasi etis (bias, persetujuan, privasi), melakukan pengujian dan pembaruan model secara berkala, dan menetapkan kebijakan keamanan khusus AI yang melengkapi kebijakan TIK umum.
Secara paralel, kategori solusi yang dikenal sebagai Manajemen Postur Keamanan AI (AISPM) sedang muncul , setara dengan apa yang CSPM maksudkan untuk cloud: menginventarisasi aset AI, menemukan penggunaan yang tidak sah ("AI bayangan"), mengevaluasi konfigurasi, dan terus memantau kepatuhan kebijakan.
Semua indikasi menunjukkan bahwa, seiring semakin terintegrasinya AI ke dalam infrastruktur penting, keamanan AI akan bergeser dari "tambahan yang menarik" menjadi persyaratan mendasar . Organisasi yang proaktif—dengan menginventarisasi sistem AI mereka, mendefinisikan tata kelola yang jelas, menerapkan kontrol akses yang ketat, menguji model mereka dengan pengujian yang merugikan, dan menyelaraskan diri dengan kerangka kerja yang diakui—akan jauh lebih siap untuk memanfaatkan manfaat AI tanpa menghadapi kejutan yang tidak menyenangkan. Dan, yang terpenting, mereka akan lebih siap untuk mempertahankan kepercayaan pelanggan, pengguna, dan warga negara dalam lingkungan di mana membedakan antara apa yang nyata dan apa yang dimanipulasi akan menjadi semakin kompleks.
