- Wstrzyknięcie natychmiastowe wykorzystuje niezdolność LLM do odróżnienia instrukcji systemowych od danych użytkownika.
- Istnieją warianty bezpośrednie, pośrednie i przechowywane, które mogą naruszyć prywatność i integralność systemów.
- Różni się od jailbreakingu tym, że ten drugi ma na celu obejście barier etycznych i bezpieczeństwa tego modelu.
- Aby ograniczyć ryzyko, konieczne jest podejście multidyscyplinarne, łączące filtrowanie danych wejściowych, zarządzanie uprawnieniami i nadzór ludzki.
Prawdopodobnie słyszałeś o chatbotach i o tym, jak ułatwiają nam życie, ale istnieje też ich ciemna strona, o której nie zawsze mówi się w mediach. Okazuje się, że te narzędzia, choć pozornie magiczne, mają fundamentalną słabość w sposobie przetwarzania informacji, pozwalając niektórym użytkownikom „oszukać” je i zmusić do zrobienia czegoś, czego ich twórcy nigdy nie zamierzali.
Mówimy o błyskawicznym wstrzykiwaniu kodu (ang. prompt injection), technice, która zasadniczo polega na manipulowaniu językiem w celu przejęcia kontroli nad sztuczną inteligencją. Nie trzeba być ekspertem od kodowania ani instalować podejrzanych programów; czasami dobrze wpisana fraza wystarczy, aby model zignorował swoje zasady i ujawnił sekrety lub działał złośliwie, stając się prawdziwym problemem dla współczesnego cyberbezpieczeństwa.
Czym właściwie jest natychmiastowa iniekcja?
Aby to właściwie zrozumieć, należy wiedzieć, że modele dużego języka (LLM), takie jak GPT-4 czy Gemini, działają w oparciu o polecenia. Polecenie to po prostu instrukcja, którą użytkownik przekazuje maszynie. Problem polega na tym, że programiści dodają niewidoczne instrukcje wewnętrzne (polecenia systemowe), aby zdefiniować zachowanie i reguły bota, ale sztuczna inteligencja nie potrafi odróżnić, gdzie kończy się polecenie programisty, a zaczyna tekst użytkownika.
Ta luka występuje, ponieważ model przetwarza cały strumień tekstu jako pojedynczą jednostkę. Zatem, jeśli atakujący wprowadzi polecenie „ignoruj wszystko powyżej”, sztuczna inteligencja może nadać priorytet nowemu poleceniu nad pierwotnymi regułami bezpieczeństwa. Jest to w istocie forma socjotechniki stosowanej wobec maszyn, gdzie język jest bronią wykorzystywaną do przejęcia kontroli nad zachowaniem asystenta.
Kluczowe różnice między Prompt Injection a Jailbreak
Wiele osób myli te dwa terminy, ale nie są one tożsame. Jailbreaking przypomina próbę „otwarcia zamka” w sztucznej inteligencji. Celem jest obejście zabezpieczeń etycznych i zasad dotyczących treści, tak aby bot mówił rzeczy zabronione lub generował treści objęte ograniczeniami. Najbardziej znanym przykładem jest tryb DAN („Do Anything Now”), w którym model jest zmuszony przyjąć postać bez żadnych zasad.
Z drugiej strony, natychmiastowe wstrzyknięcie (prompt injection) to szersze pojęcie. Nie zawsze ma ono na celu złamanie zasad moralnych, ale raczej zmianę funkcjonalności systemu . Atakujący może po prostu chcieć, aby bot ujawnił swoje wewnętrzne instrukcje lub wykonał nieautoryzowaną czynność w podłączonym systemie. Podczas gdy jailbreak jest zazwyczaj celowym działaniem użytkownika w ramach jego własnej sesji, natychmiastowe wstrzyknięcie może być niewidocznym atakiem, który wpływa na osoby trzecie.
Rodzaje ataków: bezpośrednie, pośrednie i przechowywane
Nie wszystkie ataki są przeprowadzane w ten sam sposób. Najprostszą metodą jest wstrzyknięcie bezpośrednie , które ma miejsce, gdy użytkownik wpisuje szkodliwą instrukcję bezpośrednio w oknie czatu. Może to być celowe działanie mające na celu włamanie się do systemu lub przypadkowy błąd użytkownika, który powoduje nieprawidłowe działanie modelu.
Pośrednie wstrzyknięcie jest znacznie bardziej niebezpieczne . W tym przypadku atakujący nie komunikuje się bezpośrednio ze sztuczną inteligencją, lecz ukrywa instrukcje w zewnętrznych źródłach, które sztuczna inteligencja odczyta, takich jak strona internetowa, dokument PDF czy wiadomość e-mail. Na przykład, jeśli poprosisz bota o podsumowanie strony internetowej zawierającej niewidoczny tekst poleceniem „kradzież danych użytkownika”, sztuczna inteligencja przetworzy ukryte polecenie i będzie mogła wykraść informacje bez Twojej wiedzy.
Na koniec mamy zapisany kod wstrzyknięcia . Ta metoda polega na umieszczeniu złośliwych instrukcji w bazach danych lub w samych danych treningowych. Ponieważ informacje są już zapisane, atak może dotknąć wielu użytkowników w różnych sesjach, ponieważ model absorbuje złośliwe oprogramowanie i replikuje je za każdym razem, gdy ktoś uzyskuje dostęp do tych konkretnych informacji.
Skutki w życiu rzeczywistym i scenariusze zagrożeń
Udany atak może mieć poważne konsekwencje, od wycieku poufnych danych firmowych po manipulację kluczowymi decyzjami. W środowiskach korporacyjnych, gdzie sztuczna inteligencja ma dostęp do interfejsów API lub poczty e-mail, atakujący może zmusić bota do wysyłania wiadomości w imieniu użytkownika lub uzyskania dostępu do prywatnych plików.
- Oszustwa związane z CV: Niektórzy kandydaci dodali pusty tekst (niewidoczny dla ludzi), w którym napisali, że są „wyjątkowymi ekspertami”, aby oszukać filtry sztucznej inteligencji działu HR.
- Przejęcie przeglądarki: Badaczom udało się Agenci AI czytający e-maile wysyłaj listy rezygnacyjne do szefa użytkownika, korzystając z ukrytych instrukcji.
- Wycieki w systemie: W przypadku Bing Chat, studentowi udało się zmusić bota do ujawnienia jego nazwy kodowej „Sydney” i wewnętrznych zasad działania.
- Ataki multimodalne: Teraz istnieją ryzyka, w których złośliwe instrukcje nie są zawarte w tekście, ale osadzone w obrazach które analizuje sztuczna inteligencja, zwiększając powierzchnię ataku.
Strategie obronne i łagodzące
Zła wiadomość jest taka, że ze względu na stochastyczną naturę modeli LLM nie ma jednoznacznego rozwiązania. Można jednak wdrożyć bardzo skuteczne zabezpieczenia . Jedną z najlepszych opcji jest filtrowanie wejścia/wyjścia, w którym system zewnętrzny analizuje, czy monit zawiera podejrzane wzorce, zanim dotrze do modelu.
Kluczowe jest również stosowanie zasady najmniejszych uprawnień . Nie należy udzielać sztucznej inteligencji pełnego dostępu do konta e-mail ani bazy danych; lepiej, aby działała jako pośrednik, który wymaga zgody człowieka na działania wysokiego ryzyka. Inne techniki obejmują wykorzystanie modeli „pod kwarantanną” do przetwarzania danych zewnętrznych, oddzielając logikę sterowania od odczytu danych, którym nie można zaufać.
Wreszcie, kluczowe są ciągłe szkolenia i testy z udziałem przeciwników. Firmy muszą symulować ataki, aby wykryć luki w zabezpieczeniach, zanim zrobią to hakerzy. Co więcej, rejestrowanie danych telemetrycznych pozwala na wykrywanie anomalii w odpowiedziach modelu, pomagając w szybkiej reakcji, gdy coś wydaje się nie tak.