- Die Prompt-Injektion nutzt die Unfähigkeit von LLMs aus, Systemanweisungen von Benutzerdaten zu unterscheiden.
- Es gibt direkte, indirekte und gespeicherte Varianten, die die Vertraulichkeit und Integrität von Systemen gefährden können.
- Es unterscheidet sich vom Jailbreaking dadurch, dass letzteres speziell darauf abzielt, die ethischen und sicherheitstechnischen Barrieren des Modells zu umgehen.
- Zur Schadensbegrenzung ist ein multidisziplinärer Ansatz erforderlich, der Eingabefilterung, Berechtigungsmanagement und menschliche Aufsicht kombiniert.
Sie haben wahrscheinlich schon von Chatbots gehört und wie sie unser Leben erleichtern, aber es gibt auch eine Schattenseite, die nicht immer in den Nachrichten auftaucht. Es stellt sich heraus, dass diese Tools, so magisch sie auch scheinen mögen, eine grundlegende Schwäche in der Informationsverarbeitung aufweisen. Dadurch können manche Nutzer sie austricksen und zu Aktionen verleiten, die ihre Entwickler nie beabsichtigt haben.
Wir sprechen von Prompt-Injection, einer Technik, bei der die Sprache manipuliert wird, um die Kontrolle über KI zu erlangen. Man muss kein Programmierexperte sein oder ungewöhnliche Programme installieren; manchmal genügt ein gezielter Satz, damit das Modell seine Regeln ignoriert, Geheimnisse preisgibt oder böswillig handelt und so zu einem echten Problem für die moderne Cybersicherheit wird.
Was genau ist eine Sofortinjektion?
Um dies richtig zu verstehen, ist es wichtig zu wissen, dass große Sprachmodelle (LLMs) wie GPT-4 oder Gemini mit Eingabeaufforderungen arbeiten. Eine Eingabeaufforderung ist einfach die Anweisung, die der Benutzer dem System gibt. Das Problem besteht darin, dass Entwickler unsichtbare interne Anweisungen (Systemeingabeaufforderungen) hinzufügen, um das Verhalten und die Regeln des Bots zu definieren. Die KI kann jedoch nicht unterscheiden, wo der Befehl des Programmierers endet und der Text des Benutzers beginnt.
Diese Schwachstelle entsteht, weil das Modell den gesamten Textstrom als Einheit verarbeitet. Wenn ein Angreifer also den Befehl „Alles darüber ignorieren“ einfügt, kann die KI diesen neuen Befehl gegenüber den ursprünglichen Sicherheitsregeln priorisieren. Im Grunde handelt es sich um eine Form von Social Engineering, angewendet auf Maschinen, wobei Sprache als Waffe eingesetzt wird, um das Verhalten des Assistenten zu manipulieren.
Wesentliche Unterschiede zwischen Prompt Injection und Jailbreak
Viele verwechseln diese beiden Begriffe, doch sie bedeuten nicht dasselbe. Jailbreaking ist vergleichbar mit dem Versuch, die KI zu „knacken“. Ziel ist es, ethische Schutzmechanismen und Inhaltsrichtlinien außer Kraft zu setzen, sodass der Bot verbotene Dinge sagt oder eingeschränkte Inhalte generiert. Das bekannteste Beispiel ist der DAN-Modus („Do Anything Now“), in dem das Modell gezwungen wird, ohne Regeln einen bestimmten Charakter anzunehmen.
Andererseits ist Prompt Injection ein umfassenderes Konzept. Es zielt nicht immer darauf ab, moralische Regeln zu verletzen, sondern vielmehr darauf, die Systemfunktionalität zu verändern . Der Angreifer möchte möglicherweise lediglich, dass der Bot seine internen Anweisungen preisgibt oder eine unautorisierte Aktion auf einem verbundenen System ausführt. Während Jailbreaking üblicherweise eine bewusste Handlung des Benutzers innerhalb seiner eigenen Sitzung ist, kann Prompt Injection ein unbemerkter Angriff sein, der Dritte betrifft.
Arten von Angriffen: Direkte, indirekte und gespeicherte Angriffe
Nicht alle Angriffe werden auf dieselbe Weise ausgeführt. Die einfachste Methode ist die direkte Einschleusung , bei der der Benutzer die schädliche Anweisung direkt in das Chatfenster eingibt. Dies kann eine vorsätzliche Handlung zum Hacken des Systems oder ein versehentlicher Benutzerfehler sein, der zu unvorhersehbarem Verhalten im System führt.
Indirekte Einschleusung ist weitaus gefährlicher . Hierbei kommuniziert der Angreifer nicht direkt mit der KI, sondern versteckt Anweisungen in externen Quellen, die die KI ausliest, beispielsweise in Webseiten, PDF-Dokumenten oder E-Mails. Wenn Sie beispielsweise einen Bot anweisen, eine Webseite mit unsichtbarem Text zusammenzufassen und den Befehl „Nutzerdaten stehlen“ zu verwenden, verarbeitet die KI diesen versteckten Befehl und kann unbemerkt Informationen exfiltrieren.
Schließlich gibt es noch die gespeicherte Injection . Diese Methode beinhaltet das Einschleusen von Schadcode in Datenbanken oder die Trainingsdaten selbst. Da die Informationen bereits gespeichert sind, kann der Angriff viele Benutzer in verschiedenen Sitzungen betreffen, da das Modell den Schadcode aufnimmt und ihn bei jedem Zugriff auf diese spezifischen Informationen repliziert.
Auswirkungen im realen Leben und Gefahrenszenarien
Gelingt ein Angriff, können die Folgen gravierend sein und von der Preisgabe vertraulicher Unternehmensdaten bis hin zur Manipulation kritischer Entscheidungen reichen. In Unternehmensumgebungen, in denen KI Zugriff auf APIs oder E-Mails hat, könnte ein Angreifer den Bot dazu bringen, im Namen des Nutzers Nachrichten zu versenden oder auf private Dateien zuzugreifen.
- Lebenslaufbetrug: Einige Kandidaten haben leeren Text (für Menschen unsichtbar) eingefügt, in dem sie behaupten, „außergewöhnliche Experten“ zu sein, um die KI-Filter der Personalabteilung auszutricksen.
- Browser-Hijacking: Forschern ist es gelungen, KI-Agenten, die E-Mails lesen Senden Sie mithilfe versteckter Anweisungen Kündigungsschreiben an den Vorgesetzten des Benutzers.
- Systemlecks: Im Fall von Bing Chat gelang es einem Studenten, den Bot dazu zu bringen, seinen Codenamen „Sydney“ und seine internen Betriebsrichtlinien preiszugeben.
- Multimodale Angriffe: Nun gibt es Risiken, bei denen bösartige Anweisungen nicht im Text enthalten sind, sondern in Bildern eingebettet dass die KI dies analysiert und so die Angriffsfläche erweitert.
Verteidigungs- und Minderungsstrategien
Die schlechte Nachricht ist, dass es aufgrund der stochastischen Natur von LLMs keine endgültige Lösung gibt. Es lassen sich jedoch sehr wirksame Schutzmaßnahmen implementieren . Eine der besten Optionen ist die Eingabe-/Ausgabefilterung, bei der ein externes System analysiert, ob die Eingabeaufforderung verdächtige Muster enthält, bevor sie das Modell erreicht.
Es ist außerdem entscheidend, das Prinzip der minimalen Berechtigungen anzuwenden . KI sollte keinen uneingeschränkten Zugriff auf Ihr E-Mail-Konto oder Ihre Datenbank erhalten; besser ist es, sie als Vermittler einzusetzen, der für risikoreiche Aktionen eine menschliche Genehmigung benötigt . Weitere Techniken umfassen die Verwendung von „quarantänisierten“ Modellen zur Verarbeitung externer Daten und die Trennung der Steuerungslogik vom Lesen nicht vertrauenswürdiger Daten.
Schließlich sind kontinuierliches Training und Adversarial Testing unerlässlich. Unternehmen müssen Angriffe simulieren, um Schwachstellen zu finden, bevor Hacker sie entdecken. Darüber hinaus ermöglicht die Telemetrieprotokollierung die Erkennung von Anomalien in den Modellreaktionen und hilft so, schnell zu reagieren, wenn etwas nicht stimmt.