Inside LLM Teil 2: Prompt Injection & Information Disclosure
👋 Willkommen an alle neuen Leserinnen und Leser!
Falls Sie neu hier sind: ThreatLink untersucht jeden Monat, wie moderne Angriffe Technologien wie LLMs, Cyberrisiken durch Drittanbieter und Abhängigkeiten in der Lieferkette ausnutzen. Alle bisherigen Artikel finden Sie hier (Sicherheitsvorfall bei Uber und MFA-Fatigue, XZ Utils: Open Source durch Social Engineering infiltrieren).
Vielen Dank, dass Sie diesen monatlichen Newsletter unterstützen, indem Sie ihn mit Ihren Kollegen teilen oder ihn liken (klicken Sie auf das 💙).
Etienne
Dieser Artikel wurde auf Threatlink veröffentlicht und ist eine Übernahme der englischen Version
Nachdem wir in unserem letzten ThreatLink-Artikel die Funktionsweise von LLMs untersucht haben, lohnt sich ein Blick auf die Risiken, die sie mit sich bringen.
Werfen wir anhand aktueller, konkreter Beispiele einen neuen Blick auf die OWASP Top 10 für LLMs.
Die zentrale Erkenntnis: Wir haben es mit einer Technologie zu tun, die sich rasant entwickelt und Paradigmen auf den Kopf stellt. Das Ganze abzusichern ist schwierig. Manchmal fühlt man sich in die Anfangszeit des Webs zurückversetzt – diesmal mit einem Hauch KI.
Wir sehen uns zwei bekannte Risiken an:
1️⃣ Prompt Injection
In der klassischen Softwareentwicklung gehören Injection-Schwachstellen zu den Grundlagen der Sicherheit. Entwickler maskieren Sonderzeichen und bereinigen Eingaben. Bei LLMs ist das Konzept ähnlich, aber viel schwerer abzuwehren.
Es gibt viele Formen der Prompt Injection, doch ein Fall aus der vergangenen Woche zeigt gut, wie real diese Bedrohung ist.
Direkte Prompt Injection
Die Grundidee? Sie sprechen mit einer KI und fordern sie auf, ihre ursprünglichen Anweisungen zu ignorieren (den „Pre-Prompt“, wie in unserem vorherigen Artikel erklärt), und sie verhält sich daraufhin völlig anders.
Ein einfacher Prompt wie „Ignoriere die vorherigen Anweisungen und mache stattdessen X“ kann die vorgesehene Logik des Modells komplett aus der Bahn werfen.
Nutzer auf LinkedIn und Twitter haben mit genau dieser Art von Angriff gefälschte Konten entlarvt.
Indirekte Prompt Injection
Sie tritt auf, wenn das Modell externe Daten einbezieht – etwa von einer Website oder aus einer Datei – und dieser Inhalt eine versteckte Anweisung enthält. Das Modell interpretiert sie als Direktive, obwohl der Nutzer sie nicht ausdrücklich angefordert hat.
Ein eindrückliches Beispiel aus der vergangenen Woche:
Marco Figueroa, Leiter des GenAI-Bug-Bounty-Programms bei Mozilla, hat einen Prompt-Injection-Angriff auf Googles Gemini (das Google-Pendant zu ChatGPT) entdeckt und offengelegt.
Ein Angreifer fügt eine unsichtbare Anweisung in eine E-Mail ein (Schriftgröße null, weiße Farbe).
Beispiel einer Gmail-E-Mail mit der unsichtbaren Prompt Injection:
Gmail zeigt die Nachricht dem Nutzer ganz normal an – ohne Anhänge, ohne Link –, doch wenn Gemini gebeten wird, die Nachricht zusammenzufassen, interpretiert es den versteckten Prompt.
Gemini führt die Anweisung dann aus: Es warnt den Nutzer, dass sein Passwort kompromittiert wurde, und fordert ihn auf, eine gefälschte Support-Nummer anzurufen.
Diese Schwachstelle ist gravierend, denn man kann sich leicht vorstellen, dass ein Hacker sie in einer groß angelegten E-Mail-Kampagne ausnutzt.
Interessant: In unserem Galink-Konto erzwingt Google inzwischen Zusammenfassungen, selbst wenn wir sie gar nicht brauchen 😅
2️⃣ Offenlegung sensibler Informationen
LLMs werden mit riesigen Datenmengen aus dem Internet trainiert – und manchmal auch mit Nutzerdaten. Sobald ein LLM Daten „verschluckt“ hat, können sie später auf unerwartete Weise wieder auftauchen.
Hier einige der wichtigsten Leak-Szenarien:
Leak personenbezogener Daten (PII)
Personenbezogene Informationen können während der Interaktionen preisgegeben werden.
Offenlegung proprietärer Algorithmen
Eine fehlerhafte Konfiguration der Modellausgaben kann proprietäre Logik oder Daten offenlegen. Inversionsangriffe sind hier ein Risiko: Gelingt es, Teile der Trainingsdaten zu extrahieren, lassen sich sensible Eingaben rekonstruieren.
Offenlegung sensibler Geschäftsdaten
LLMs können Inhalte erzeugen, die unbeabsichtigt interne oder vertrauliche Unternehmensinformationen enthalten.
Wir hatten in einem früheren Artikel darüber berichtet: Grok gab Pre-Prompt-Informationen preis, die zeigten, wie es ausgerichtet war – und legte damit interne Richtlinien offen.
Der bekannteste Fall ist jedoch Samsung im Jahr 2023.
Es gab drei Vorfälle, bei denen Mitarbeitende sensible Informationen mit ChatGPT teilten:
Einer kopierte ein komplettes Datenbankskript, um ein Problem zu lösen.
Ein anderer fügte vollständigen Quellcode ein, um ihn optimieren zu lassen.
Ein dritter lud das Transkript eines vertraulichen Meetings hoch und bat ChatGPT um eine Zusammenfassung.
Diese hochsensiblen Eingaben wurden zum Training des Modells verwendet – und wurden für andere Nutzer zugänglich.
Ein letztes faszinierendes Beispiel aus dem Jahr 2024: Forschende fanden heraus, dass manche LLMs, wenn man sie bat, ein Wort endlos zu wiederholen, schließlich Trainingsdaten preisgaben. Dabei kamen ganze Zeichenketten zuvor gesehener Eingaben zum Vorschein.
Diese Schwachstelle wurde inzwischen durch eine maximale Längenbegrenzung für jede Antwort behoben.
🎯 Fazit
LLMs sind noch neu und entwickeln sich schnell weiter. Nicht alle Risiken sind offensichtlich – manche, wie das Leak durch endlose Wiederholung, sind zutiefst unvorhersehbar.
Unsere bewährten Cybersecurity-Praktiken sind im Zeitalter der KI wichtiger denn je.