Die 10 häufigsten LLM-Schwachstellen

VectorMine | shutterstock.com

Das Open Worldwide Software Safety Undertaking (OWASP) hat seine High Ten der kritischsten Schwachstellen bei Massive Language Fashions (LLMs) aktualisiert.

Mit ihrer High-Ten-Liste (PDF) wollen die OWASP-Safety-Experten Unternehmen(sanwender) über die potenziellen Risiken beim Einsatz von großen Sprachmodellen aufklären, Consciousness schaffen und mit Abhilfestrategien dabei unterstützen, das Sicherheitsniveau von (Generative-)AI-Anwendungen zu optimieren.

High 10: LLM-Schwachstellen 2025

Im Folgenden haben wir die aus OWASP-Perspektive zehn kritischsten LLM-Schwachstellen in aller Kürze zusammengefasst. Weiterführende Informationen, Hyperlinks und detailreiche Angriffsbeispiele entnehmen Sie dem oben verlinkten PDF.

1. Immediate Injection

Mit Immediate-Injection-Angriffen wollen Cyberkriminelle Filterfunktionen umgehen oder das Massive Language Mannequin mit sorgfältig ausgearbeiteten Prompts manipulieren. Das kann laut den OWASP-Experten unter anderem dazu führen, dass:

• wise Informationen offengelegt werden,
• nicht korrekte oder Bias-intensive Outputs generiert werden,
• nicht autorisierter Zugriff auf LLM-Funktionen erfolgt,
• willkürliche Befehle auf verbundenen Systemen ausgeführt werden.

„Multimodalen KI-Systemen, die mehrere Datentypen parallel verarbeiten, sind einzigartige Immediate-Injection-Risiken inhärent“, schreiben die OWASP-Experten und fügen mahnend hinzu: „Die Komplexität dieser Systeme vergrößert die Angriffsfläche. Spezifische Abwehrmaßnahmen für multimodale Systeme zu entwickeln, ist ein wichtiger Bereich für künftige Forschungsbemühungen.“

Um sich gegen Immediate Injections zu schützen, empfiehlt OWASP:

• das Mannequin Habits einzugrenzen;
• erwartete Output-Formate zu definieren und zu validieren;
• Enter- und Output-Filtering zu implementieren;
• Privilege Management und Least Privilege Entry durchzusetzen;
• manuelle Bestätigungsprozesse für risikobehaftete Duties einzusetzen;
• externen Content material zu identifizieren und zu separieren;
• Adversarial Testing und Angriffssimulationen zu nutzen.

2. Offenlegung sensibler Informationen

Wenn ein LLM mit seinen Antworten versehentlich wise Informationen preisgibt, ist die Schadensbandbreite potenziell hoch, wie die OWASP-Experten festhalten: „Besonders LLMs, die in Applikationen eingebettet sind, laufen Gefahr, wise Daten, proprietäre Algorithmen oder vertrauliche Informationen über ihren Output preiszugeben. Das kann zu nicht autorisiertem Datenzugriff und Datenschutzverstößen führen und gefährdet potenziell geistiges Eigentum.“

Um solchen Kompromittierungen vorzubeugen, empfiehlt OWASP:

• Knowledge-Sanitization-Techniken zu implementieren;
• strikte Methoden zur Validierung von Inputs anzuwenden;
• Entry-Management-Maßnahmen zu etablieren;
• den Modellzugriff auf externe Datenquellen zu begrenzen;
• Federated Studying für das Modelltraining einzusetzen;
• den Differential-Privateness-Ansatz umzusetzen;
• Benutzer im Umgang mit LLMs und Daten zu schulen;
• Systemkonfigurationen anzupassen;
• Homomorphic Encryption zu nutzen;
• Tokenization zu implementieren.

3. Provide Chain

Laut den OWASP-Experten sind die Lieferketten von Massive Language Fashions an mehreren Stellen anfällig für Manipulationen: „Das kann in Bias-behafteten Outputs, Safety Breaches oder Systemfehlern resultieren. Während bei traditionellen Softwareschwachstellen der Fokus auf Unzulänglichkeiten und Abhängigkeiten innerhalb des Codes liegt, beziehen sich die Risiken von Machine Studying auch auf vortrainierte Modelle und Trainingsdaten von Drittanbietern.“

Diese externen Elemente ließen sich zum Beispiel durch Poisoning-Angriffe manipulieren, warnen die Sicherheitsexperten.  Zur Vorbeugung empfehlen sie:

• Datenquellen und Drittanbieter (sowie deren Datenschutzrichtlinien und Accomplice) im Rahmen von Opinions und Audits genau unter die Lupe zu nehmen; 
• Vulnerability Scanning und Patch Administration zu fokussieren;
• AI Purple Teaming und Evaluierung bei Drittanbieter-Modellen einzusetzen;
• SBOMs zu nutzen;
• Instruments für automatisiertes Lizenzmanagement einzusetzen;
• Integritätschecks über Hash Recordsdata einzuziehen und Code Signing zu nutzen;
• strikte Monitoring- und Audit-Pointers bei kollaborativer Modellentwicklung anzuwenden;
• Anomaly Detection und Adversarial Testing einzusetzen.  

4. Knowledge und Mannequin Poisoning

Werden Daten für Pretraining, Feintuning oder Embedding manipuliert, um Schwachstellen, Hintertüren oder Bias zu erzeugen, spricht man von Knowledge Poisoning. „Diese Artwork der Manipulation kann die Modellsicherheit und -Efficiency kompromittieren und zu schadhaften Outputs oder eingeschränkten Fähigkeiten führen“, erläutern die OWASP-Experten.   

Um Angriffe dieser Artwork zu verhindern, empfehlen sie:

• Daten und mögliche Transformationen mit entsprechenden Instruments zu tracken;
• Daten-Vendoren ausgiebig zu überprüfen und Modell-Outputs zu validieren;
• striktes Sandboxing zu implementieren und Techniken zur Anomalieerkennung zu nutzen;
• Modelle mit spezifischen Datensätzen feinabzustimmen;
• Infrastruktur-Kontrollmaßnahmen einzuziehen, um zu verhindern, dass Modelle auf nicht erwünschte Datenquellen zugreifen;
• Knowledge Model Management einzusetzen, um Veränderungen an Datensätzen zu erkennen;
• Informationen von Benutzern in Vektordatenbanken zu speichern, um Anpassungen ohne Retraining vornehmen zu können;
• Modelle mit Purple Teaming und Adversarial Testing zu überprüfen;
• den Verlust von Trainingsdaten zu überwachen und das Modellverhalten auf Anhaltspunkte für Poisoning zu analysieren;
• Modellhalluzinationen mit Retrieval Augmented Technology (RAG) und Grounding-Techniken zu reduzieren.  

5. Improper Output Dealing with

„Improper Output Dealing with bezieht sich darauf, dass die von großen Sprachmodellen generierten Outputs unzureichend validiert, bereinigt und gehandhabt werden, bevor sie an andere Komponenten und Systeme weitergeleitet werden“, erläutert OWASP. Falls Angreifer solche Improper-Output-Dealing with-Schwachstellen ausnutzten, könne das zu Cross-Website-Scripting– und Server-side Request-Forgery-Angriffen, Privilege Escalation oder Distant Code Execution führen.

Präventive Maßnahmen, um das zu verhindern, sind laut OWASP:

• einen Zero-Belief-Ansatz zu verfolgen und Modelle wie Person zu behandeln;
• effektive Maßnahmen einzusetzen, um Inputs zu validieren und zu bereinigen;
• (kontextsensitives) Output Encoding einzusetzen;
• parametrisierte Queries oder vorbereitete Statements für sämtliche Datenbank-Prozesse mit LLM-Beteiligung zu nutzen;
• strikte Content material-Safety-Richtlinien einzuziehen;
• robuste Logging- und Monitoring-Systeme zu implementieren, um verdächtige Muster in Outputs zu identifizieren.

6. Extreme Company

Laut den OWASP-Experten beschreibt Extreme Company eine Schwachstelle, die schadhafte Aktionen auf der Grundlage von unerwarteten, mehrdeutigen oder manipulierten LLM-Outputs ermöglicht – unabhängig davon, was der Grund für die Fehlfunktion ist. „Extreme Company kann various Auswirkungen auf das gesamte Spektrum von Vertraulichkeit, Integrität und Verfügbarkeit nach sich ziehen und hängt im Wesentlichen davon ab, mit welchen Systemen eine LLM-basierte App interagieren kann“, konkretisiert OWASP.

Um diesen Risiken den Wind aus den Segeln zu nehmen, empfehlen die Spezialisten:   

• Extensions und ihre Funktionalitäten zu minimieren;
• „Open ended“ Extensions wo möglich zu vermeiden;
• Extensions nur im Person-Kontext auszuführen;
• Bestätigungen von Benutzern einzufordern;
• Autorisierung in Downstream-Systemen zu implementieren;
• LLM-Inputs und -Outputs zu bereinigen.

7. System Immediate Leakage

„System-Prompts sind darauf konzipiert, die Outputs von LLMs auf der Grundlage der Applikationsanforderungen zu steuern – können jedoch auch unbeabsichtigt Geheimnisse enthalten. Werden diese entdeckt, können sie für weitere Attacken genutzt werden“, warnt OWASP. Dabei stelle die Offenlegung eines System Prompts an sich nicht das eigentliche Risiko dar, so die Experten. Das liege vielmehr in den zugrundeliegenden Elementen wie den Guardrails und Formatierungsrestriktionen, über die Angreifer Rückschlüsse ziehen könnten, wenn sie mit den System interagierten.

Um offengelegte System-Prompts zu verhindern, sieht OWASP folgende Maßnahemn als hilfreich an:

• wise Daten von System-Prompts zu trennen;
• System Prompts wenn möglich nicht dazu zu nutzen, um das Modellverhalten zu beeinflussen;
• Guardrails zu implementieren;
• Sicherheitskontrollen nicht an LLMs zu delegieren.   

8. Vector- und Embedding-Schwachstellen

Mit Retrieval Augmented Technology (RAG) lassen sich Leistung und Relevanz von LLMs optimieren. Allerdings können solche Systeme auch schwerwiegende Sicherheitslücken aufweisen, wie die OWASP-Spezialisten konstatieren: „Wenn der Prozess, bei dem Vektoren und Embeddings generiert, gespeichert oder angerufen werden, Schwachstellen-behaftet ist, kann das von Bedrohungsakteuren ausgenutzt werden, um anstößige Inhalte zu integrieren, Modell-Outputs zu manipulieren oder auf wise Informationen zuzugreifen.“

Dagegen hilft laut den Experten:

• granulare Zugriffskontrollmaßnahmen durchzusetzen;
• Daten zu validieren und Quellen zu authentifizieren;
• kombinierte Datensätze einem Evaluation zu unterziehen;
• umfassendes Monitoring und Logging.

9. Desinformation

Wenn große Sprachmodelle Informationen liefern, die zwar auf den ersten Blick glaubwürdig erscheinen, aber falsch sind, ist Desinformation die Folge. Diese Schwachstelle kann laut OWASP unter anderem zu Breaches, Reputationsschäden und rechtlichen Problemen führen.

„Einer der Hauptgründe für Desinformation sind LLM-Halluzinationen“, schreiben die Experten und fügen hinzu: „Sie entstehen, wenn LLMs Lücken in ihren Trainingsdaten mit statistischen Mustern füllen, ohne den Inhalt wirklich zu verstehen.“

Als Abhilfemaßnahmen identifizieren die Safety-Experten:

• RAG einzusetzen;
• Modelle feinabzustimmen;
• LLM-Outputs manuell zu überprüfen;
• Instruments und Prozesse für automatisierte Validierung einzuführen;
• Risiko-Kommunikation zu betreiben;
• auf sichere Coding-Praktiken zu setzen;
• Person Interface und APIs mit Content material-Filtern und Labels auszustatten;
• Trainings- und Schulungsmaßnahmen anzuberaumen.

10. Unbounded Consumption

„Unbounded Consumption tritt auf, wenn eine LLM-Anwendung Benutzern eine übermäßige, unkontrollierte Nutzung ermöglicht. Das kann zu DoS-Angriffen, wirtschaftlichen Schäden, Modell-Diebstahl und eingeschränkten Providers führen“, erklärt OWASP. Insbesondere in Cloud-Umgebungen seien große Sprachmodelle wegen ihrer hohen Leistungsanforderungen anfällig für Ressourcenausbeutung und nicht-autorisierte Nutzung.

Um diese Risiken zu minimieren, empfehlen die Experten:

• Inputs zu validieren;
• Charge Limiting einzusetzen;
• die Ressourcenzuweisung dynamisch zu überwachen und zu managen;
• Timeouts und Throttling einzusetzen;
• Sandboxing-Techniken zu implementieren;
• umfassende Logging-, Monitoring- und Anomaliedetektions-Aktivitäten einzuplanen;
• Watermarking zu nutzen;
• ein zentralisiertes ML-Modell-Inventar zu nutzen;
• MLOps Deployment zu automatisieren.

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser E-newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.