AI Red Teaming mit Open Source: Garak, PyRIT, Promptfoo und Co.

AI Red Teaming heißt: Ein Team greift deine KI-Anwendung gezielt an, bevor es ein echter Angreifer tut. Es versucht, dem Modell neue Anweisungen unterzuschieben, vertrauliche Daten herauszulocken oder Werkzeuge zu missbrauchen. Vieles davon lässt sich mit freier Software automatisieren. Die wichtigsten Werkzeuge liegen offen auf GitHub.

Die Werkzeuge im Überblick

Garak: der schnelle Grundcheck

Garak funktioniert wie ein Schwachstellenscanner für Sprachmodelle. Du gibst einen Endpunkt an, Garak schickt eine Bibliothek bekannter Angriffe ab und liefert einen Bericht. Geprüft werden unter anderem Jailbreaks, Prompt Injection, das Ausplaudern von Trainingsdaten und schädliche Inhalte. Garak ist der richtige Start, wenn du schnell wissen willst, wo ein Modell grundsätzlich steht.

Die Grenze: Garak kennt deine Anwendung nicht. Es testet das Modell, nicht die Werkzeuge, Daten und Rechte darum herum.

PyRIT: Angriffe nach Maß

PyRIT stammt vom AI Red Team von Microsoft. Es ist ein Baukasten in Python, kein fertiger Scanner. Du baust damit Angriffe, die über mehrere Runden laufen: Ein Angreifer-Modell spricht mit deiner Anwendung, wandelt Eingaben ab und bewertet die Antworten. So lassen sich Szenarien testen, die genau zu deinem System passen. Etwa ob dein Support-Agent nach zehn freundlichen Nachrichten doch Kundendaten verrät.

Die Grenze: PyRIT braucht Entwicklerzeit. Ohne klares Ziel entsteht viel Aufwand mit wenig Ergebnis.

Promptfoo: Tests bei jeder Änderung

Promptfoo ist ein Kommandozeilenwerkzeug, das Prompts und Modelle gegeneinander testet. Es erzeugt Angriffe passend zur Anwendung und läuft in der CI-Pipeline mit. Jede Änderung an einem Prompt oder ein Modellwechsel wird so automatisch geprüft. OpenAI hat Promptfoo im März 2026 übernommen. Laut den Gründern bleibt das Projekt Open Source und unterstützt weiter Modelle anderer Anbieter.

Die Grenze: Promptfoo findet Rückschritte zuverlässig. Neue Angriffswege musst du ihm zuerst beibringen.

DeepTeam, Giskard und AgentDojo

• DeepTeam von Confident AI deckt die Risiken der OWASP LLM Top 10 mit fertigen Tests ab. Praktisch für Teams, die DeepEval schon zur Qualitätsmessung nutzen.
• Giskard prüft neben Sicherheit auch Qualität: falsche Antworten, Widersprüche, Verzerrungen. Neu ist ein Modus für Agenten.
• AgentDojo kommt aus der Forschung der ETH Zürich. Es misst, wie gut Agenten mit E-Mail, Kalender und Banking gegen versteckte Anweisungen bestehen. Gut, um verschiedene Modelle oder Schutzmaßnahmen zu vergleichen.

So läuft ein Test bei uns ab

1. Bestand aufnehmen. Welche KI-Systeme laufen, welche Daten lesen sie, welche Aktionen dürfen sie auslösen?
2. Grundscan. Garak gegen jedes eingesetzte Modell. Das zeigt die bekannten Schwächen.
3. Gezielte Szenarien. Mit PyRIT und eigenen Skripten greifen wir die Werkzeuge und Datenquellen an, die nur deine Anwendung hat.
4. Handarbeit. Ein Mensch sucht Lücken in Rechten und Geschäftslogik. Etwa ob ein Agent über einen Umweg eine Zahlung auslösen kann.
5. Bericht mit Maßnahmen. Jeder Befund mit Beispiel, Risiko und Lösung.
6. Regressionstests. Die gefundenen Angriffe kommen als Promptfoo-Tests in die Pipeline. So taucht eine geschlossene Lücke nicht still wieder auf.

Was kein Werkzeug ersetzt

Die Werkzeuge finden bekannte Muster. Die gefährlichsten Lücken liegen aber oft nicht im Modell, sondern in dem, was um das Modell herum gebaut wurde: zu viele Rechte, eine fehlende Freigabe, eine Datenquelle, die Fremde beschreiben können. Wie das aussieht, zeigt unser Beitrag über Agentjacking. Dort reichte eine gefälschte Fehlermeldung.

Dazu kommt: Sprachmodelle antworten nicht jedes Mal gleich. Ein Angriff, der neunmal scheitert, kann beim zehnten Mal klappen. Gute Tests wiederholen jeden Angriff mehrfach und messen Quoten statt Einzelfälle.

Häufige Fragen