
Die Allianz für Cyber-Sicherheit des BSI beschreibt am 10. November 2026, warum Chatbots und Agenten auf Basis großer Sprachmodelle anders scheitern als klassische Software. Sie erfinden Inhalte, halten Vorgaben unter Druck nicht zuverlässig ein und lassen sich über natürliche Sprache missbräuchlich steuern, etwa durch direkte und indirekte Prompt Injection. Mögliche Folgen sind der Abfluss vertraulicher Daten und der Missbrauch angebundener Funktionen. Übliche Abnahmetests greifen laut Quelle nicht, weil die Eingaben unbegrenzt sind und dieselbe Frage unterschiedliche Antworten erzeugen kann. Für Banken und Versicherer mit Kundenchat oder internen KI-Assistenten folgt daraus ein Vorgehen: Aus den eigenen Regeln, dem Systemprompt und den fachlichen Vorgaben ein Testset ableiten. Es umfasst Angriffsszenarien ebenso wie alltägliche, auch mehrstufige Anfragen. Jede Antwort wird gegen die jeweilige Regel bewertet. Nach jeder Änderung an Modell oder Prompt wird erneut getestet. Als Maßstab nennt die Quelle Veröffentlichungen des BSI und die OWASP Top 10 for LLM Applications.
