Was ist Prompt Injection?
Prompt Injection ist der Versuch, ein Modell durch schädliche Anweisungen in Nachrichten, Dokumenten, Webseiten oder anderen verarbeiteten Quellen zu beeinflussen. Angreifer wollen die ursprüngliche Aufgabe verändern, Daten erlangen oder nicht erlaubte Aktionen auslösen. Das Risiko steigt, wenn das Modell Werkzeuge steuert.
Direkte und indirekte Angriffe
Direkte Manipulation kommt vom Nutzer im Gespräch. Indirekte Angriffe können in Dokumenten, E-Mails oder abgerufenen Seiten verborgen sein, die der Agent als Informationsquellen nutzt. Externe Inhalte werden deshalb als nicht vertrauenswürdige Daten behandelt, nicht als übergeordnete Regeln.
Berechtigungen und Rollentrennung
Das Modell erhält nur die für die Aufgabe nötigen Werkzeuge. Der Server prüft stets Identität, Eigentümerschaft und erlaubten Umfang. Anweisungen, Nutzerdaten und Quelleninhalte haben getrennte Rollen, damit ein Dokument nicht selbst Sicherheitsrichtlinien ändern kann.
Sensible Aktionen und Bestätigungen
Nachrichtenversand, Zahlungen, Veröffentlichungen und Löschungen erfordern Validierung und bewusste Bestätigung. Das System zeigt genau, was es mit welchen Daten tun wird. Das Modell erhält keinen direkten Zugriff auf geheime Schlüssel und kann Einschränkungen nicht durch eine Textanweisung umgehen.
Monitoring und Tests
Das Audit erfasst Werkzeugaufrufe, abgelehnte Vorgänge und ungewöhnliche Muster. Tests enthalten versteckte Anweisungen in verschiedenen Formaten, Versuche zum Auslesen von Geheimnissen und mehrstufige Angriffe. Nach jeder Änderung am Modell oder an Integrationen wird die Abwehr überprüft.
Der Ansatz von PAR HOUSE Agency
Wir entwickeln Agenten mit minimalen Berechtigungen und sicheren Standardeinstellungen. Nicht vertrauenswürdige Inhalte werden isoliert, sensible Schritte bestätigt und Geschäftsregeln außerhalb des Modells durchgesetzt. Monitoring und regelmäßige Tests ergänzen den Schutz, den eine einzelne Anweisung nicht gewährleisten kann.
