Was sind Guardrails?
Guardrails sind technische und organisatorische Regeln, die festlegen, welche Daten ein KI-System annehmen, wie es antworten und welche Aktionen es ausführen darf. Sie sind mehr als ein Filter für verbotene Wörter: Kontrollen greifen vor der Verarbeitung, während der Entscheidung, beim Einsatz von Werkzeugen und vor der Ausgabe. Gute Schutzmaßnahmen begrenzen Schäden und erhalten zugleich den Nutzen des Dienstes.
Eingaben und Wissen schützen
Eingaben werden auf sensible Daten, Versuche zur Manipulation von Anweisungen und gefährliche Anforderungen geprüft. Der Zugriff auf Wissen berücksichtigt die Rolle des Nutzers, den Sitzungszweck und die Berechtigungen für einzelne Dokumente. Inhalte aus Webseiten, E-Mails oder Anhängen gelten als Daten, nicht als übergeordnete Anweisungen an den Agenten.
Antworten und fachliche Grenzen
Das System erkennt Themen, bei denen es nur anhand geprüfter Quellen antworten, nachfragen oder den Fall an einen Menschen übergeben soll. Im klinischen Umfeld darf es ohne eine entsprechend befugte Fachperson keine individuellen Gesundheitsempfehlungen geben. Eigenschaften, Preise oder Verfügbarkeiten von Parfums, Schmuck oder Dienstleistungen darf es nicht erfinden.
Werkzeuge und verbindliche Aktionen
Jedes Werkzeug erhält nur die notwendigen Berechtigungen. Lesen wird von Ändern, Senden, Buchen, Kaufen und Löschen getrennt. Vor einer verbindlichen Aktion sieht der Nutzer Ziel, Preis, Währung und Folgen und bestätigt sie bewusst. Eine wiederholte Anfrage darf keine doppelte Zahlung oder Buchung auslösen.
Tests und betriebliche Überwachung
Tests umfassen direkte und indirekte Regelumgehungen, mehrere Sprachen, widersprüchliche Quellen, unvollständige Daten und scheinbar sichere Handlungsketten mit riskantem Ergebnis. Gemessen werden durchgelassene schädliche Vorgänge, fälschliche Blockierungen, Eskalationsgeschwindigkeit und Auswirkungen auf den Aufgabenabschluss. Für jeden Vorfall gibt es eine verantwortliche Person und einen nachvollziehbaren Verlauf.
Der Ansatz von PAR HOUSE Agency
Wir gestalten Guardrails nach der konkreten Kundenreise und den möglichen Folgen eines Fehlers. Agenten für Gesundheit, Kliniken oder E-Commerce erhalten klar definierte Quellen, Werkzeuge und Grenzen. Wir prüfen die Sicherheit fortlaufend anhand realer Szenarien, damit Kunden schnelle Hilfe ohne versteckte Risiken für Daten, Ruf und Geschäft erhalten.
