Was ist Data Poisoning?
Data Poisoning bezeichnet die gezielte Manipulation von Daten, durch die ein Modell oder automatisiertes System zu falschen Ergebnissen gelangen soll. Betroffen sein können Training, fortlaufendes Lernen, Wissensdatenbanken, Suche und Analysen. Ähnliche Verunreinigungen können unbeabsichtigt durch fehlerhafte Integrationen oder menschliche Fehler entstehen.
Wie entsteht ein Angriff oder Fehler?
Schädliche Einträge können in öffentlich gesammelte Daten, Importe, Rückmeldungen oder RAG-Dokumente gelangen. Angreifer versuchen, das allgemeine Verhalten zu verändern oder Fehler bei bestimmten Themen auszulösen. Eine falsche Zuordnung von Datenfeldern kann ähnliche Auswirkungen haben.
Herkunft und Zugriffsrechte
Jede Quelle hat einen Verantwortlichen, einen Zweck, ein Datum, eine Version und Zugriffsregeln. Schreibzugriffe auf wichtige Datensammlungen werden beschränkt und protokolliert. Externe Inhalte bleiben von freigegebenem Wissen getrennt und erhalten nicht automatisch dasselbe Vertrauen.
Validierung und Überwachung
Kontrollen suchen nach ungewöhnlichen Werten, abrupten Änderungen der Datenverteilung, Duplikaten und Widersprüchen zu vertrauenswürdigen Quellen. Ein stabiler Testsatz dient dazu, die Antwortqualität zu beobachten. Ein Virenscan allein reicht nicht: Schädliche Informationen können technisch gültiger Text sein.
Reaktion und Wiederherstellung
Bei einem Verdacht wird die weitere Verarbeitung gestoppt, betroffene Versionen werden markiert und Belege gesichert. Das Team stellt den letzten geprüften Zustand wieder her, passt Zugriffsrechte an und testet das Verhalten erneut. Umfang, Ursache und vorbeugende Maßnahmen werden dokumentiert.
Der Ansatz von PAR HOUSE Agency
Wir gestalten Datenflüsse mit minimalen Berechtigungen und nachvollziehbarer Herkunft. Nutzereingaben werden von vertrauenswürdigen Anweisungen getrennt, Wissensbestände versioniert und kritische Szenarien regelmäßig getestet. Jede Automatisierung lässt sich sicher stoppen und zurücksetzen.
