Qu’est-ce que l’empoisonnement des données ?
L’empoisonnement des données est une manipulation délibérée visant à fausser les résultats d’un modèle ou d’un système automatisé. Il peut toucher l’entraînement, l’apprentissage continu, une base de connaissances, la recherche ou l’analyse. Une intégration défectueuse ou une erreur humaine peut aussi entraîner une contamination accidentelle aux effets similaires.
Comment survient une attaque ou une erreur ?
Des entrées malveillantes peuvent être introduites dans des données collectées publiquement, un import, des retours utilisateurs ou des documents utilisés par RAG. L’attaquant cherche à modifier le comportement général ou à provoquer une erreur sur un sujet précis. Une mauvaise correspondance entre champs peut produire un effet comparable.
Provenance et droits d’accès
Chaque source possède un responsable, une finalité, une date, une version et des règles d’accès. L’écriture dans les collections importantes est limitée et auditée. Les contenus externes restent séparés des connaissances approuvées et ne bénéficient pas automatiquement du même niveau de confiance.
Validation et surveillance
Les contrôles recherchent des valeurs inhabituelles, des changements soudains de distribution, des doublons et des contradictions avec une source fiable. Le système suit la qualité des réponses à l’aide d’un ensemble stable de tests. Un antivirus ne suffit pas : une information malveillante peut être un texte techniquement valide.
Réaction et restauration
En cas de suspicion, le traitement est arrêté, les versions concernées sont identifiées et les preuves conservées. L’équipe restaure le dernier état vérifié, ajuste les accès et teste de nouveau le comportement. L’incident est documenté avec son périmètre, sa cause et les mesures préventives.
L’approche de PAR HOUSE Agency
Nous concevons les flux avec des droits minimaux et une provenance traçable. Nous séparons les entrées utilisateur des instructions fiables, versionnons les connaissances et testons régulièrement les scénarios critiques. Chaque automatisation prévoit un arrêt sûr et un retour à un état antérieur.
