Qué significa realmente este concepto
Data Poisoning describe un ataque o una manipulación en la que datos aparentemente válidos se introducen para cambiar resultados. Puede afectar al entrenamiento, a un índice de búsqueda, a documentos utilizados por RAG o al contexto proporcionado durante una tarea.
Cómo aparece en la práctica
El material alterado puede introducir un patrón oculto, favorecer una respuesta, degradar la calidad o actuar solo bajo determinadas condiciones. Esto dificulta detectar el problema mediante ejemplos cotidianos.
La decisión principal de protección
La organización necesita conocer el origen de los datos, controlar cambios, separar fuentes por nivel de confianza y conservar versiones que permitan retirar una partida defectuosa sin reconstruir todo el sistema.
Riesgos que deben considerarse
Un archivo nuevo, una integración comprometida o un documento externo pueden alterar respuestas. También existe contaminación accidental por datos antiguos, duplicados o incorrectos. El impacto debe evaluarse según permisos y decisiones que el sistema puede tomar.
Cómo detectar el problema
Se observan cambios repentinos, documentos atípicos, anomalías de calidad y diferencias frente a un conjunto de pruebas confiable. El registro debe permitir relacionar cada resultado con la fuente y la versión utilizada.
Enfoque de PAR HOUSE Agency
Diseñamos controles de procedencia, permisos, revisión y reversión antes de ampliar una automatización. Cada sistema tiene responsables, pruebas periódicas y ejemplos de resultados que obligan a detener o escalar el proceso.
