Qué son los Evals
Son pruebas preparadas para comprobar si un modelo, un agente o una automatización cumple una tarea con el nivel esperado. Cada caso contiene una entrada, contexto relevante y una forma de valorar la respuesta o la acción.
Qué debe incluir un buen conjunto
Necesita ejemplos cotidianos, casos difíciles, información incompleta, entradas maliciosas y situaciones en las que el sistema debe detenerse. La proporción debe representar el uso real y no solo demostraciones sencillas.
Formas de evaluación
Algunos resultados pueden verificarse mediante reglas exactas, como formato, cálculo o presencia de una referencia. Otros requieren una escala y revisión humana. Un modelo también puede ayudar a calificar, pero su criterio debe compararse con decisiones de personas competentes.
Cómo se utilizan durante el desarrollo
Las mismas pruebas se ejecutan antes y después de cambiar instrucciones, modelo, herramientas o fuentes. Esto revela si una mejora visible en algunos ejemplos introdujo una regresión en otra parte del proceso.
Métricas y límites
Se pueden medir exactitud, completitud, procedencia, coste, tiempo, seguridad y necesidad de intervención. Una sola cifra suele ocultar diferencias importantes, por lo que conviene observar resultados por categoría y nivel de riesgo.
Enfoque de PAR HOUSE Agency
Definimos Evals antes de automatizar decisiones sensibles. Relacionamos cada criterio con una necesidad empresarial y conservamos ejemplos de fallos reales para que las siguientes versiones no repitan problemas ya conocidos.
