Precisión

La precisión de Auto QA se mide con lo que los evaluadores corrigen. Está en Reportes › Auto QA › Precisión, sólo para admins, y cubre los últimos 90 días de evaluaciones completadas.

La fórmula

Precisión = (criterios revisados − criterios corregidos) / criterios revisados

• Un criterio cuenta como revisado cuando pertenece a una evaluación de Auto QA que un evaluador revisó con Revisar Auto QA (badge Revisada) o que recibió una corrección por una disputa aceptada. Se cuentan todos los criterios de esa evaluación, también los que quedaron como estaban.
• Un criterio cuenta como corregido sólo si cambió su calificación (de cumple a no cumple, de no cumple a no aplica, etc.). Cambiar la causa raíz o el comentario no cuenta.

Una evaluación que nadie revisó no suma ni resta: la precisión habla de lo que una persona miró.

Las tarjetas

• Criterios revisados, con cuántas evaluaciones revisadas hay sobre el total de evaluaciones de Auto QA del período.
• Criterios corregidos.
• Precisión de los criterios: la fórmula de arriba.
• Puntajes sin calibrar: la parte de las correcciones donde la instrucción del criterio no era el problema. Hoy se muestra en «—» porque requiere un análisis automático de las correcciones que todavía no está disponible.

El gráfico y las tablas

Precisión en el tiempo combina barras (criterios revisados y corregidos por período) con la línea de precisión. El período se elige con Mostrar por (Día, Semana, Mes o Trimestre).

Debajo:

• Precisión por criterio: una fila por criterio, con la marca crítico cuando corresponde, ordenada de menor a mayor precisión. Es la tabla que dice qué instrucciones conviene revisar primero.
• Precisión por revisor: lo mismo por persona. El revisor es quien guardó la revisión o, si la corrección vino por una disputa, quien la aceptó primero.

Los filtros Scorecards, Reviewees y Grupos aplican a toda la pestaña.

Ver las correcciones una por una

La pestaña Puntajes de evaluación del mismo reporte lista cada corrección: el ticket, el criterio, lo que puso Auto QA (rating, causas raíz y comentario), la corrección, el Feedback para Auto QA y quién corrigió. Es la forma más rápida de comprobar un patrón antes de cambiar una instrucción. Las filas marcadas sin cambio de rating son correcciones de causa raíz o comentario, que no afectan la precisión.

Cómo mejorarla

1. Buscá en Precisión por criterio los criterios con más correcciones.
2. Leé sus correcciones en Puntajes de evaluación y fijate si el feedback apunta a una regla que falta o a una situación que la IA no puede ver.
3. Ajustá las Instrucciones para Auto QA del criterio en Herramientas › Criterios (ver Instrucciones para Auto QA). El cambio aplica a las evaluaciones siguientes.
4. Si la corrección no tiene que ver con la instrucción (el evaluador contradijo el criterio, o faltaba información), conviene conversarlo con el equipo antes de tocar nada.

El resumen del reporte (volumen, puntaje original y corregido, error absoluto medio) está en Reportes › Auto QA.