Precisión medida
Números que se pueden
volver a medir
No prometemos un porcentaje: lo medimos con tus propios evaluadores, sobre tus propias gestiones, antes de evaluar producción. Y después lo seguimos midiendo en vivo con cada revisión.
El método
Cinco pasos, siempre los mismos
- 01
Un lote con verdad de terreno
Gestiones reales que evaluadores humanos ya calificaron con el scorecard vigente. En la última calibración: 98 llamadas y 235 conversaciones de WhatsApp.
- 02
Auto QA evalúa a ciegas
Con las mismas transcripciones y el mismo scorecard, sin ver los ratings humanos.
- 03
Acuerdo criterio por criterio
Cada rating de la IA se compara uno a uno con el del evaluador: 1.800 comparaciones en llamadas y 5.426 en WhatsApp.
- 04
Los desacuerdos se leen
Uno por uno, con la justificación de la IA frente al comentario del evaluador. De ahí salen reglas generales (nunca parches para un caso).
- 05
Se ajustan las instrucciones y se vuelve a medir
Cada ajuste queda versionado. Se descartan los que se pasan de laxos aunque suban el número.
Resultados de la última calibración
Antes y después de ajustar las instrucciones
| Canal | Al empezar | Al terminar | Muestra | Nota |
|---|---|---|---|---|
| Llamadas | 91,6 % | 95,0 % | 1.800 ratings · 98 gestiones | Equilibrado: la IA es tan estricta como laxa frente al evaluador. |
| 86,6 % | 90,6 % | 5.426 ratings · 235 gestiones | Lo que queda mal depende de datos que la IA no ve (cierres del panel, información del sistema). |
Acuerdo = ratings de la IA iguales al del evaluador humano sobre el total de ratings comparados, criterio por criterio. Lote de calibración de gestiones de cobranza en castellano, octubre de 2026.
Lo que aprendimos
Las reglas que sirven son generales
Cada ajuste a una instrucción sale de un grupo de casos, nunca de uno. Los que mejoraban el número a costa de ser más laxos se revirtieron.
- Los evaluadores humanos casi nunca marcan «no aplica»: cuando un criterio no es exigible ponen cumple. Los scorecards se configuran igual y el puntaje deja de mostrar diferencias artificiales.
- Un solo criterio puede dar vuelta el veredicto con pass rates altos (90–95 %). Por eso se mide el acuerdo por criterio, no sólo PASS/FAIL.
- Dos evaluadores humanos tampoco coinciden al 100 % entre sí: el acuerdo con cada uno marca el techo realista de la IA.
- Entre dos corridas con la misma instrucción hay ruido de ±3 puntos por criterio: un cambio chico no es un cambio.
Y después, en vivo
Cada vez que un evaluador revisa una evaluación de Auto QA, cada criterio que deja como estaba cuenta a favor y cada rating que cambia cuenta en contra. Reportes › Auto QA › Precisión lo muestra por período, criterio y revisor, sobre los últimos 90 días.
Cómo se calculaCalibramos con tus evaluadores
En el onboarding corremos el mismo método con tus gestiones y tu scorecard. Los desacuerdos se leen con tu equipo de calidad y las instrucciones quedan ajustadas a tu operación antes de evaluar producción.
Pedir una demoMedilo con tus propias gestiones
Una calibración con tu scorecard y tus evaluadores, antes de decidir.