Instrucciones para Auto QA

Un evaluador humano lee la gestión, se forma una impresión y aplica criterio. Auto QA no: sigue las instrucciones del criterio tal como están escritas, en cada gestión por igual. Esta página explica cómo traducir tu forma de evaluar a instrucciones que la IA pueda aplicar, y muestra tres criterios de cobranza completos en el formato que usa la app.

Qué lee Auto QA

Para cada criterio del scorecard, la IA recibe el nombre, el grupo, el modo (Estándar / Crítico / Soft), el puntaje, las Instrucciones para evaluadores como definición, las Instrucciones para Auto QA, si admite o no no aplica, y la lista de root causes si la tiene. Junto con eso recibe la conversación (transcripción o chat), los metadatos de la gestión y la descripción de la empresa que se carga en Flujos › Auto QA. Detalle en Información que usa Auto QA.

Reglas fijas que aplica siempre: califica cumple con evidencia de cumplimiento y no cumple con evidencia de incumplimiento o cuando el criterio era exigible y no ocurrió; en un Crítico marca no cumple sólo con evidencia explícita (ante la duda, cumple); cita un fragmento textual como evidencia; justifica en una a tres oraciones; y, si el criterio no admite no aplica, califica cumple cuando la situación no lo exige.

La estructura

El botón Plantilla del formulario inserta estas secciones:

Cuándo no aplica:
- (opcional) situaciones en las que el criterio no se evalúa.

Checks:
- Check 1: condición observable que Auto QA tiene que verificar.
- Check 2: …

Metodología de puntaje:
- Cumple: todos los checks se verifican.
- No cumple: falla al menos un check.

Guía de comentario:
- (opcional) qué tiene que decir el comentario al reviewee.

Ejemplos:
- (opcional) fragmentos de gestión con la calificación esperada.

• Checks: lo que la IA tiene que verificar. Cada check es una condición que se puede señalar en la conversación (una frase, una pregunta, una acción). Las excepciones y definiciones van como sub-viñetas del check.
• Cuándo no aplica: las situaciones en las que el criterio no es exigible (el cliente ya pagó, atendió un tercero, la llamada se cortó antes). Si el criterio no admite no aplica, en esas situaciones la IA califica cumple, que es lo que hace un evaluador humano.
• Metodología de puntaje: cómo se traducen los checks a Cumple / No cumple. Decilo explícito: «cumple si se verifica al menos uno», «no cumple si falla el check 1».
• Guía de comentario y Ejemplos: opcionales. Los ejemplos con la calificación esperada ayudan en los casos límite.

Cinco reglas para que funcione

1. Cada check tiene que ser rastreable. Si la IA no puede señalar un mensaje o una frase que lo pruebe, el check es demasiado abstracto. «El reviewee demostró escucha activa» no se puede verificar; «el reviewee no ignora una pregunta o un dato que el cliente planteó» sí.
2. Sacá las palabras de juicio. «Apropiado», «adecuado», «suficiente», «claro» se interpretan distinto cada vez. Reemplazalas por la condición concreta: en vez de «explica bien la deuda», «menciona el monto y la cantidad de cuotas vencidas».
3. Elegí entre buscar lo bueno o descartar lo malo. Los checks positivos («usa el nombre del cliente») funcionan cuando la conducta es concreta. Para tono y trato funcionan mejor los negativos («no interrumpe, no eleva la voz, no usa ironía»), porque lo inaceptable es más fácil de definir que todas las formas aceptables.
4. Hablá de reviewee y cliente. Así la IA sabe a quién evalúa aunque haya más participantes. Evaluá la gestión entera: el saludo se busca en el primer turno del reviewee, el cierre en el último, el trato a lo largo de toda la conversación.
5. Decí qué hacer con lo que no se ve. La IA no ve el sistema de gestión ni lo que pasó después de la llamada. Para criterios que dependen de eso, instruila: «se califica cumple salvo evidencia en contra en la conversación o en los metadatos». Más en Criterios para llamadas.

Ejemplo 1: Saludo e identificación

Criterio Estándar, 2 puntos, sin no aplica.

Checks:
- El reviewee se presenta con su nombre («mi nombre es Ana», «le habla Ana», «le saluda Ana»).
  - La transcripción automática a veces pierde el nombre y deja «mi nombre es, de la agencia»: si aparece la fórmula de presentación, aunque falte el nombre, el check se da por cumplido.
  - Presentarse sólo con el nombre de pila cumple.
- El reviewee nombra a la empresa acreedora por la que gestiona o a la agencia.
- El reviewee usa al menos una vez el nombre del cliente o del titular («señora Gómez», «Carlos»).
  - Preguntar «¿hablo con el señor López?» cuenta como uso del nombre del titular.

Cuándo no aplica:
- Buzón de voz o llamada en la que nadie contesta.

Metodología de puntaje:
- Cumple: se verifican los tres checks.
- No cumple: el reviewee no se presenta, o no nombra a la empresa ni a la agencia, o no usa ningún nombre en toda la llamada.

Ejemplo 2: Sondeo

Criterio Estándar, 8 puntos, sin no aplica.

Checks:
- El reviewee hace al menos una pregunta al cliente, en cualquier momento de la gestión, de alguno de estos tipos:
  (a) causa o contexto del atraso («¿qué pasó?», «¿desde cuándo?»);
  (b) posibilidad, intención o fecha de pago («¿podría abonar hoy o mañana?», «¿qué monto podría pagar?»);
  (c) confirmación de viabilidad («¿a qué hora?», «¿cuenta con el dinero?»);
  (d) medio de pago.
  - Cualquiera de las cuatro alcanza: toda pregunta que indague cómo y cuándo va a pagar el cliente es sondeo.
  - Si el cliente ya explicó el motivo del atraso por su cuenta, alcanza con una pregunta de los tipos (b), (c) o (d).

Cuándo no aplica:
- El cliente informa que ya pagó.
- Sólo se habló con un tercero sin responsabilidad sobre la deuda.
- La llamada se corta antes de llegar a la negociación.

Metodología de puntaje:
- Cumple: se verifica el check (cualquier pregunta de los tipos a-d), o se da una situación de «Cuándo no aplica».
- No cumple: el reviewee no hace ninguna pregunta al cliente sobre su situación ni sobre el pago en toda la gestión: sólo informa la deuda, propone o cierra.

Ejemplo 3: Cierre con promesa de pago

Criterio Estándar, 12 puntos, sin no aplica.

Checks:
- Antes de despedirse, el reviewee recapitula el acuerdo con fecha y monto («entonces el viernes 18 abona 25.000»).
- El reviewee indica el medio o el lugar de pago, o confirma que el cliente ya lo conoce.
- El reviewee menciona qué pasa después (le llega el comprobante, lo vuelven a llamar si no se registra el pago).

Cuándo no aplica:
- No hubo compromiso de pago: el cliente se negó, cuestionó la deuda o la gestión terminó en reclamo o derivación.
- Sólo se habló con un tercero sin responsabilidad sobre la deuda.

Metodología de puntaje:
- Cumple: hubo compromiso y se verifican los checks 1 y 2 (el 3 es deseable, no obligatorio), o se da una situación de «Cuándo no aplica».
- No cumple: hubo compromiso y el reviewee se despide sin repetir fecha y monto, o sin indicar cómo pagar.

Guía de comentario:
- Si falta la fecha o el monto en la recapitulación, citá el turno de despedida.

Medí antes de dar por buena una instrucción

Después de cambiar instrucciones, revisá un lote de evaluaciones desde Revisar Auto QA y mirá la precisión por criterio en Reportes › Auto QA. Si un criterio baja, el problema casi siempre está en un check ambiguo o en una situación de «Cuándo no aplica» que faltaba. Ver Precisión.