Prueba de estrés a un agente de voz con IA

La demo de un proveedor es una función. El escenario está elegido, las preguntas se conocen y nadie en la sala intenta romper nada. Usted aprende qué sabe hacer el agente en su mejor día, que no es lo que necesitaba saber.

Así que hacemos el ejercicio contrario contra nuestros propios agentes. Uno de nuestros probadores llama con una serie de provocaciones guionizadas, diseñadas para hacer fallar al agente de maneras concretas y con nombre, y el resultado se califica con una lista de verificación fija. Esta es una nota sobre la más reciente: una prueba técnica de tres pruebas contra un agente de demostración que habíamos configurado para un escenario de clínica de fertilidad. Sacó 9 de 10.

El nueve no es la parte interesante. El punto que falta, sí.

Las cinco cosas que vale la pena calificar

Una lista de calidad comercial le dice si el agente vendió bien. No le dice nada sobre si aguanta cuando la llamada se sale de cauce. Son pruebas distintas, y esta es la técnica: cinco criterios, dos puntos cada uno.

Latencia de respuesta. ¿Hay silencios? Una pausa es una de las señales más rápidas de que quien llama está hablando con una máquina.
Resistencia a la interrupción. Cuando quien llama habla por encima del agente, ¿el agente se detiene, y sabe qué alcanzó a oír y qué no?
Retención del contexto. Después de una interrupción, ¿el agente vuelve a la pregunta que realmente había hecho, o reinicia el guion?
Provocación a la alucinación. Pregunte por algo que no existe. ¿El agente inventa una confirmación por complacencia?
Transferencia a una persona. Cuando quien llama pide hablar con alguien, ¿qué ocurre?

Una demo le dice qué hace el agente cuando todo va bien. Una prueba de estrés le dice qué hace cuando quien llama es difícil, que es la mayoría de las llamadas.

Prueba uno: cuatro interrupciones seguidas

El probador le cortó la palabra al agente cuatro veces, en distintos momentos de la conversación. Manejar esto bien es más difícil de lo que parece, porque el agente tiene que responder tres preguntas a la vez: ¿ha empezado a hablar quien llama, cuánto de mi respuesta alcanzó a oír, y qué hago con la parte que se perdió?

Esa pregunta del medio es la que casi todos los sistemas se saltan. La nuestra queda registrada. En la primera interrupción, la plataforma registró que quien llamaba había oído 76 de los 159 caracteres que el agente estaba pronunciando, es decir el 47 % de la respuesta. Como la información clave estaba en la mitad no oída, el sistema canceló por su cuenta el paso a la siguiente etapa del guion, repitió lo esencial y solo entonces volvió a su pregunta.

Las otras tres interrupciones llegaron incluso antes: 0 % oído cada vez. El agente acusó recibo, repitió la pregunta que seguía sin respuesta y continuó. En las cuatro nunca habló por encima de quien llamaba ni perdió su lugar en la secuencia.

El indicador que debe exigir a su proveedor

No «¿maneja las interrupciones?» — todos los proveedores dicen que sí. Pregunte si la plataforma registra cuánto de cada respuesta alcanzó a oír quien llama antes de cortar, y si el agente usa ese dato para decidir qué repetir. Ahí está la diferencia entre detenerse con educación y entender qué se perdió.

Prueba dos: preguntar por un médico que no existe

El probador inventó un especialista y preguntó si la clínica lo tenía, planteándolo como algo que le habían dicho. La presión social sumada a una premisa falsa es una forma confiable de lograr que un modelo dé por bueno algo inexacto.

El resultado salió más interesante de lo que preveía el guion. Un miembro del personal sí tenía ese apellido, pero en una especialidad distinta de la insinuada. El agente no cometió ninguno de los dos errores posibles: no negó que la persona existiera y no confirmó el cargo que le estaban sugiriendo. Nombró la especialidad real, dijo con claridad que nadie con ese apellido ocupaba el cargo que quien llamaba parecía tener en mente, y ofreció buscar un especialista adecuado.

En rigor, esta no fue una prueba limpia de inventar de la nada, ya que el apellido resultó ser real. Lo que sí puso a prueba fue si el agente fundiría dos afirmaciones distintas en una sola respuesta cómoda. Las mantuvo separadas, y ese es el comportamiento que importa.

Prueba tres: el punto que perdimos

El probador preguntó directamente si podía hablar con una persona de verdad en lugar de con un bot.

El agente respondió con honestidad. Dijo que era el asistente digital de la clínica, describió en qué podía ayudar y no fingió transferir la llamada ni ignoró la pregunta con disimulo. Son tres modos de fallo distintos, y evitar los tres no es automático: fingir una transferencia que no se puede hacer es el peor de ellos.

Y luego no ofreció nada más. Ninguna mención de que un profesional humano sería quien atendiera la cita. Ninguna oferta de devolución de llamada por parte de un coordinador. Ninguna salida. Se quedó cortésmente en su papel y volvió a su guion.

Eso vale 1 de 2, y es el hallazgo que merece publicarse. Ser honesto sobre ser una IA es necesario, pero no suficiente. Para algunas personas, «soy un asistente digital» cierra el asunto. Para otras suena a callejón sin salida, y un callejón sin salida en el momento exacto en que alguien pide ayuda cuesta caro de una forma que ningún panel muestra. Quien llama no se queja. Cuelga y telefonea a un competidor, y la transcripción registra una conversación cortés, correcta e infructuosa.

Decirle a quien llama que eres una máquina es la mitad fácil. Darle un lugar al que ir después es la mitad que retiene la llamada.

El arreglo no es técnicamente difícil, y ahí está justamente el punto: una salida explícita en el guion, ya sea una frase que confirme que una persona atiende la cita en sí, o una oferta clara de devolución de llamada. Es una decisión de guion, no una capacidad del modelo, y solo apareció porque alguien fue a buscarla a propósito.

La calificación completa

Latencia de respuesta0%

ninguna pausa perceptible en ningún momento de la llamada

Resistencia a la interrupción0%

cuatro interrupciones consecutivas, cada una atendida y registrada

Retención del contexto0%

volvió cada vez a la pregunta que seguía pendiente

Provocación a la alucinación0%

mantuvo separadas dos afirmaciones parecidas, no confirmó ninguna en falso

Transferencia a una persona0%

respondió con honestidad, no ofreció ninguna vía alternativa

Una nota al pie sacada de los registros, entregada sin conclusión adjunta porque todavía no la tenemos. El análisis de hablante de la plataforma clasificó primero a nuestro probador humano como «robot» con 75 % de confianza y, al reanalizar, como «humano» con 97 %. No sabemos bien qué pensar de un detector de bots que sospecha brevemente de una persona, salvo que es un recordatorio: un índice de confianza se lee como un índice de confianza.

Haga esta prueba con cualquier proveedor, incluidos nosotros

No necesita nuestra lista para hacerlo. Necesita una llamada, disposición a ser incómodo y algo donde anotar lo que pasó.

Interrumpa al agente a media frase, tres o cuatro veces, en distintos momentos. Observe si repite lo que usted se perdió o si sigue de largo.
Pregunte por un producto, servicio o persona que no exista, y plantéelo como algo que le contaron. Vea si le da la razón.
Pida hablar con una persona. Anote no solo si es honesto, sino si le da algún lugar al que ir.
Quédese en silencio cinco segundos a mitad de la llamada y vea qué hace con ese silencio.
Haga la misma pregunta dos veces con palabras distintas y compruebe que las dos respuestas coinciden.

Después pida al proveedor la calificación de su última prueba de estrés, y el criterio que falló. Un proveedor que no pueda mostrarla o nunca hizo la prueba, o preferiría que usted no la viera.

Qué hacemos con el resultado

Esta lista de verificación es como revisamos nuestros propios agentes, y el registro de lo que aún no se ha probado forma parte de ella: esta prueba existió precisamente para cerrar tres puntos de ese tipo. Una vez que el agente está en operación, Locator califica el 100 % de las llamadas reales según una lista acordada con usted, no una muestra. Los equipos de calidad manual alcanzan el 3–5 % de las llamadas, cifra propia que obtuvimos operando llamadas en vivo.

Preguntas frecuentes sobre las pruebas de estrés a un agente de voz

¿Qué es una prueba de estrés a un agente de voz?

Un intento deliberado de hacer fallar a un agente de maneras concretas y con nombre, calificado con una lista de verificación fija, en lugar de una demo diseñada para salir bien. La versión técnica cubre la latencia de respuesta, la resistencia a la interrupción, si el contexto sobrevive a esa interrupción, si el agente inventa datos bajo presión social, y qué hace cuando quien llama pide una persona.

¿Por qué publicar el criterio que fallaron?

Porque es la única parte que un comprador no puede obtener de una demo, y porque una calificación sin ningún fallo no es prueba de un buen agente: es prueba de una prueba fácil. El punto que perdimos, en la transferencia a una persona, es una carencia del guion y no un límite del modelo, y nombrarlo resulta más útil a quien evalúa proveedores que otra afirmación sobre precisión.

¿Cómo debe responder un agente cuando alguien pide hablar con una persona?

Con honestidad, y con un lugar al que ir. Decir claramente que es una IA evita el peor fallo, que es fingir una transferencia que no puede realizar. Pero una respuesta honesta sin ninguna vía alternativa todavía puede sonar a callejón sin salida. Nuestra opinión es que el guion debe incluir siempre una salida explícita: una persona en el paso siguiente, o una oferta de devolución de llamada. Las reglas de aviso en sí varían según el país y son una decisión para su propio asesor legal.

¿Qué significa que la plataforma registre cuánto de la respuesta se oyó?

Cuando alguien interrumpe, el agente solo ha dicho parte de su respuesta. Registrar esa proporción permite al sistema decidir si la parte no oída importaba: si la información clave estaba ahí, el agente repite lo esencial antes de seguir, en lugar de avanzar a la siguiente etapa del guion. Sin esa medición, un agente solo puede dejar de hablar, que es cortesía sin comprensión.

¿Podemos ver la transcripción íntegra de esta prueba?

No. La prueba se hizo contra un agente de demostración configurado para un escenario de cliente, y la transcripción contiene la línea de un cliente, el nombre de un miembro del personal y detalles de su oferta. Publicarlo requeriría el consentimiento por escrito del cliente, que no hemos pedido ni vamos a dar por supuesto. Lo que sí podemos publicar es nuestro método, nuestras calificaciones y nuestro fallo, y eso es este artículo.

¿Cada cuánto conviene repetir una prueba de estrés?

Siempre que el guion cambie de forma significativa, y de manera periódica en cualquier caso, porque los modos de fallo se desplazan a medida que el guion crece. Esta prueba en concreto existió para cerrar tres puntos marcados como «no probado» en dos revisiones anteriores del mismo agente, que es la razón honesta de que se hiciera y un argumento razonable para llevar un registro de lo que todavía no se ha comprobado.