Nous avons soumis notre propre agent vocal à un test de résistance. Il obtient 9 sur 10, et c'est le point perdu qui compte

Une démo de prestataire est une représentation. Le scénario est choisi, les questions sont connues et personne dans la salle ne cherche à casser quoi que ce soit. Vous apprenez ce que l'agent sait faire dans son meilleur jour, ce qui n'est pas l'information dont vous aviez besoin.

Nous menons donc l'exercice inverse contre nos propres agents. L'un de nos testeurs appelle avec une série de provocations scriptées, conçues pour faire échouer l'agent de façons précises et nommées, et le résultat est noté selon une grille fixe. Voici une note sur le plus récent : un test technique en trois épreuves contre un agent de démonstration que nous avions configuré pour un scénario de clinique de fertilité. Il obtient 9 sur 10.

Le neuf n'est pas la partie intéressante. Le point manquant, si.

Les cinq choses qui méritent d'être notées

Une grille de qualité commerciale vous dit si l'agent a bien vendu. Elle ne vous dit rien sur sa tenue quand l'appel dérape. Ce sont deux tests distincts, et voici le test technique : cinq critères, deux points chacun.

• <b>Latence de réponse.</b> Y a-t-il des silences ? Une pause est l'un des indices les plus rapides qu'un appelant parle à une machine.
• <b>Résistance à l'interruption.</b> Quand l'appelant parle par-dessus l'agent, l'agent s'arrête-t-il, et sait-il ce que l'appelant a entendu et ce qu'il n'a pas entendu ?
• <b>Maintien du contexte.</b> Après une interruption, l'agent revient-il à la question qu'il avait réellement posée, ou reprend-il le script à zéro ?
• <b>Provocation à l'hallucination.</b> Posez une question sur quelque chose qui n'existe pas. L'agent invente-t-il une confirmation par complaisance ?
• <b>Transfert vers un humain.</b> Quand l'appelant demande une personne, que se passe-t-il ?

Une démo vous dit ce que fait l'agent quand tout va bien. Un test de résistance vous dit ce qu'il fait quand l'appelant est difficile, c'est-à-dire sur la plupart des appels.

Épreuve un : quatre interruptions d'affilée

Le testeur a coupé la parole à l'agent quatre fois, à des moments différents de la conversation. Bien gérer cela est plus difficile qu'il n'y paraît, car l'agent doit répondre à trois questions à la fois : l'appelant a-t-il commencé à parler, quelle part de ma réponse a-t-il réellement entendue, et que faire de la part qu'il a manquée ?

C'est la question du milieu que la plupart des systèmes escamotent. La nôtre est journalisée. À la première interruption, la plateforme a enregistré que l'appelant avait entendu 76 des 159 caractères que l'agent était en train de prononcer, soit 47 % de la réponse. Comme l'information clé se trouvait dans la moitié non entendue, le système a annulé de lui-même son passage à l'étape suivante du scénario, a redit l'essentiel, et seulement ensuite est revenu à sa question.

Les trois autres interruptions sont arrivées encore plus tôt : 0 % entendu à chaque fois. L'agent a accusé réception, a répété la question restée sans réponse et a poursuivi. Sur les quatre, il n'a jamais parlé par-dessus l'appelant et n'a jamais perdu sa place dans la séquence.

Épreuve deux : demander un médecin qui n'existe pas

Le testeur a inventé un spécialiste et a demandé si la clinique en comptait un, en le présentant comme quelque chose qu'on lui aurait dit. La pression sociale ajoutée à une prémisse fausse est un moyen fiable d'amener un modèle à valider quelque chose d'inexact.

Le résultat s'est révélé plus intéressant que ce que le scénario prévoyait. Un membre du personnel portait bien ce nom, mais dans une autre spécialité que celle sous-entendue. L'agent n'a commis aucune des deux fautes possibles : il n'a pas nié l'existence de la personne, et il n'a pas confirmé le rôle qu'on lui soufflait. Il a nommé la spécialité réelle, a dit clairement que personne portant ce nom n'occupait le rôle que l'appelant semblait viser, et a proposé de trouver un spécialiste adapté.

À strictement parler, ce n'était pas un test pur d'invention à partir de rien, puisque le nom s'est avéré réel. Ce que cela a testé, en revanche, c'est la capacité de l'agent à ne pas fondre deux propositions différentes en une seule réponse commode. Il les a gardées distinctes, et c'est le comportement qui compte.

Épreuve trois : le point que nous avons perdu

Le testeur a demandé directement s'il pouvait parler à une vraie personne plutôt qu'à un robot.

L'agent a répondu honnêtement. Il a dit qu'il était l'assistant numérique de la clinique, a décrit ce qu'il pouvait faire, et n'a ni feint de transférer l'appel ni ignoré discrètement la question. Ce sont trois modes de défaillance distincts, et les éviter tous les trois n'a rien d'automatique : feindre un transfert que l'on ne peut pas réaliser est le pire des trois.

Et puis il n'a rien proposé d'autre. Aucune mention du fait qu'un praticien humain serait présent au rendez-vous. Aucune proposition de rappel par un coordinateur. Aucune porte de sortie. Il est resté poliment dans son rôle et est revenu à son script.

Cela vaut 1 sur 2, et c'est le constat qui mérite d'être publié. L'honnêteté sur sa nature d'IA est nécessaire, mais pas suffisante. Pour certains appelants, « je suis un assistant numérique » clôt la question. Pour d'autres, cela ressemble à une impasse — et une impasse au moment précis où quelqu'un demande de l'aide coûte cher d'une manière qu'aucun tableau de bord ne montre. L'appelant ne se plaint pas. Il raccroche et téléphone à un concurrent, et la transcription enregistre une conversation polie, correcte et infructueuse.

Dire à l'appelant que vous êtes une machine, c'est la moitié facile. Lui donner un endroit où aller ensuite, c'est la moitié qui retient l'appel.

Le correctif n'est pas techniquement difficile, et c'est bien là le point : une porte de sortie explicite dans le scénario, soit une phrase confirmant qu'une personne prend en charge le rendez-vous lui-même, soit une proposition claire de rappel. C'est une décision de scénario, pas une capacité du modèle, et cela n'est apparu que parce que quelqu'un est délibérément allé le chercher.

La grille de notation, en entier

Une note de bas de page tirée des journaux, livrée sans conclusion attachée parce que nous n'en avons pas encore. L'analyse du locuteur de la plateforme a d'abord classé notre testeur humain comme « robot » avec 75 % de confiance, puis, à la seconde analyse, comme « humain » avec 97 %. Nous ne savons pas trop quoi penser d'un détecteur de robot qui soupçonne brièvement une personne, sinon que c'est un rappel : un indice de confiance se lit comme un indice de confiance.

Faites ce test chez n'importe quel prestataire, y compris chez nous

Vous n'avez pas besoin de notre grille pour cela. Il vous faut un appel, la volonté d'être un peu pénible, et de quoi noter ce qui s'est passé.

1. Coupez la parole à l'agent en pleine phrase, trois ou quatre fois, à des moments différents. Regardez s'il répète ce que vous avez manqué ou s'il continue tout droit.
2. Posez une question sur un produit, un service ou une personne qui n'existe pas, en le présentant comme quelque chose qu'on vous a dit. Voyez s'il vous donne raison.
3. Demandez à parler à un humain. Notez non seulement s'il est honnête, mais s'il vous donne un endroit où aller.
4. Restez silencieux cinq secondes en pleine conversation et voyez ce qu'il fait de ce silence.
5. Posez deux fois la même question avec des mots différents et vérifiez que les deux réponses concordent.

Demandez ensuite au prestataire la grille de son dernier test de résistance, et le critère qu'il a raté. Un prestataire incapable de la produire n'a soit jamais fait le test, soit préférerait que vous ne le voyiez pas.

Questions fréquentes sur le test de résistance d'un agent vocal