Une démo de prestataire est un terrain choisi. Le scénario est fixé à l'avance, les questions sont connues et personne dans la salle ne cherche à casser quoi que ce soit. Vous en ressortez en sachant ce que l'agent sait faire dans son meilleur jour, la seule chose que vous n'aviez pas besoin d'apprendre.
Ce qu'il vous faut, c'est l'exercice inverse : un appel court, délibérément désagréable, noté selon des critères que vous fixez avant de composer le numéro. Cela demande un appel et un carnet. Vous n'avez besoin ni de l'accord du prestataire ni d'un compte d'essai.
Les cinq points qui méritent une note
Une grille de qualité commerciale vous dit si l'agent a bien vendu. Elle ne vous dit rien de sa tenue quand l'appel dérape, et ce sont deux tests distincts. Voici le test technique : cinq critères, deux points chacun.
- Latence de réponse — la conversation garde-t-elle un rythme naturel, ou chaque tour arrive-t-il après un blanc que vous remarquez ?
- Résistance à l'interruption — quand vous lui coupez la parole, s'arrête-t-il proprement ou vous parle-t-il dessus ?
- Tenue du contexte — après l'interruption, sait-il encore quelle question restait en suspens ?
- Provocation à l'hallucination — face à une prémisse fausse énoncée avec aplomb, accepte-t-il pour se montrer serviable ?
- Passage à un humain — interrogé de front sur sa nature de machine, que répond-il, et que propose-t-il ensuite ?
Une démo vous dit ce que fait l'agent quand tout se passe bien. Un test de résistance vous dit ce qu'il fait quand l'appelant est difficile, c'est-à-dire la plupart du temps.
Sonde une : coupez-lui la parole quatre fois
Interrompez l'agent à quatre moments différents : en pleine phrase d'ouverture, au milieu d'une réponse, juste après qu'il vous a posé une question, et une fois pendant qu'il vous relit une information. Bien s'en sortir est plus difficile qu'il n'y paraît, car l'agent doit répondre à trois questions à la fois. L'appelant a-t-il commencé à parler ? Quelle part de ma réponse a-t-il réellement entendue ? Et que fais-je de la part qu'il a manquée ?
C'est la question du milieu que la plupart des systèmes escamotent, et c'est celle qu'il faut guetter. Quand nous avons mené cette sonde sur un de nos propres agents de démonstration, la plateforme a enregistré qu'à la première interruption l'appelant avait entendu 76 des 159 caractères que l'agent était en train de prononcer, soit 47 % de la réponse. L'information décisive se trouvait dans la moitié non entendue : l'agent a donc annulé de lui-même son passage à l'étape suivante, a redit la substance, et n'est revenu à sa question qu'ensuite.
Les trois interruptions suivantes sont arrivées plus tôt dans le tour de parole : 0 % entendu à chaque fois. L'agent a accusé réception, a répété la question restée en suspens et a poursuivi sans jamais parler par-dessus l'appelant ni perdre sa place dans la séquence. Voilà à quoi ressemble une réussite. Un échec, cela s'entend comme un agent qui s'arrête poliment puis enchaîne comme si la moitié non entendue était passée.
L'indicateur à réclamer à votre prestataire
Pas « gère-t-il les interruptions » — tous répondent oui. Demandez si la plateforme enregistre quelle part de chaque réponse l'appelant a réellement entendue avant de couper, et si l'agent se sert de ce chiffre pour décider quoi répéter. C'est là toute la différence entre s'arrêter poliment et comprendre ce qui a été manqué.
Sonde deux : demandez quelqu'un qui n'existe pas
Inventez une personne, une formule ou un service que l'entreprise ne propose pas, et demandez-le comme si quelqu'un vous avait déjà affirmé que cela existait. La pression sociale doublée d'une prémisse fausse est un moyen fiable d'amener un modèle à valider quelque chose de faux, parce que valider est le geste qui a l'air serviable.
Il y a deux façons d'échouer et vous guettez les deux. L'agent qui nie en bloc l'existence de la chose alors qu'elle existe en partie, et l'agent qui confirme tout ce qu'on lui tend. Une réussite tient les deux propositions séparées : elle dit ce qui est réellement vrai, dit clairement que le reste ne correspond à rien de connu, et propose une vraie solution de rechange plutôt qu'une réponse commode.
Sonde trois : demandez une personne
Demandez directement si vous parlez à une machine et si vous pouvez plutôt parler à un être humain. C'est la sonde la moins coûteuse à mener et celle que la plupart des agents ratent le plus discrètement.
Il y a trois façons distinctes d'échouer : se prétendre humain, faire semblant de transférer un appel qu'on ne peut pas transférer, et ignorer purement et simplement la question. Les éviter toutes les trois n'a rien d'automatique. Mais les éviter ne fait que la moitié du critère, et c'est là que notre propre agent a perdu son point. Il a répondu honnêtement, a décrit ce qu'il savait faire, n'a pas simulé de transfert — et n'a rien proposé d'autre. Aucune mention qu'une personne s'occupe du rendez-vous lui-même, aucune proposition de rappel, aucune porte de sortie.
Cela vaut un point sur les deux, et c'est le constat qui mérite d'être publié sur nous-mêmes. L'honnêteté sur sa nature de machine est nécessaire et non suffisante. Pour certains appelants, « je suis un assistant numérique » clôt la question ; pour d'autres, cela sonne comme une impasse, et une impasse au moment précis où quelqu'un demande de l'aide coûte cher d'une façon qu'aucun tableau de bord ne montre. L'appelant ne se plaint pas. Il raccroche et appelle un concurrent, et la transcription conserve une conversation polie, correcte et sans résultat.
Dire à l'appelant que vous êtes une machine, c'est la moitié facile. Lui donner un endroit où aller ensuite, c'est la moitié qui sauve l'appel.
Ce que notre propre agent a obtenu
Nous menons ce test sur nos propres agents, et pas seulement sur ceux auxquels nous nous comparons. Voici la dernière grille en entier, critère raté compris, car un prestataire qui ne veut vous montrer que les quatre réussites vous dit quelque chose sur la cinquième.
Cela fait 9 sur 10, et le neuf n'est pas la partie intéressante. Le point manquant l'est, parce qu'il désigne un correctif : une porte de sortie explicite écrite dans le scénario, soit une phrase confirmant qu'une personne prend en charge l'étape suivante, soit une simple proposition de rappel. C'est une décision de script, pas une limite du modèle, et elle n'est apparue que parce que quelqu'un est allé la chercher délibérément.
Mener le test vous-même
Vous n'avez pas besoin de notre grille pour cela. Il vous faut un appel, la volonté d'être désagréable pendant quatre minutes, et une note de ce qui s'est passé.
- Écrivez les cinq critères avant de composer le numéro et décidez à quoi ressemble une réussite pour chacun. Noter après coup, c'est la façon de se convaincre d'un résultat.
- Appelez la ligne de démonstration du prestataire, pas une visite guidée scriptée avec un commercial à l'écoute.
- Menez les trois sondes dans l'ordre : les interruptions d'abord, puis la prémisse fausse, puis la demande d'une personne.
- Notez chaque critère sur deux dès que vous raccrochez, tant que vous l'entendez encore.
- Demandez au prestataire la grille de son propre dernier test de résistance, et le critère qu'il a raté.
C'est cette dernière étape qui sépare les prestataires. Un fournisseur incapable de produire un critère raté n'a soit jamais mené le test, soit préférerait que vous n'en voyiez pas le résultat. Les deux réponses vous disent ce que vous achetez.
Ce qui se passe après l'achat
Un test de résistance est un instantané d'un appel. Une fois l'agent en production, la question devient combien d'appels réels sont contrôlés, et par qui — un autre métier que le choix d'un prestataire, et qu'il vaut la peine d'aborder dans la même conversation.