Aller au contenu

Mesurer l'efficacité d'un agent IA : conversations, questions sans réponse, améliorations

Quels indicateurs suivre pour savoir si un agent IA rend service, comment les lire sans se tromper, et une routine mensuelle simple pour l'améliorer.

Le produit5 min de lecture

L’agent est en ligne depuis un mois. Votre client vous pose la question attendue : « Alors, ça marche ? » Si vous n’avez rien préparé, la réponse risque d’être une impression. Or une impression ne suffit ni pour justifier le coût d’un assistant, ni pour savoir quoi améliorer.

Mesurer l’efficacité d’un agent IA ne demande pas un tableau de bord sophistiqué. Il faut surtout savoir ce que l’on cherche, quels chiffres regarder, et comment les lire sans en tirer de mauvaises conclusions. Cet article propose une méthode, en distinguant ce que blabla.bot affiche aujourd’hui et ce qui est prévu.

Commencer par l’objectif

Avant de choisir des indicateurs, fixez avec le client ce que l’agent doit lui apporter. Les objectifs les plus courants sont :

  • réduire les sollicitations répétitives (appels, e-mails sur les horaires, les délais, les conditions) ;
  • répondre en dehors des heures d’ouverture ;
  • orienter les visiteurs vers la bonne page ou le bon interlocuteur ;
  • recueillir des demandes de contact qualifiées.

Chaque objectif appelle des indicateurs différents. Un agent qui sert surtout à orienter n’a pas besoin de « résoudre » chaque conversation : il doit amener le visiteur au bon endroit.

Les indicateurs disponibles aujourd’hui

Dans la console blabla.bot, le portefeuille affiche pour chaque site :

IndicateurOù le trouverCe qu’il dit
Conversations sur 30 joursPortefeuilleLe volume d’usage réel par les visiteurs
Coût facturé sur 30 joursPortefeuilleCe que l’agent a consommé en crédits
Budget du mois et consommationPortefeuille, CréditsOù en est le site par rapport à son plafond
État de l’agentPortefeuilleEn ligne, à installer, import en cours, crédits bas, en pause

Les conversations de test lancées depuis le simulateur ne sont pas comptées dans le nombre de conversations : il reflète l’usage des visiteurs, pas vos propres essais. Leur coût, en revanche, reste une dépense : quand les tests consomment des crédits, il apparaît dans le coût facturé et dans la consommation du site.

Un calcul simple en découle : le coût moyen par conversation, en divisant le coût facturé sur 30 jours par le nombre de conversations. C’est l’indicateur à suivre pour vérifier que l’agent reste rentable pour vous et abordable pour le client. Gardez en tête qu’un mois chargé en tests le gonfle un peu.

Les indicateurs prévus

Plusieurs écrans sont prévus dans la rubrique « Conversations » de la console :

  • l’historique des conversations, pour relire les échanges ;
  • les questions sans réponse, c’est-à-dire celles où l’agent n’a trouvé aucun passage assez pertinent ;
  • les escalades vers un humain, quand le visiteur a laissé une demande de contact.

Les questions sans réponse sont d’ores et déjà enregistrées par la plateforme, avec la raison et le score obtenu. Elles alimenteront cet écran dès sa mise en service.

Lire les chiffres sans se tromper

Quelques pièges reviennent souvent.

Un volume faible n’est pas un échec. Si le site reçoit peu de visites, l’agent aura peu de conversations. Comparez le volume à la fréquentation du site, pas à une attente abstraite.

Un volume élevé n’est pas une réussite. Beaucoup de conversations peuvent signifier que le site est mal organisé et que les visiteurs ne trouvent pas l’information seuls. C’est utile à savoir, mais ce n’est pas forcément le mérite de l’agent.

Une question sans réponse n’est pas une erreur. C’est souvent l’agent qui fait bien son travail en refusant d’inventer. Le vrai indicateur, c’est la répétition : une même question sans réponse posée chaque semaine révèle un contenu manquant.

Méfiez-vous des moyennes. Un coût moyen par conversation stable peut cacher quelques conversations très longues. Si le coût augmente brusquement, regardez la consommation par site dans l’écran « Crédits ».

Une routine mensuelle en cinq étapes

Ce qui fait progresser un agent, c’est une routine régulière plus qu’un grand audit annuel. Voici une méthode que vous pouvez appliquer dès maintenant.

  1. Relevez les chiffres du portefeuille : conversations et coût facturé sur 30 jours, consommation par rapport au budget.
  2. Rejouez votre jeu de questions de référence dans le simulateur. Gardez une liste fixe d’une vingtaine de vraies questions, y compris quelques-unes sans réponse sur le site. Notez celles dont la réponse s’est dégradée ou améliorée.
  3. Recueillez le retour du client : son équipe reçoit-elle moins de questions répétitives ? Quelles questions arrivent encore par téléphone ou par e-mail ?
  4. Corrigez les contenus : écrivez la page ou la réponse de FAQ qui manque, supprimez les contradictions, puis ré-indexez les sources concernées.
  5. Ajustez le comportement si besoin : précisez la mission, ajoutez ou retirez un sujet interdit, revoyez le message d’accueil.

La deuxième étape est la plus sous-estimée. Un jeu de questions de référence rejoué chaque mois vous donne une mesure stable de la qualité, indépendante du volume de visites. Il permet aussi de vérifier qu’une ré-indexation ou un changement d’option IA n’a rien cassé.

Le simulateur comme outil de mesure

Le simulateur n’est pas réservé à la phase de lancement. Pour chaque réponse, le panneau « Pourquoi cette réponse » indique les extraits retenus, le meilleur score de pertinence comparé au seuil, les tokens consommés en entrée et en sortie, et le coût de la réponse. C’est un outil précieux pour comprendre une réponse décevante ou estimer l’effet d’un changement d’option IA sur le coût.

Rendre compte au client

Un compte rendu mensuel court suffit souvent :

  • le volume de conversations et son évolution ;
  • le coût du mois, comparé au budget prévu ;
  • les trois contenus ajoutés ou corrigés et pourquoi ;
  • les questions qui restent à traiter, avec ce que le client doit fournir.

Ce format montre que l’agent est suivi, et il implique le client dans l’amélioration : c’est souvent lui qui détient l’information manquante.

En résumé

Mesurer l’efficacité d’un agent, c’est relier quelques chiffres simples à un objectif clair. Aujourd’hui, le volume de conversations, le coût facturé et le budget par site donnent une base solide, complétée par un jeu de questions de référence rejoué dans le simulateur. Les écrans d’historique et de questions sans réponse viendront enrichir cette lecture.

Pour estimer le coût d’un agent selon le volume de conversations attendu, utilisez le calculateur de la page tarifs.

Mots-clés

  • indicateurs
  • conversations
  • amélioration continue
  • agence