Mesurer l'efficacité d'un agent IA : conversations, questions sans réponse, améliorations
Quels indicateurs suivre pour savoir si un agent IA rend service, comment les lire sans se tromper, et une routine mensuelle simple pour l'améliorer.
Le produit5 min de lecture
L’agent est en ligne depuis un mois. Votre client vous pose la question attendue : « Alors, ça marche ? » Si vous n’avez rien préparé, la réponse risque d’être une impression. Or une impression ne suffit ni pour justifier le coût d’un assistant, ni pour savoir quoi améliorer.
Mesurer l’efficacité d’un agent IA ne demande pas un tableau de bord sophistiqué. Il faut surtout savoir ce que l’on cherche, quels chiffres regarder, et comment les lire sans en tirer de mauvaises conclusions. Cet article propose une méthode, en distinguant ce que blabla.bot affiche aujourd’hui et ce qui est prévu.
Commencer par l’objectif
Avant de choisir des indicateurs, fixez avec le client ce que l’agent doit lui apporter. Les objectifs les plus courants sont :
- réduire les sollicitations répétitives (appels, e-mails sur les horaires, les délais, les conditions) ;
- répondre en dehors des heures d’ouverture ;
- orienter les visiteurs vers la bonne page ou le bon interlocuteur ;
- recueillir des demandes de contact qualifiées.
Chaque objectif appelle des indicateurs différents. Un agent qui sert surtout à orienter n’a pas besoin de « résoudre » chaque conversation : il doit amener le visiteur au bon endroit.
Les indicateurs disponibles aujourd’hui
Dans la console blabla.bot, le portefeuille affiche pour chaque site :
| Indicateur | Où le trouver | Ce qu’il dit |
|---|---|---|
| Conversations sur 30 jours | Portefeuille | Le volume d’usage réel par les visiteurs |
| Coût facturé sur 30 jours | Portefeuille | Ce que l’agent a consommé en crédits |
| Budget du mois et consommation | Portefeuille, Crédits | Où en est le site par rapport à son plafond |
| État de l’agent | Portefeuille | En ligne, à installer, import en cours, crédits bas, en pause |
Les conversations de test lancées depuis le simulateur ne sont pas comptées dans le nombre de conversations : il reflète l’usage des visiteurs, pas vos propres essais. Leur coût, en revanche, reste une dépense : quand les tests consomment des crédits, il apparaît dans le coût facturé et dans la consommation du site.
Un calcul simple en découle : le coût moyen par conversation, en divisant le coût facturé sur 30 jours par le nombre de conversations. C’est l’indicateur à suivre pour vérifier que l’agent reste rentable pour vous et abordable pour le client. Gardez en tête qu’un mois chargé en tests le gonfle un peu.
Les indicateurs prévus
Plusieurs écrans sont prévus dans la rubrique « Conversations » de la console :
- l’historique des conversations, pour relire les échanges ;
- les questions sans réponse, c’est-à-dire celles où l’agent n’a trouvé aucun passage assez pertinent ;
- les escalades vers un humain, quand le visiteur a laissé une demande de contact.
Les questions sans réponse sont d’ores et déjà enregistrées par la plateforme, avec la raison et le score obtenu. Elles alimenteront cet écran dès sa mise en service.
Lire les chiffres sans se tromper
Quelques pièges reviennent souvent.
Un volume faible n’est pas un échec. Si le site reçoit peu de visites, l’agent aura peu de conversations. Comparez le volume à la fréquentation du site, pas à une attente abstraite.
Un volume élevé n’est pas une réussite. Beaucoup de conversations peuvent signifier que le site est mal organisé et que les visiteurs ne trouvent pas l’information seuls. C’est utile à savoir, mais ce n’est pas forcément le mérite de l’agent.
Une question sans réponse n’est pas une erreur. C’est souvent l’agent qui fait bien son travail en refusant d’inventer. Le vrai indicateur, c’est la répétition : une même question sans réponse posée chaque semaine révèle un contenu manquant.
Méfiez-vous des moyennes. Un coût moyen par conversation stable peut cacher quelques conversations très longues. Si le coût augmente brusquement, regardez la consommation par site dans l’écran « Crédits ».
Une routine mensuelle en cinq étapes
Ce qui fait progresser un agent, c’est une routine régulière plus qu’un grand audit annuel. Voici une méthode que vous pouvez appliquer dès maintenant.
- Relevez les chiffres du portefeuille : conversations et coût facturé sur 30 jours, consommation par rapport au budget.
- Rejouez votre jeu de questions de référence dans le simulateur. Gardez une liste fixe d’une vingtaine de vraies questions, y compris quelques-unes sans réponse sur le site. Notez celles dont la réponse s’est dégradée ou améliorée.
- Recueillez le retour du client : son équipe reçoit-elle moins de questions répétitives ? Quelles questions arrivent encore par téléphone ou par e-mail ?
- Corrigez les contenus : écrivez la page ou la réponse de FAQ qui manque, supprimez les contradictions, puis ré-indexez les sources concernées.
- Ajustez le comportement si besoin : précisez la mission, ajoutez ou retirez un sujet interdit, revoyez le message d’accueil.
La deuxième étape est la plus sous-estimée. Un jeu de questions de référence rejoué chaque mois vous donne une mesure stable de la qualité, indépendante du volume de visites. Il permet aussi de vérifier qu’une ré-indexation ou un changement d’option IA n’a rien cassé.
Le simulateur comme outil de mesure
Le simulateur n’est pas réservé à la phase de lancement. Pour chaque réponse, le panneau « Pourquoi cette réponse » indique les extraits retenus, le meilleur score de pertinence comparé au seuil, les tokens consommés en entrée et en sortie, et le coût de la réponse. C’est un outil précieux pour comprendre une réponse décevante ou estimer l’effet d’un changement d’option IA sur le coût.
Rendre compte au client
Un compte rendu mensuel court suffit souvent :
- le volume de conversations et son évolution ;
- le coût du mois, comparé au budget prévu ;
- les trois contenus ajoutés ou corrigés et pourquoi ;
- les questions qui restent à traiter, avec ce que le client doit fournir.
Ce format montre que l’agent est suivi, et il implique le client dans l’amélioration : c’est souvent lui qui détient l’information manquante.
En résumé
Mesurer l’efficacité d’un agent, c’est relier quelques chiffres simples à un objectif clair. Aujourd’hui, le volume de conversations, le coût facturé et le budget par site donnent une base solide, complétée par un jeu de questions de référence rejoué dans le simulateur. Les écrans d’historique et de questions sans réponse viendront enrichir cette lecture.
Pour estimer le coût d’un agent selon le volume de conversations attendu, utilisez le calculateur de la page tarifs.
Mots-clés
- indicateurs
- conversations
- amélioration continue
- agence
Sur le site
À lire aussi
Connaissance et RAG
Pourquoi un bon assistant sait dire « je ne sais pas »
Seuil de pertinence, relais humain, questions sans réponse : pourquoi un assistant IA fiable préfère avouer qu'il ne sait pas plutôt qu'inventer une réponse.
· 6 min de lecture
Le produit
Tester un agent IA avant sa mise en ligne : le simulateur et la méthode
Tester un agent IA avant de l'installer : un simulateur qui reproduit le widget, un panneau d'explication et un jeu de questions pour les cas difficiles.
· 6 min de lecture
Coûts et modèles IA
Budget mensuel par site et alertes : éviter les mauvaises surprises
Plafond mensuel par site, seuil d'alerte, alerte de solde : comment régler les garde-fous de blabla.bot pour qu'un pic de trafic ne mange pas votre marge.
· 5 min de lecture