Aller au contenu

Pourquoi un bon assistant sait dire « je ne sais pas »

Seuil de pertinence, relais humain, questions sans réponse : pourquoi un assistant IA fiable préfère avouer qu'il ne sait pas plutôt qu'inventer une réponse.

Connaissance et RAG6 min de lecture

Un visiteur demande à l’assistant d’un hôtel s’il accepte les chiens. Le site n’en dit rien. Deux réponses sont possibles. La première : « Oui, les animaux sont les bienvenus. » Elle est aimable, rassurante, et peut-être fausse. La seconde : « Je ne dispose pas de cette information. Vous pouvez contacter l’équipe pour vérifier. » Elle est moins séduisante, mais elle ne trompe personne.

Un modèle de langage, laissé à lui-même, a tendance à produire la première. Il est conçu pour générer un texte plausible, pas pour vérifier qu’il dispose de l’information. Pour une entreprise, cette réponse plausible mais inventée est le pire scénario : un client déçu à l’arrivée, une promesse que l’équipe n’a jamais faite, une confiance entamée.

Cet article explique comment un assistant fondé sur les contenus de l’entreprise peut reconnaître qu’il ne sait pas, et ce que blabla.bot met en place pour cela.

Le seuil de pertinence, cœur du dispositif

Rappel du fonctionnement : quand un visiteur pose une question, l’assistant cherche dans la base de connaissances les passages les plus proches. Chaque passage reçoit un score de pertinence, entre 0 et 1. Plus le score est élevé, plus le passage est proche de la question.

Le seuil de pertinence est la note minimale qu’un passage doit atteindre pour être utilisé. Dans blabla.bot :

  • au-dessus du seuil, les passages sont donnés au modèle, qui rédige sa réponse à partir d’eux et les cite ;
  • sous le seuil, aucun passage n’est donné au modèle. Il reçoit à la place une consigne explicite : dire qu’il ne dispose pas de l’information, proposer le contact avec l’équipe s’il existe, et ne rien inventer.

La consigne prévoit aussi les échanges de politesse : l’assistant répond quand même à un « Bonjour » ou à un « Merci », même si aucun passage ne correspond.

Un seuil propre à chaque modèle

Un score de pertinence n’a de sens que pour un modèle d’embeddings donné. Un score de 0,8 peut être excellent avec un modèle et médiocre avec un autre. C’est pourquoi blabla.bot calibre le seuil pour le modèle d’embeddings utilisé, sur un jeu de questions et de passages en français, plutôt que d’appliquer une valeur universelle.

Trois situations à distinguer

Toutes les absences de réponse ne se valent pas. blabla.bot en distingue plusieurs.

SituationCe que fait l’assistantRelais humain proposé
Des passages dépassent le seuilRépond et cite ses sourcesNon
L’agent a des connaissances, mais rien d’assez procheDit qu’il ne sait pasOui, si un contact est configuré
L’agent n’a encore aucune connaissance indexéeRépond avec ses seuls réglages, sans passageNon

La troisième ligne mérite une explication. Un agent qui n’a encore rien lu n’est pas en situation d’échec : il n’est simplement pas encore configuré. Lui faire proposer un contact humain à chaque message serait pénible pour le visiteur et n’aiderait personne. C’est à l’agence de lui donner des connaissances avant la mise en ligne.

Le relais humain : transformer un échec en contact

Quand l’assistant ne sait pas et qu’un e-mail de contact a été configuré, le widget propose au visiteur de laisser son adresse e-mail et un message. Le visiteur repart avec une solution, pas avec une impasse.

Quand un contact est configuré, le visiteur peut aussi demander lui-même à parler à un humain à partir d’un lien dans le widget, même quand l’assistant a répondu, s’il n’est pas sûr de la réponse.

Les questions sans réponse : une mine d’informations

Chaque question passée sous le seuil, ou posée à un agent sans connaissance, est enregistrée avec la raison, le meilleur score obtenu et le seuil en vigueur. Les conversations de test faites depuis la console sont exclues, pour ne pas fausser ces données.

Ces questions sont précieuses : elles montrent exactement ce que les visiteurs cherchent et que les contenus ne couvrent pas. Un écran dédié aux questions sans réponse est prévu dans la console, dans la rubrique « Conversations ». En attendant, le simulateur permet déjà de voir, question par question, pourquoi l’agent a répondu ou non.

Voir le seuil en action dans le simulateur

Dans l’écran « Tester », chaque réponse peut être expliquée. Le panneau « Pourquoi cette réponse » indique :

  • le statut de la recherche (extraits trouvés, sous le seuil, aucune connaissance) ;
  • le meilleur score de pertinence obtenu, comparé au seuil ;
  • les extraits retenus, numérotés, avec leur score et l’indication « cité » ou « non cité ».

Concrètement, si l’agent répond « je ne sais pas » à une question dont vous pensiez la réponse présente, regardez le meilleur score. S’il est proche du seuil, la page existe sans doute mais formule l’information autrement : reformulez-la, ou ajoutez une question explicite dans la FAQ du site. S’il est très bas, l’information n’est tout simplement pas dans la base.

Les limites, honnêtement

Ce dispositif réduit fortement le risque de réponse inventée. Il ne l’élimine pas complètement.

C’est une consigne, pas une garantie. Quand rien ne dépasse le seuil, le modèle reçoit l’instruction de dire qu’il ne sait pas. Aucun fournisseur de modèle ne garantit qu’une consigne sera suivie à chaque fois. C’est pour cela que le widget rappelle au visiteur que l’assistant peut se tromper.

Des passages pertinents mais incomplets. Un passage peut dépasser le seuil sans contenir toute la réponse. L’assistant dispose alors d’un contexte partiel. Les règles de la plateforme lui demandent de ne pas compléter de lui-même, mais c’est un cas que seul un test attentif permet de repérer.

Un peu de bruit. Un simple « Bonjour » peut passer sous le seuil sur un agent qui a des connaissances. L’assistant répond poliment, mais la question peut être enregistrée comme sans réponse. Gardez-le en tête quand vous lirez ces données.

Ce que vous pouvez faire

  1. Configurez un e-mail de contact suivi, pour que chaque « je ne sais pas » débouche sur une solution.
  2. Testez avec de vraies questions, y compris des questions dont la réponse n’est pas sur le site, pour vérifier que l’agent sait s’arrêter.
  3. Utilisez l’explication du simulateur pour comprendre les cas limites.
  4. Enrichissez les contenus à partir des questions qui restent sans réponse.

En résumé

Un assistant qui dit « je ne sais pas » au bon moment n’est pas un assistant défaillant. C’est un assistant fiable. Le seuil de pertinence, la consigne explicite et le relais humain transforment une réponse impossible en contact utile, et les questions sans réponse indiquent précisément quels contenus ajouter.

Les questions fréquentes sur la fiabilité des réponses sont regroupées dans la FAQ.

Mots-clés

  • RAG
  • seuil de pertinence
  • fiabilité
  • relais humain