Préparer sa base de connaissances : pages web, PDF, FAQ
Un assistant IA ne vaut que par les contenus qu'il lit. Comment choisir, nettoyer et organiser pages web, sitemaps, PDF et FAQ avant de lancer l'indexation.
Connaissance et RAG6 min de lecture
Quand un assistant IA répond mal, le premier réflexe est souvent d’accuser le modèle. Dans la plupart des cas, le problème vient d’ailleurs : l’information n’est pas dans les contenus, elle y est en double avec deux versions différentes, ou elle est enfermée dans un format illisible. Un assistant fondé sur le RAG répète ce qu’il lit. Le travail le plus rentable se fait donc avant l’indexation.
Cet article propose une méthode pour préparer la base de connaissances d’un client, à partir des trois types de sources que blabla.bot accepte aujourd’hui : les pages web, les sitemaps et les fichiers PDF.
Commencer par les questions, pas par les documents
Avant de rassembler des fichiers, listez les questions que les visiteurs posent réellement. Demandez à votre client ce que son équipe entend au téléphone, ce qui revient dans les e-mails et dans les avis. Vingt à trente questions suffisent pour commencer.
Pour chaque question, cherchez où se trouve la réponse aujourd’hui :
- sur une page du site ;
- dans un document (notice, conditions générales, plaquette) ;
- nulle part, sinon dans la tête de quelqu’un.
La troisième colonne est la plus instructive. Une question sans réponse écrite restera sans réponse de l’assistant. C’est le moment de proposer à votre client d’écrire la page qui manque.
Les pages web : la source la plus simple
Dans blabla.bot, vous ajoutez l’adresse d’une page ou celle d’un sitemap.
Une adresse de page. L’outil lit cette page puis explore les liens qui restent dans le même site, jusqu’à un nombre maximal de pages par source. C’est pratique pour un petit site bien maillé.
Un sitemap. Le fichier sitemap liste les pages que le site souhaite voir lues. C’est la méthode la plus prévisible pour un site plus gros : vous savez exactement quelles pages seront prises en compte.
Quelques règles de bon sens :
- Respectez ce que le site exclut. Les pages interdites par le fichier robots.txt ou marquées « noindex » sont ignorées. Si une page utile est exclue par erreur, corrigez le site plutôt que de chercher à contourner la règle.
- Évitez les pages sous connexion. Une page qui demande un identifiant renvoie une erreur et n’est pas indexée.
- Écartez le bruit. Mentions légales, archives d’actualités anciennes, pages de tags : elles diluent les résultats. Un sitemap dédié, limité aux pages utiles, donne souvent de meilleures réponses.
Après chaque lecture, la console indique les pages trouvées, indexées et ignorées, avec la raison de chaque exclusion : exclue par robots.txt, hors du site, page en erreur, page presque vide, contenu identique à une autre page, ou nombre maximal de pages atteint.
Les PDF : utiles, à condition d’avoir du texte
Beaucoup d’informations vivent dans des PDF : catalogues, notices, règlements, grilles tarifaires. blabla.bot les lit page par page, et les réponses citent le nom du fichier et le numéro de page.
Avant l’envoi, vérifiez trois points :
- Le PDF contient du texte. Essayez de sélectionner une phrase dans le document. Si c’est impossible, c’est une image scannée : elle ne sera pas lue, car la reconnaissance de caractères n’est pas prise en charge.
- Le PDF n’est pas protégé par un mot de passe. Un fichier protégé est refusé avec un message clair.
- Le PDF est à jour. Un vieux tarif dans un PDF oublié fera dire n’importe quoi à l’assistant.
Un point pratique à connaître : par défaut, le fichier est supprimé une fois indexé. Les passages restent disponibles pour l’agent, mais pour ré-indexer le document il faudra l’envoyer de nouveau. Gardez donc vos sources PDF dans un dossier partagé avec votre client.
Les documents Word et les fichiers Excel ne sont pas encore pris en charge. En attendant, exportez-les en PDF ou publiez leur contenu sur une page du site.
La FAQ : écrire pour être retrouvé
blabla.bot n’a pas de saisie manuelle de questions et réponses : une FAQ entre dans la base comme le reste, sous forme de page web ou de PDF. C’est souvent la source la plus efficace, à condition de l’écrire correctement.
| À faire | À éviter |
|---|---|
| Une question par intertitre, formulée comme un visiteur la poserait | Des intertitres vagues comme « Divers » ou « Infos pratiques » |
| Une réponse complète sous chaque question, qui se comprend seule | « Voir ci-dessus » ou « comme indiqué plus haut » |
| Les chiffres et conditions écrits en toutes lettres | Des réponses qui renvoient à une image ou à un tableau scanné |
| Une seule version de chaque information | La même question avec deux réponses différentes selon la page |
La règle « une réponse qui se comprend seule » est essentielle. L’assistant travaille sur des passages découpés : si la réponse dépend d’une phrase située trois paragraphes plus haut, il risque de ne pas l’avoir sous les yeux.
Repérer les contradictions
C’est le piège le plus fréquent. Le site annonce une livraison en 48 heures, les conditions générales parlent de trois à cinq jours, et la plaquette PDF de l’an dernier dit autre chose encore. L’assistant ne sait pas quelle version est la bonne.
Avant l’indexation, faites une passe rapide sur les sujets sensibles : prix, délais, horaires, garanties, conditions de retour. Pour chacun, gardez une seule source de vérité et retirez ou corrigez les autres.
Lancer l’indexation sans mauvaise surprise
L’indexation a un coût, puisque chaque passage est transformé en vecteur par un modèle d’embeddings. Dans blabla.bot, ce coût s’affiche avant de confirmer l’ajout, sous la forme d’une estimation (« environ X, au plus Y »). Pour un sitemap, l’estimation se base sur le nombre de pages listées et une taille de page moyenne ; pour un PDF, sur le texte du fichier.
Ensuite, suivez l’état de chaque source dans l’écran « Connaissances » : en attente, indexation en cours, à jour, ou en erreur. Si une nouvelle indexation échoue, la source passe en « Obsolète » et l’index précédent reste utilisé : l’assistant continue de répondre avec l’ancienne version.
Une liste de contrôle pour démarrer
- Listez vingt à trente vraies questions de visiteurs.
- Repérez où se trouve chaque réponse, et faites écrire celles qui manquent.
- Préparez un sitemap limité aux pages utiles, ou choisissez la bonne page de départ.
- Vérifiez que chaque PDF contient du texte sélectionnable et n’est pas protégé.
- Éliminez les contradictions sur les sujets sensibles.
- Lancez l’indexation après avoir lu l’estimation de coût.
- Consultez les pages ignorées et corrigez ce qui doit l’être.
- Testez l’agent avec votre liste de questions.
En résumé
Une bonne base de connaissances n’est pas la plus volumineuse, c’est la plus claire. Partez des questions des visiteurs, gardez une seule version de chaque information, et vérifiez que vos documents contiennent bien du texte. L’assistant fera le reste avec ce que vous lui donnez.
Pour estimer ce que coûtera l’agent une fois en ligne, le calculateur de la page tarifs vous donne un ordre de grandeur selon le volume de conversations.
Source
- RFC 9309, « Robots Exclusion Protocol », IETF, septembre 2022 : https://www.rfc-editor.org/rfc/rfc9309
Mots-clés
- base de connaissances
- sitemap
- FAQ
Sur le site
À lire aussi
Connaissance et RAG
Le RAG expliqué simplement : un assistant qui répond à partir de vos contenus
Le RAG permet à un assistant IA de répondre à partir des contenus d'une entreprise plutôt que de sa mémoire. Les étapes, les limites et les bons réflexes.
· 6 min de lecture
Connaissance et RAG
Garder la base de connaissances à jour : ré-indexation manuelle et automatique
Un site change, l'assistant doit suivre. Quand ré-indexer, combien cela coûte, ce qui n'est pas refacturé, et comment fonctionne la ré-indexation automatique.
· 5 min de lecture
Connaissance et RAG
Pourquoi un bon assistant sait dire « je ne sais pas »
Seuil de pertinence, relais humain, questions sans réponse : pourquoi un assistant IA fiable préfère avouer qu'il ne sait pas plutôt qu'inventer une réponse.
· 6 min de lecture