Aller au contenu

Garder la base de connaissances à jour : ré-indexation manuelle et automatique

Un site change, l'assistant doit suivre. Quand ré-indexer, combien cela coûte, ce qui n'est pas refacturé, et comment fonctionne la ré-indexation automatique.

Connaissance et RAG5 min de lecture

Un assistant IA répond à partir de la connaissance qu’on lui a donnée. Le jour de la mise en ligne, elle est à jour. Trois mois plus tard, le client a changé ses horaires, ajouté une prestation, retiré une offre et publié une nouvelle page de questions fréquentes. Si personne n’a mis à jour la connaissance, l’assistant donne des informations dépassées, avec la même assurance qu’au premier jour.

C’est l’un des risques les plus courants, et l’un des plus faciles à éviter. Cet article explique comment blabla.bot tient la connaissance à jour, ce que coûte une ré-indexation, et comment organiser ce travail pour vos clients.

Pourquoi la connaissance vieillit

Lors de l’indexation, blabla.bot lit les pages et les PDF du client, les découpe en passages et les transforme en vecteurs, une représentation qui permet de retrouver les passages proches d’une question. L’assistant cherche ensuite dans cette copie, pas dans le site en direct.

Cette copie ne bouge pas toute seule. Une page modifiée sur le site reste dans son ancienne version côté assistant, jusqu’à la prochaine indexation. D’où l’importance de ré-indexer au bon moment.

Les types de sources et leur mise à jour

SourceComment elle est lueComment la mettre à jour
Page webL’agent explore le site à partir de cette pageRé-indexer la source
Plan de site (sitemap)L’agent lit les pages listées dans le fichierRé-indexer la source
Fichier PDFLe texte est extrait page par pageEnvoyer à nouveau le fichier

Un plan de site est un fichier au format standard qui liste les adresses des pages d’un site. C’est souvent le moyen le plus simple de donner tout un site à l’agent.

Un point important pour les PDF : par défaut, le fichier est supprimé une fois indexé. Seul le texte extrait est conservé dans la connaissance. Pour mettre à jour un PDF, il faut donc envoyer sa nouvelle version.

La ré-indexation manuelle

Dans l’écran « Connaissances » d’un site, vous pouvez ré-indexer une source précise, ou toutes les sources de l’agent avec « Tout ré-indexer ».

Une estimation avant de lancer

Aucune indexation ne part sans votre confirmation. Avant de lancer, la console affiche une estimation du coût sous la forme « environ X, au plus Y ». Cette estimation est calculée par blabla.bot avec la même formule que la facture. Quand une estimation fiable est impossible, par exemple pour une adresse illisible, la console l’indique au lieu d’afficher un chiffre inventé.

L’estimation est comparée à votre solde disponible. Si le solde paraît juste ou insuffisant, un avertissement s’affiche avec un lien vers l’écran « Crédits ». Vous restez libre de lancer.

Le coût réel après

Une fois l’indexation terminée, la console affiche son coût réel à côté de l’estimation, avec sa date et le nombre de pages réutilisées.

Les pages inchangées ne sont pas refacturées

C’est le point qui rend la ré-indexation régulière abordable. Pour chaque page, blabla.bot garde une empreinte de son contenu. Lors d’une ré-indexation, une page dont l’empreinte n’a pas changé réutilise ses vecteurs existants, sans nouvel appel au fournisseur, donc sans nouveau coût. Seules les pages modifiées ou nouvelles sont facturées.

Il y a une exception : si le modèle d’embeddings ou la méthode de découpage change, toutes les pages sont traitées à nouveau.

Combien cela coûte

Dans la configuration actuelle, l’indexation est facturée 0,20 € par million de tokens (le prix du service d’embeddings, multiplié par deux). Un site de 50 pages d’environ 4 000 caractères représente de l’ordre de 50 000 tokens : sa première indexation coûte donc autour d’un centime. Une ré-indexation où seules quelques pages ont changé coûte encore moins.

Si l’indexation échoue

Si une ré-indexation n’aboutit pas, par exemple faute de crédits, la version précédente de la connaissance reste en service. L’assistant continue de répondre avec les informations qu’il avait. La console signale la source concernée.

La ré-indexation automatique

Pour les sources web, blabla.bot sait aussi ré-indexer automatiquement, selon une fréquence que vous choisissez source par source : chaque semaine ou chaque mois.

Elle fonctionne selon quelques règles prudentes :

  • Elle est désactivée par défaut sur chaque source. Une dépense récurrente ne doit commencer que par un choix explicite.
  • Vous voyez le coût avant de l’activer : une estimation par passage et par mois.
  • Le premier passage a lieu un intervalle après l’activation, jamais immédiatement.
  • Un passage est sauté si vos crédits sont insuffisants. La source reste servie dans sa version actuelle, et la console affiche que le passage a été sauté. Le visiteur ne voit rien.
  • Elle ne concerne pas les PDF, puisque le fichier n’est pas conservé.

À l’heure où nous écrivons, cette fonction est encore désactivée sur la plateforme de production : elle sera ouverte progressivement. En attendant, la ré-indexation manuelle reste la règle.

Organiser la mise à jour pour vos clients

La technique ne suffit pas : il faut savoir quand le contenu change. Voici une organisation simple.

  1. Demandez au client de vous prévenir à chaque changement important : tarifs, horaires, nouvelle offre, fermeture exceptionnelle. Ajoutez-le à votre contrat de maintenance.
  2. Ré-indexez juste après chaque mise à jour du site que vous faites vous-même. C’est le moment où vous savez exactement ce qui a changé.
  3. Planifiez une ré-indexation mensuelle des sites qui évoluent souvent, comme les boutiques ou les sites d’actualité. Les pages inchangées n’étant pas refacturées, le coût reste faible.
  4. Retirez les sources obsolètes : une ancienne brochure PDF peut contredire le site.
  5. Contrôlez dans le simulateur après une mise à jour importante : posez la question qui concerne le changement et vérifiez la réponse et sa source.

En résumé

Une connaissance à jour, c’est un assistant digne de confiance. Ré-indexez après chaque changement, profitez du fait que les pages inchangées ne sont pas refacturées, et renvoyez les PDF modifiés. La ré-indexation automatique viendra compléter ce travail pour les sites qui changent souvent.

D’autres questions sur la connaissance et l’indexation trouvent leur réponse dans la FAQ.

Sources

Mots-clés

  • connaissance
  • ré-indexation
  • RAG
  • coûts