Recherche dans la documentation interne : comment tester un assistant IA ?

IA en entreprise

Lorsqu’un collaborateur demande la durée d’un délai ou la procédure à suivre, une réponse plausible peut coûter plus cher qu’une absence de réponse. Pour tester un assistant documentaire, vérifiez sa capacité à renvoyer vers le bon document et à reconnaître les questions auxquelles il ne peut pas répondre.

Questions à placer dans le jeu d’essai
  • Réponse disponibleRetrouver le bon document et sa version.
  • Information absenteSignaler que le corpus ne permet pas de répondre.
  • Accès restreintRespecter les droits de la personne qui pose la question.

Commencer avec un corpus limité

Choisissez une famille de documents, par exemple les procédures d’onboarding ou les règles de traitement d’une demande. Identifiez le propriétaire de chaque document, sa date de validité et les personnes qui peuvent le consulter. Si deux versions se contredisent, résolvez d’abord le désaccord. Le modèle ne peut pas deviner quelle consigne s’applique à votre entreprise.

Préparer des questions qui discriminent

Constituez un jeu d’essai avec des questions simples, des questions ambiguës et des demandes dont la réponse est absente du corpus. Ajoutez un cas où le document existe mais dépasse les droits de la personne qui interroge l’assistant. Pour chaque question, préparez la réponse attendue, la référence et le comportement souhaité si l’information manque. Le NIST identifie notamment le risque de réponses affirmées avec assurance malgré leur inexactitude.

Évaluer la réponse et sa preuve

Vérifiez que le document cité est le bon, que le passage soutient la réponse et qu’il est toujours applicable. Une citation correcte ne suffit pas si l’assistant omet une condition. Suivez séparément les réponses exactes, les refus justifiés, les erreurs et les accès indus. Une erreur de confidentialité ou d’engagement client doit peser davantage dans la décision qu’une reformulation maladroite.

Sources · NIST, Generative Artificial Intelligence Profile (2024)

Parler d’un projet IA

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *