Tests pratiques pour votre agent IA

• Les tests pratiques se trouvent sous Évaluations (Evals) dans le menu de gauche. Les User comme les Owner peuvent les utiliser.
• Évaluations apparaît seulement si votre clinique a un abonnement actif, ou si un partenaire gère l’abonnement de votre clinique. Si vous ne le voyez pas, adressez-vous à la personne qui gère l’abonnement de votre clinique, ou écrivez à support@allomia.com.
• Les écrans des tests pratiques s’affichent seulement en anglais, même si votre tableau de bord est en français. Les mots anglais à l’écran sont donnés en gras.
• Les tests pratiques utilisent les instructions enregistrées de l’agent. Si vous venez de les changer, cliquez d’abord sur Enregistrer les paramètres (Save Settings).
• Les tests pratiques sont écrits, pas parlés. Ils vérifient ce que l’agent répond, selon ses instructions. Ils ne vérifient pas sa voix, s’il entend bien les patients, ni les réponses qui viennent des documents de votre clinique ou de ses actions. Pour cela, utilisez Parler avec l’agent (Speak with Agent). Consultez Essayer votre agent IA vous-même.
• Les tests pratiques ne passent pas d’appels téléphoniques : ils n’utilisent donc pas de minutes d’appel. Chaque exécution lancée avec Run compte dans l’utilisation de votre forfait, comme Chat.

1. Dans le menu de gauche, cliquez sur Évaluations, puis sur l’onglet Create (créer).
2. Dans Eval Name (nom du test), tapez un nom, par exemple « Demande de rendez-vous : demande le nom et la date de naissance ». Dans Description, dites ce que le test vérifie.
3. Sous Organization & Agent, choisissez votre clinique dans Organization, puis l’agent IA à tester dans Agent. Les instructions de l’agent s’affichent en dessous : vous pouvez ainsi vérifier que c’est le bon.
4. Sous Conversations, cliquez sur Conversation, puis sur + User (patient). Tapez ce que dit le patient, par exemple : « Bonjour, j’ai mal à la gorge et j’aimerais voir un médecin cette semaine. »
5. Cliquez de nouveau sur Conversation, puis sur + Agent Eval (vérification). Cette carte décrit une bonne réponse. Dans la liste en haut de la carte, choisissez LLM-as-a-Judge : une IA lit la réponse de votre agent et décide si elle est réussie.
6. Dans Pass Criteria (critères de réussite), écrivez ce que la réponse doit faire, par exemple : « Demande le nom complet et la date de naissance du patient. » Dans Fail Criteria (critères d’échec), écrivez ce qu’elle ne doit jamais faire, par exemple : « Propose un traitement ou un médicament, ou dit de quelle maladie il pourrait s’agir. »
7. Pour essayer le test avant de l’enregistrer, cliquez sur Test, à côté de Organization & Agent. Le résultat s’ouvre à droite.
8. Cliquez sur Save Evaluation (enregistrer). Votre test apparaît maintenant dans l’onglet Evals.

Pour vérifier une conversation plus longue, ajoutez d’autres paires : un message + User, puis une carte + Agent Eval. Votre agent IA répond à chaque message du patient qui est suivi d’une carte + Agent Eval. Vous n’avez pas besoin des autres choix, comme + Agent Mock ou + Tool Response, ni des réglages Evaluator.

1. Cliquez sur l’onglet Evals. Sur la ligne de votre test, cliquez sur Run (lancer).
2. Dans la fenêtre Run Evaluation, choisissez votre clinique dans Organization et l’agent dans AI Agent. Cochez Navigate to runs page after completion pour aller au résultat quand il est prêt.
3. Cliquez sur Run, et attendez la fin de l’exécution.
4. Dans l’onglet Runs (exécutions), regardez la colonne Status : Passed (réussi), Failed (échoué), ou Error si le test n’a pas pu se terminer.
5. Cliquez sur View (voir). Conversation montre ce que votre agent IA a dit. Turn Results montre chaque vérification et, sous Judge Reason, pourquoi une vérification a échoué.
6. Si le test a échoué, changez les instructions de l’agent, cliquez sur Enregistrer les paramètres, puis relancez le test. Consultez Quand votre agent IA donne une mauvaise réponse.

Une suite est un groupe de tests pratiques que vous lancez en un clic, par exemple après chaque changement aux instructions de votre agent.

1. Cliquez sur l’onglet Suites, puis sur New Suite (nouvelle suite).
2. Dans Name, tapez un nom, par exemple « Avant chaque changement ». Sous Evaluations, sélectionnez les tests à inclure.
3. Cliquez sur Create Suite.
4. Sur la ligne de la suite, cliquez sur Run. Choisissez votre clinique et l’agent, puis cliquez sur Run suite. Les tests s’exécutent l’un après l’autre, et les résultats apparaissent dans l’onglet Runs.

• Évaluations n’est pas dans le menu : votre clinique a besoin d’un abonnement actif. Adressez-vous à la personne qui le gère, ou écrivez à support@allomia.com.
• Le statut est Error : le test n’a pas pu se terminer. Vérifiez que vous avez choisi un agent, puis relancez le test. Si cela se reproduit, écrivez au soutien technique en donnant le nom du test.
• Le test échoue, mais la réponse vous semble bonne : les critères ne sont peut-être pas clairs. Écrivez chaque critère comme une seule chose simple que la réponse doit faire ou ne pas faire. Pour modifier un test, cliquez sur le crayon de sa ligne dans l’onglet Evals, puis sur Update Evaluation.
• L’agent réussit le test mais répond autrement pendant les appels : les mots de l’agent peuvent changer d’une conversation à l’autre, et les tests pratiques sont écrits, pas parlés. Faites aussi un essai avec Parler avec l’agent.