Évaluations
Notez automatiquement la qualité des conversations de vos agents avec une grille d'évaluation et un juge IA, et suivez les dérives.
La page Évaluation applique à vos agents IA la démarche qualité d'un centre de contact : une grille de critères, une note par critère, un verdict global et des axes d'amélioration. La notation est confiée à un « juge » : un agent IA qui lit la conversation et la note selon les consignes de votre grille.
Ouvrez-la depuis le menu latéral, entrée Évaluation. Trois onglets organisent la page :
| Onglet | Usage |
|---|---|
| Vue d'ensemble | Tableau de bord des évaluations : scores moyens, tendance, dérives. |
| Sessions | Évaluer une conversation, ou toutes celles qui ne le sont pas encore. |
| Grilles | Créer et modifier vos grilles d'évaluation. |
Avant de commencer
- Créez au moins une grille comportant une question Score auto (IA) : ce sont les seules questions que le juge note.
- Choisissez l'agent qui servira de juge. Un agent dédié, avec un modèle performant et une température basse, donne des verdicts plus constants. Voir Créer un agent.
Concevoir une grille
- Ouvrez l'onglet Grilles.
- Cliquez sur Nouvelle. Une grille est créée avec une première question.
- Saisissez le Nom de la grille, par exemple « Qualité service client ».
- Laissez Grille active activé pour la rendre disponible à l'évaluation.
- Complétez la question proposée, puis cliquez sur Ajouter une question pour chaque critère supplémentaire.
- Cliquez sur Créer la grille.
La liste des grilles indique pour chacune le nombre de questions, son type et le nombre de questions notées par l'IA (par exemple HYBRID · 2 IA). La mention off signale une grille inactive.
Champs d'une question
| Champ | Description | Valeur par défaut |
|---|---|---|
| Intitulé | Le critère évalué, formulé comme une question ou une affirmation : « Identité de l'appelant vérifiée avant action sensible ». | Vide |
| Catégorie | Conformité, Technique, Qualité ou Résolution. Sert à classer vos critères. | Conformité |
| Poids | Importance du critère dans le score global pondéré. Mettez 2 pour un critère important. | 1 |
| Critique | Marque le critère comme critique dans la grille. | Désactivé |
| Consigne IA (prompt du juge) | Questions Score auto (IA) uniquement. Instruction de notation donnée au juge, sur 5. | Vide |
| Mots-clés | Questions Score auto (IA) uniquement. Termes associés au critère, conservés avec la grille. | Aucun |
| Réponses (score) | Questions à réponses (oui/non, choix, notation) : chaque réponse possible et son score. | Selon le type |
Le type de la question est représenté par l'icône à gauche de l'intitulé. Les questions ajoutées depuis cet écran sont de type Score auto (IA). Une grille peut aussi contenir d'autres types de questions (Oui / Non, Choix unique, Choix multiple, Notation, Commentaire) : elles sont conservées dans la grille, mais seules les questions Score auto (IA) sont notées par le juge.
Astuce
Une bonne consigne est factuelle et mesurable. Préférez « Note de 0 à 5 selon que le bot a authentifié l'appelant avant toute action sensible » à « Le bot est-il sérieux ? ».
Générer les questions avec l'IA
- Cliquez sur Générer (IA).
- Décrivez le contexte de la grille dans le champ Contexte de la grille — l'IA en déduit les critères, par exemple « callbot d'accueil, prise de RDV, conformité RGPD ».
- Cliquez sur Générer les questions. Les critères proposés s'ajoutent à la grille ; relisez-les avant d'enregistrer.
Le bouton Améliorer les prompts réécrit les consignes des questions Score auto (IA) existantes pour les rendre plus précises et mesurables.
Note
La génération utilise l'agent juge choisi dans l'onglet Sessions. Sans agent juge, le résultat est simulé, comme l'indique la mention sous le champ.
Gérer les grilles
- Enregistrer applique vos modifications.
- Dupliquer crée une copie de la grille, après confirmation du nom ; pratique pour décliner une grille par métier.
- Supprimer demande une confirmation (Confirmer ?) avant de supprimer définitivement la grille.
Évaluer des conversations
- Ouvrez l'onglet Sessions.
- Dans l'en-tête, choisissez la Grille d'évaluation. Les grilles sans question IA sont grisées avec la mention « (pas de question IA) ».
- Choisissez l'Agent juge. La liste propose vos agents vocaux s'il en existe, sinon tous vos agents.
- Sélectionnez une conversation dans la colonne de gauche.
- Cliquez sur Évaluer. Le verdict s'affiche à droite de la transcription.
Pour noter d'un coup toutes les conversations listées qui ne l'ont pas encore été, cliquez sur Évaluer tout. La progression s'affiche sur le bouton (par exemple 3/12). Le bouton Réévaluer relance le juge sur une conversation déjà notée, par exemple après avoir modifié la grille.
Attention
L'option Juge simulé (mock) produit un verdict de démonstration, sans analyse réelle de la conversation. Sélectionnez toujours un agent juge pour vos évaluations.
La colonne Conversations affiche les 50 conversations les plus récentes, avec leur score ou la mention non évalué, la date, la durée et le nombre de tours.
Lire un verdict
| Élément | Description |
|---|---|
| Score global | Note sur 5, pondérée selon les critères. |
| Verdict | Conforme (4 et plus), À surveiller (de 2,5 à moins de 4) ou Non conforme (moins de 2,5). |
| Synthèse | Une phrase qui résume l'évaluation. |
| Juge | Le modèle ou l'agent qui a rendu le verdict. |
| Critères | Pour chaque question Score auto (IA) : note sur 5, barre de score et justification du juge. |
| Axes d'amélioration | Recommandations concrètes pour améliorer l'agent. |
Suivre la qualité dans la durée
L'onglet Vue d'ensemble agrège les évaluations de la grille sélectionnée dans l'en-tête.
| Indicateur | Description |
|---|---|
| Conversations évaluées | Nombre d'évaluations réalisées avec cette grille. |
| Score moyen | Moyenne des scores globaux, sur 5. |
| Taux conforme | Part des évaluations au verdict Conforme ; en vert à partir de 70 %. |
| Alertes actives | Nombre de dérives détectées (voir ci-dessous). |
| Tendance du score global | Score moyen jour par jour sur les 14 derniers jours. |
| Scores par critère | Score moyen de chaque critère de la grille. |
| Scores par agent | Score moyen et nombre d'évaluations de chaque agent, coloré selon le verdict. |
Dérives & alertes
Le panneau Dérives & alertes compare, pour chaque agent et chaque critère, le score moyen des 7 derniers jours à celui des 7 jours précédents. Une baisse d'au moins 0,5 point est signalée comme une dérive, avec les deux moyennes et l'écart. Elle est classée Non conforme si la moyenne récente passe sous 2,5, À surveiller sinon.
Exemple : « Accueil standard — Identité de l'appelant vérifiée avant action sensible : 4,2 → 2,0 /5 sur 7 jours » indique que l'agent a cessé de vérifier l'identité, souvent après une modification de son prompt ou de son flow.
Sans dérive, le panneau affiche Aucune dérive détectée sur les 7 derniers jours.
Limites
- Les verdicts et l'historique des évaluations sont enregistrés dans votre navigateur. Ils ne sont pas partagés avec les autres membres de l'équipe et disparaissent si vous videz les données du site.
- Les grilles, elles, sont enregistrées pour toute votre organisation.
Bonnes pratiques
- Limitez une grille à 4 à 8 critères : au-delà, les justifications du juge deviennent superficielles.
- Testez votre grille sur quelques conversations connues (une bonne, une mauvaise) avant de l'appliquer en masse.
- Réévaluez après chaque modification de grille, sinon vous comparez des verdicts obtenus avec des consignes différentes.
- Gardez le même agent juge sur une période pour que la tendance reste comparable.