Contrôles qualité

Un contrôle qualité tire un échantillon aléatoire d’une session de tagging. Les réviseurs le parcourent au clavier, et le rapport montre, avec un intervalle de précision, comment taguent maesense et chaque annotateur. Les corrections des réviseurs n’atteignent vos données qu’après la décision sur le lot.

La section Qualité est disponible sur demande : elle apparaît dans la barre latérale dès que le produit Contrôle qualité est activé pour votre entreprise.

Quatre étapes

Un contrôle passe par quatre étapes, et la page du contrôle les montre comme les quatre cellules de son résumé. Une étape est ouverte, les trois autres montrent leur résultat sur une ligne. Un clic sur une cellule ouvre l’étape.

1. Échantillon. L’échantillon aléatoire est fixé à la création du contrôle : combien de messages de chaque exécutant sont contrôlés, et selon quel plan. Rien ne change dans la session tant qu’un lot n’est pas décidé.
2. Vérification. Les vérificateurs parcourent l’échantillon au clavier. L’étape montre l’avancement de chaque lot, qui vérifie, ce que les règles ont signalé et ce qui est contesté. Vérifier, à droite de l’en-tête, ouvre le prochain de vos éléments.
3. Décision. Chaque lot est accepté ou non : par le plan ISO 2859-1, ou par une personne quand l’échantillon n’est pas par exécutant. Le tableau montre les défauts trouvés face au nombre admis ; un lot dont les défauts atteignent déjà le nombre de rejet est marqué « par le plan : refusé » pendant que le reste est contrôlé. Pour un lot refusé, vous choisissez ici l’issue.
4. Rapport. Défauts et précision par coupe avec un intervalle à 95 %, préliminaire tant que tous les éléments ne sont pas contrôlés. Les détails (matrice de tonalité, thèmes, catégories d’erreurs) sont dans la ligne repliée sous le tableau.

Les pastilles au-dessus des étapes filtrent chaque étape par lot. Les termes de la norme (lettre-code, AQL, Ac / Re) restent derrière les « ? » et dans Acceptation des lots.

Contrôles et lots

• Un contrôle porte sur une session. Il se crée depuis le workbench de la session avec Contrôler la qualité et reprend les filtres en cours : la population, ce sont tous les messages sous ces filtres.
• Les messages sont répartis en lots selon l’auteur de leurs tags (l’exécutant) : maesense avec un modèle donné (par exemple « maesense · gpt-4o-mini ») ou la personne qui a modifié les tags en dernier. Les messages modifiés à la main avant l’enregistrement des auteurs forment le lot « Modification manuelle, auteur inconnu » : il est contrôlé et figure dans le rapport, mais aucune décision n’est prise à son sujet.
• Confirmer un message sans le modifier ne change pas son exécutant : il reste maesense. Le rapport présente séparément les messages confirmés et non confirmés.
• L’échantillon est figé à la création du contrôle. Les modifications ou suppressions ultérieures dans la session ne le changent pas, et les réviseurs voient toujours les tags tels qu’ils étaient à ce moment. Un message modifié depuis porte la mention « Modifié après l’échantillonnage ».

Échantillonnage

• Par exécutant (par défaut) : un échantillon aléatoire dans chaque lot, car la décision se prend par lot.
• Aléatoire simple : un seul échantillon de tous les messages sélectionnés.
• Stratifié : dans chaque lot, l’échantillon est réparti entre les strates (sentiment de l’exécutant, plateforme ou semaine de publication) au prorata de leur taille.

La taille de l’échantillon découle de la marge d’erreur choisie. Par défaut, ±10 % à 95 % de confiance, avec une correction selon la taille du lot :

L’écran de création propose aussi ±5 %, ±7 % et « Tout contrôler ». Un contrôle compte au plus 5 000 éléments. Il garde sa graine (seed) : même graine et mêmes filtres donnent le même échantillon.

Contrôler au clavier

Révision sur la page du contrôle ouvre le mode clavier du workbench en mode contrôle. Le formulaire part des tags de l’exécutant ; les modifier constitue votre correction, et le message lui-même ne change pas encore. Sous le formulaire, vous voyez les écarts et la classe de défaut.

• Espace : sans modification, « correct » et suivant ; avec modifications, enregistrer la correction et suivant. Les tags absents de l’instruction sont signalés dans l’en-tête et ne figurent pas dans le formulaire : Espace enregistre les tags tels que le formulaire les montre, ils sont donc retirés et le verdict est une correction.
• N : l’élément suivant non contrôlé. U : l’élément suivant signalé par les règles.
• E : catégorie d’erreur. M : commentaire. X : contesté, transmettre l’élément à un expert.
• Les autres touches fonctionnent comme en mode clavier : flèches, chiffres pour le sentiment, / pour un thème, Échap pour revenir.

Chaque réviseur prend les éléments par lots de 20 pour 30 minutes : deux réviseurs ne reçoivent jamais le même élément. Vous ne pouvez pas contrôler votre propre travail : les éléments de votre lot et les messages que vous avez modifiés ou confirmés ne vous sont jamais attribués.

Classes de défaut

Le réviseur ne note pas à la main : la classe découle de la différence entre les tags de l’exécutant et la correction.

La classe d’un élément est celle du pire de ses écarts.

Éléments contestés

X transmet un élément à un expert, votre verdict est conservé. Un utilisateur autorisé à trancher ouvre Trancher les contestés sur la page du contrôle ; le verdict de l’expert devient final. Un expert ne reçoit jamais un élément qu’il a contrôlé ou exécuté.

Règles

À la création, des règles simples vérifient chaque message de la population : pas de sentiment, plus d’un sentiment, un tag absent de l’instruction, un message non tagué. Les règles aident les réviseurs à trouver les éléments suspects (U), mais l’estimation de la qualité repose uniquement sur les verdicts des réviseurs sur l’échantillon aléatoire.

Décider d’un lot

• Avec un échantillon par exécutant, le lot est en général décidé automatiquement par son plan ISO 2859-1 dès que l’échantillon est contrôlé : voir Acceptation des lots. Les étapes ci-dessous s’appliquent quand l’acceptation est désactivée ou que l’échantillon est tiré autrement.
• Un lot est prêt pour la décision quand chaque élément a un verdict final.
• Un éditeur ou le propriétaire ouvre le lot, voit la part de défauts et de défauts mineurs avec leurs intervalles et choisit Accepter ou Ne pas accepter, avec un commentaire s’il le souhaite. Personne ne décide de son propre lot. Si la personne qui décide a aussi contrôlé des éléments du lot, par exemple dans une équipe de deux, le lot porte la mention « décidé par un réviseur ».
• Après la décision, acceptée ou non, les corrections des éléments contrôlés sont écrites dans la session en arrière-plan. Le réviseur devient l’auteur des nouveaux tags, et l’historique des modifications les marque comme correction du contrôle qualité.
• Un message dont les tags ont changé après l’échantillonnage n’est pas écrasé : il apparaît dans Conflits sur la page du lot avec un lien vers le workbench, pour que vous décidiez à la main.
• Un contrôle ouvert peut être annulé tant qu’aucun lot n’est décidé. Ses verdicts sont conservés ; aucune correction n’atteint les données.

Lire le rapport

• La page du contrôle montre le contrôle entier, maesense (tous les lots système), les messages confirmés et non confirmés de maesense, et chaque lot. Un lot a sa propre page avec son rapport et sa décision.
• Les parts sont données avec un intervalle à 95 % : « 87 % (81–91 %) » signifie que la vraie part se situe très probablement entre 81 % et 91 %. Moins on contrôle, plus l’intervalle est large.
• Chaque lot (et strate) compte selon sa taille dans la population, et non selon le nombre d’éléments contrôlés. Un petit lot contrôlé presque en entier ne pèse pas plus qu’un grand.
• « Couvre 66 % » signifie qu’une partie de la population n’a encore aucun élément contrôlé ; l’estimation ne porte que sur la partie couverte.
• Quand tous les messages ont été contrôlés, la part est exacte et sans intervalle.
• Pour les thèmes, la précision indique combien des thèmes de l’exécutant sont justes, et le rappel combien des bons thèmes l’exécutant a trouvés. Les thèmes avec moins de 10 cas portent la mention « peu de données ».
• Exporter en CSV télécharge tous les éléments avec les tags de l’exécutant, la correction, les écarts, la classe, la catégorie, le commentaire et le réviseur.

Rôles

• Tous les rôles voient les contrôles et les rapports et peuvent exporter le CSV.
• Les réviseurs, les éditeurs et le propriétaire contrôlent les éléments. Les éditeurs et le propriétaire créent et annulent aussi les contrôles, tranchent les éléments contestés et décident des lots.

Détails : Rôles et droits, Tagging Workbench.