Qualitätsprüfungen

Eine Qualitätsprüfung zieht eine Zufallsstichprobe aus einer Tagging-Sitzung. Prüfer gehen sie mit der Tastatur durch, und der Bericht zeigt mit einem Genauigkeitsintervall, wie gut maesense und jeder Annotator taggen. Die Korrekturen der Prüfer gelangen erst nach der Entscheidung über das Los in Ihre Daten.

Der Bereich Qualität ist auf Anfrage verfügbar: Er erscheint in der Seitenleiste, sobald das Produkt Qualitätskontrolle für Ihr Unternehmen aktiviert ist.

Vier Schritte

Eine Prüfung läuft in vier Schritten, und die Seite der Prüfung zeigt sie als die vier Zellen ihrer Zusammenfassung. Ein Schritt ist geöffnet, die anderen drei zeigen ihr Ergebnis in einer Zeile. Ein Klick auf eine Zelle öffnet den Schritt.

1. Stichprobe. Die Zufallsstichprobe wird beim Anlegen der Prüfung festgelegt: wie viele Nachrichten jedes Ausführenden nach welchem Plan geprüft werden. In der Sitzung ändert sich nichts, bis über ein Los entschieden ist.
2. Prüfung. Prüfer gehen die Stichprobe mit der Tastatur durch. Der Schritt zeigt, wie weit jedes Los ist, wer prüft, was die Regeln markiert haben und was strittig ist. Prüfen rechts in der Kopfzeile öffnet das nächste Ihrer Elemente.
3. Entscheidung. Jedes Los wird angenommen oder nicht: nach dem Plan ISO 2859-1 oder durch eine Person, wenn die Stichprobe nicht pro Ausführendem gezogen wurde. Die Tabelle zeigt die gefundenen Fehler gegen die zulässige Zahl; ein Los, dessen Fehler die Rückweisezahl schon erreichen, ist mit „nach Plan: abgelehnt“ markiert, während der Rest geprüft wird. Für ein abgelehntes Los wählen Sie hier das Ergebnis.
4. Bericht. Fehler und Genauigkeit je Schnitt mit 95%-Intervall, vorläufig, bis jedes Element geprüft ist. Die Details (Tonalitätsmatrix, Themen, Fehlerkategorien) stehen in der eingeklappten Zeile unter der Tabelle.

Die Pillen über den Schritten filtern jeden Schritt nach Los. Begriffe der Norm (Kennbuchstabe, AQL, Ac / Re) bleiben hinter den „?“-Zeichen und in Losannahme.

Prüfungen und Lose

• Eine Prüfung ist ein Durchgang über eine Sitzung. Sie wird in der Workbench der Sitzung mit Qualität prüfen angelegt und übernimmt die aktuellen Filter der Workbench: Die Grundgesamtheit sind alle Nachrichten unter diesen Filtern.
• Die Nachrichten werden nach dem Urheber ihrer Tags (dem Ausführenden) in Lose aufgeteilt: maesense mit einem bestimmten Modell (zum Beispiel „maesense · gpt-4o-mini“) oder die Person, die die Tags zuletzt bearbeitet hat. Nachrichten, die von Hand bearbeitet wurden, bevor Autoren erfasst wurden, bilden das Los „Manuelle Bearbeitung, Autor unbekannt“: Es wird geprüft und im Bericht gezeigt, aber über es wird nicht entschieden.
• Eine Bestätigung ohne Änderung ändert den Ausführenden nicht: Er bleibt maesense. Der Bericht zeigt bestätigte und unbestätigte Nachrichten getrennt.
• Die Stichprobe wird beim Anlegen festgelegt. Spätere Änderungen oder Löschungen in der Sitzung ändern sie nicht, und Prüfer sehen die Tags immer so, wie sie in diesem Moment waren. Eine seitdem geänderte Nachricht ist mit „Nach der Stichprobe geändert“ markiert.

Stichprobe

• Pro Ausführendem (Standard): eine eigene Zufallsstichprobe in jedem Los, weil pro Los entschieden wird.
• Einfache Zufallsstichprobe: eine Stichprobe aus allen ausgewählten Nachrichten.
• Geschichtet: In jedem Los wird die Stichprobe im Verhältnis ihrer Größe auf Schichten verteilt (Stimmung des Ausführenden, Plattform oder Veröffentlichungswoche).

Der Umfang ergibt sich aus der gewählten Fehlermarge. Standard ist ±10 % bei 95 % Konfidenz, mit einer Korrektur für die Größe des Loses:

Der Anlagebildschirm zeigt außerdem ±5 %, ±7 % und „Alles prüfen“. Eine Prüfung umfasst höchstens 5.000 Elemente. Sie speichert ihren Seed: Gleicher Seed und gleiche Filter ergeben dieselbe Stichprobe.

Prüfen mit der Tastatur

Prüfung auf der Seite der Prüfung öffnet den Tastaturmodus der Workbench im Prüfmodus. Das Formular beginnt mit den Tags des Ausführenden; wenn Sie sie ändern, entsteht Ihre Korrektur, die Nachricht selbst ändert sich noch nicht. Unter dem Formular sehen Sie die Abweichungen und die Fehlerklasse.

• Leertaste: ohne Änderungen „korrekt“ und weiter; mit Änderungen die Korrektur speichern und weiter. Tags, die nicht in der Anweisung stehen, sind in der Kopfzeile markiert und fehlen im Formular: Die Leertaste speichert die Tags so, wie das Formular sie zeigt, sie werden also entfernt und das Urteil ist eine Korrektur.
• N: das nächste ungeprüfte Element. U: das nächste Element mit einer Regelmarkierung.
• E: Fehlerkategorie. M: Kommentar. X: strittig, das Element an einen Experten übergeben.
• Die übrigen Tasten funktionieren wie im Tastaturmodus: Pfeile, Ziffern für die Stimmung, / für ein Thema, Esc zurück.

Jeder Prüfer nimmt Elemente in Paketen zu 20 für 30 Minuten, daher bekommen zwei Prüfer nie dasselbe Element. Die eigene Arbeit können Sie nicht prüfen: Elemente Ihres eigenen Loses und Nachrichten, die Sie bearbeitet oder bestätigt haben, bekommen Sie nicht.

Fehlerklassen

Ein Prüfer bewertet nicht von Hand: Die Klasse folgt aus dem Unterschied zwischen den Tags des Ausführenden und der Korrektur.

Die Klasse eines Elements ist die schlechteste seiner Abweichungen.

Strittige Elemente

X übergibt ein Element an einen Experten, Ihr Urteil bleibt erhalten. Wer strittige Elemente entscheiden darf, öffnet Strittige entscheiden auf der Seite der Prüfung; das Urteil des Experten wird endgültig. Ein Experte bekommt nie ein Element, das er selbst geprüft oder ausgeführt hat.

Regeln

Beim Anlegen prüfen einfache Regeln jede Nachricht der Grundgesamtheit: keine Stimmung, mehr als eine Stimmung, ein Tag, der nicht in der Anweisung steht, eine nicht getaggte Nachricht. Regeln helfen Prüfern, verdächtige Elemente zu finden (U), die Qualitätsschätzung beruht aber nur auf den Urteilen der Prüfer an der Zufallsstichprobe.

Entscheidung über ein Los

• Bei einer Stichprobe je Ausführendem entscheidet meist der Plan nach ISO 2859-1 automatisch über das Los, sobald die Stichprobe geprüft ist: siehe Losannahme. Die folgenden Schritte gelten, wenn die Annahmeprüfung aus ist oder die Stichprobe anders gezogen wird.
• Ein Los ist bereit zur Entscheidung, wenn jedes Element ein endgültiges Urteil hat.
• Ein Redakteur oder der Inhaber öffnet das Los, sieht den Anteil der Fehler und Nebenfehler mit ihren Intervallen und wählt Annehmen oder Nicht annehmen, auf Wunsch mit Kommentar. Niemand entscheidet über das eigene Los. Hat die entscheidende Person auch Elemente des Loses geprüft, etwa in einem Team aus zwei Personen, wird das Los mit „von einem Prüfer entschieden“ markiert.
• Nach der Entscheidung, ob angenommen oder nicht, werden die Korrekturen der geprüften Elemente im Hintergrund in die Sitzung geschrieben. Der Prüfer wird Autor der neuen Tags, und der Bearbeitungsverlauf kennzeichnet sie als Korrektur aus der Qualitätsprüfung.
• Eine Nachricht, deren Tags sich nach der Stichprobe geändert haben, wird nicht überschrieben: Sie steht unter Konflikte auf der Seite des Loses mit einem Link zur Workbench, damit Sie von Hand entscheiden.
• Eine offene Prüfung kann abgebrochen werden, solange über kein Los entschieden ist. Ihre Urteile bleiben erhalten; keine Korrektur gelangt in die Daten.

Den Bericht lesen

• Die Seite der Prüfung zeigt die gesamte Prüfung, maesense (alle Systemlose), bestätigte und unbestätigte Nachrichten von maesense und jedes Los. Ein Los hat eine eigene Seite mit Bericht und Entscheidung.
• Anteile stehen mit einem 95-%-Intervall: „87 % (81–91 %)“ heißt, der wahre Anteil liegt sehr wahrscheinlich zwischen 81 % und 91 %. Je weniger geprüft wurde, desto breiter das Intervall.
• Jedes Los (und jede Schicht) zählt nach seiner Größe in der Grundgesamtheit, nicht nach der Zahl geprüfter Elemente. Ein kleines, fast vollständig geprüftes Los wiegt nicht mehr als ein großes.
• „Deckt 66 % ab“ bedeutet, dass ein Teil der Grundgesamtheit noch keine geprüften Elemente hat; die Schätzung gilt nur für den abgedeckten Teil.
• Wenn jede Nachricht geprüft wurde, ist der Anteil exakt und hat kein Intervall.
• Für Themen gibt es die Präzision (wie viele Themen des Ausführenden stimmen) und die Trefferquote (wie viele der richtigen Themen der Ausführende gefunden hat). Themen mit weniger als 10 Fällen sind mit „wenig Daten“ markiert.
• CSV exportieren lädt alle Elemente mit den Tags des Ausführenden, der Korrektur, den Abweichungen, der Klasse, der Kategorie, dem Kommentar und dem Prüfer herunter.

Rollen

• Jede Rolle sieht Prüfungen und Berichte und kann die CSV exportieren.
• Prüfer, Redakteure und der Inhaber prüfen Elemente. Redakteure und der Inhaber legen außerdem Prüfungen an und brechen sie ab, entscheiden strittige Elemente und entscheiden über Lose.

Mehr dazu: Rollen und Berechtigungen, Tagging Workbench.