Проверка качества разметки

Проверка качества берёт случайную выборку из сессии тегирования, проверяющие проходят её с клавиатуры, а отчёт показывает, как размечают maesense и каждый разметчик, с интервалом точности. Исправления проверяющих попадают в ваши данные только после решения по партии.

Раздел Качество подключается по запросу: пункт появляется в боковом меню, когда для компании включён продукт «Контроль качества».

Четыре шага

Проверка идёт в четыре шага, и страница прогона показывает их четырьмя ячейками полосы сводки. Открыт один шаг, остальные три показывают свой итог одной строкой. Клик по ячейке открывает шаг.

1. Выборка. Случайная выборка фиксируется при создании проверки: сколько сообщений каждого исполнителя проверяется и по какому плану. В сессии ничего не меняется, пока по партии не принято решение.
2. Проверка. Проверяющие проходят выборку с клавиатуры. На шаге видно, как далеко каждая партия, кто проверяет, что пометили правила и что спорно. Кнопка Проверять справа в шапке открывает следующий из ваших элементов.
3. Решение. Каждая партия принимается или нет: по плану ISO 2859-1, либо человеком, если выборка не по исполнителям. В таблице найденный брак против допустимого; партия, у которой брак уже достиг числа браковки, помечена «по плану: не принята», пока проверяется остальное. Для непринятой партии здесь же выбирается исход.
4. Отчёт. Брак и точность по разрезам с 95% интервалом, предварительный, пока проверены не все элементы. Подробности (матрица тональности, темы, категории ошибок) в свёрнутой строке под таблицей.

Пилюли над шагами фильтруют все шаги по партии. Термины стандарта (кодовая буква, AQL, Ac / Re) остаются за знаками «?» и в статье Приёмка партий.

Прогоны и партии

• Прогон — одна проверка одной сессии. Он создаётся из workbench сессии кнопкой Проверить качество и берёт текущие фильтры workbench: население — все сообщения под этими фильтрами.
• Сообщения делятся на партии по тому, кто поставил теги (исполнитель): maesense с конкретной моделью (например, «maesense · gpt-4o-mini») или человек, который последним правил теги. Сообщения, исправленные вручную до того, как стали записывать авторов, образуют партию «Ручная правка, автор неизвестен»: её проверяют и показывают в отчёте, но решения по ней нет.
• Подтверждение без правки исполнителя не меняет: им остаётся maesense. В отчёте подтверждённые и неподтверждённые сообщения показаны отдельно.
• Выборка фиксируется при создании прогона. Правки и удаления в сессии её не меняют, и проверяющие всегда видят теги такими, какими они были в тот момент. Если сообщение с тех пор изменили, оно помечено «Изменено после выборки».

Выборка

• По исполнителям (по умолчанию): своя случайная выборка в каждой партии, потому что решение принимается по партии.
• Простая случайная: одна случайная выборка из всех выбранных сообщений.
• Стратифицированная: внутри каждой партии выборка делится между стратами (тональность исполнителя, площадка или неделя публикации) пропорционально их размеру.

Объём выборки зависит от выбранной погрешности. По умолчанию это ±10% при доверии 95% с поправкой на размер партии:

На экране создания есть также ±5%, ±7% и «Проверить всё». В прогоне не больше 5 000 элементов. Прогон хранит seed: тот же seed и те же фильтры дают ту же выборку.

Проверка с клавиатуры

Кнопка Проверка на странице прогона открывает клавиатурный режим workbench в режиме проверки. Анкета начинается с тегов исполнителя; изменяя их, вы составляете исправление, а само сообщение пока не меняется. Под анкетой видны расхождения и класс брака.

• Пробел: без изменений — «верно» и дальше; с изменениями — сохранить исправление и дальше. Теги, которых нет в инструкции, отмечены в шапке и в анкету не попадают: пробел сохраняет теги так, как их показывает анкета, поэтому такие теги удаляются, а вердикт считается исправлением.
• N: следующий непроверенный элемент. U: следующий элемент с флагом правил.
• E: категория ошибки. M: комментарий. X: «спорно» — передать элемент эксперту.
• Остальные клавиши работают как в клавиатурном режиме: стрелки, цифры для тональности, / для темы, Esc — назад.

Проверяющий берёт элементы пачками по 20 на 30 минут, поэтому двое проверяющих не получают один элемент. Свою работу проверять нельзя: элементы вашей партии и сообщения, которые вы правили или подтверждали, вам не выдаются.

Классы брака

Проверяющий не ставит оценку вручную: класс следует из разницы между тегами исполнителя и исправлением.

Класс элемента — худший из его расхождений.

Спорные элементы

X передаёт элемент эксперту, ваш вердикт сохраняется. Пользователь с правом решать спорные открывает Решить спорные на странице прогона; итоговым становится вердикт эксперта. Эксперт не получает элементы, которые он сам проверял или размечал.

Правила

При создании прогона простые правила проверяют каждое сообщение населения: нет тональности, больше одной тональности, тега нет в инструкции, сообщение не размечено. Правила помогают проверяющим находить подозрительные элементы (U), но оценка качества строится только по вердиктам проверяющих на случайной выборке.

Решение по партии

• При выборке по исполнителям решение по партии обычно принимает план ISO 2859-1 — автоматически, как только выборка проверена: см. Приёмка партий. Шаги ниже — для случаев, когда приёмка выключена или выборка взята другим методом.
• Партия готова к решению, когда у всех её элементов есть итоговый вердикт.
• Редактор или владелец открывает партию, видит долю брака и мелких дефектов с интервалами и выбирает Принять или Не принять, при желании с комментарием. По своей партии решение не принимают. Если решающий сам проверял элементы партии, например в команде из двух человек, партия помечается «решение принял проверяющий».
• После решения — принята партия или нет — исправления проверенных элементов записываются в сессию в фоне. Автором новых тегов становится проверяющий, а в истории правок они отмечены как исправление по проверке качества.
• Сообщение, теги которого изменились после выборки, не перезаписывается: оно попадает в список Конфликты на странице партии со ссылкой на workbench, и вы решаете вручную.
• Открытый прогон можно отменить, пока ни по одной партии нет решения. Его вердикты сохраняются, но ни одно исправление не попадает в данные.

Как читать отчёт

• На странице прогона — прогон целиком, maesense (все системные партии), подтверждённые и неподтверждённые сообщения maesense и каждая партия. У партии своя страница с отчётом и решением.
• Доли показаны с 95% интервалом: «87% (81–91%)» значит, что настоящая доля скорее всего между 81% и 91%. Чем меньше проверено, тем шире интервал.
• Каждая партия (и страта) входит в оценку по своему размеру в населении, а не по числу проверенных элементов. Маленькая партия, проверенная почти целиком, не перевешивает большую.
• «По 66%» значит, что в части населения ещё нет проверенных элементов; оценка относится только к покрытой части.
• Если проверены все сообщения, доля точная и показывается без интервала.
• Для тем есть precision (сколько тем исполнителя верны) и recall (сколько верных тем исполнитель нашёл). Темы, у которых меньше 10 случаев, помечены «мало данных».
• Выгрузить CSV скачивает все элементы с тегами исполнителя, исправлением, расхождениями, классом, категорией, комментарием и проверяющим.

Роли

• Прогоны и отчёты видны всем ролям, выгрузка CSV тоже.
• Проверяют элементы проверяющие, редакторы и владелец. Редакторы и владелец также создают и отменяют прогоны, решают спорные элементы и принимают решения по партиям.

Подробнее: Роли и права, Рабочая область проверки разметки.