Also known as: Inter rater Agreement
Согласованность оценщиков — мера того, насколько несколько человеческих аннотаторов или оценщиков выносят согласованные суждения. Она используется для оценки качества разметки, надежности оценивания и достаточной ясности инструкций к задаче.
A measurement of how often human raters agree when doing a task. If raters disagree, the task instructions may need to be improved. Also sometimes called inter-annotator agreement or inter-rater reliability . See also Cohen's kappa, which is one of the most popular inter-rater agreement measurements. See Categorical data: Common issues in Machine Learning Crash Course for more information.