Interrater Reliability

释义 Definition

评定者间信度 / 评分者间一致性：指不同评定者（rater）在对同一对象进行观察、编码或评分时，其结果的一致程度。常用于问卷评分、行为编码、医学影像判读、质性资料编码等。
（也常与 interrater agreement “评定者间一致率/一致性”相关，但在统计定义与计算方式上有时会区分。）

发音 Pronunciation (IPA)

/ˌɪntərˈreɪtər rɪˌlaɪəˈbɪləti/

例句 Examples

Interrater reliability was high after the raters received training.
评定者接受培训后，评定者间信度很高。

To ensure interrater reliability, the study used a detailed coding manual and calculated Cohen’s kappa across multiple rounds of annotation.
为保证评定者间信度，该研究使用了详细的编码手册，并在多轮标注中计算了 Cohen’s kappa 系数。

词源 Etymology

由 inter-（“在……之间、相互”）+ rater（“评定者/评分者”）+ reliability（“信度、可靠性”）构成，字面意思是“评定者之间的可靠性”。该术语在心理测量、教育测量与社会科学研究方法中广泛使用。

相关词 Related Words

• Interrater Agreement
• Intrarater Reliability
• Cohen's Kappa
• Intraclass Correlation Coefficient
• Reliability
• Validity
• Measurement Error
• Test-Retest Reliability
• Cronbach's Alpha

文献作品 Literary / Notable Works

• Psychometric Theory（Nunnally & Bernstein）：讨论信度类型与评定者一致性相关概念。
• Designing Clinical Research（Hulley 等）：在临床研究方法中提及评定者一致性与相关统计指标。
• Research Methods in Psychology（Shaughnessy 等）：研究设计与测量章节中常涉及 interrater reliability。
• Handbook of Inter-Rater Reliability（Gwet）：系统介绍评定者间信度与一致性度量（如 kappa、ICC 等）。