Total Variation Distance

释义 Definition

总变差距离：衡量两个概率分布差异大小的一种距离（度量）。在离散情形下，它等于两分布概率质量函数差的绝对值之和的一半：
\[ \mathrm{TV}(P,Q)=\tfrac12\sum_x |P(x)-Q(x)| \] 取值通常在 0 到 1 之间；0 表示完全相同，1 表示“几乎完全可区分”。（在连续情形用密度函数的积分形式表达。）

发音 Pronunciation (IPA)

/ˈtoʊtəl ˌvɛriˈeɪʃən ˈdɪstəns/

例句 Examples

The total variation distance between the two distributions is small.
这两个分布之间的总变差距离很小。

We bound the total variation distance to show that the Markov chain mixes rapidly.
我们通过给出总变差距离的上界来说明该马尔可夫链混合得很快。

词源 Etymology

该术语由 total（总的）+ variation（变差/变化量）+ distance（距离） 组合而成。“variation”来自拉丁语 variatio（变化），在数学中常指“总体变化量/变差”；与“distance”结合后，用来表示“两个对象差异的大小”。在概率论里，“总变差”对应于分布差异的“最大可区分程度”（与集合事件上概率差的最大值有关）。

相关词 Related Words

• Probability
• Distribution
• Metric
• Divergence
• Norm
• L1 Distance
• Coupling
• Markov Chain
• Kullback-Leibler Divergence
• Jensen-Shannon Divergence
• Wasserstein Distance
• Hellinger Distance

文献作品 Literary / Notable Works

• Billingsley, Probability and Measure（讨论分布收敛与相关距离/度量时常出现）
• Cover & Thomas, Elements of Information Theory（在比较分布与信息度量的语境中出现）
• Wasserman, All of Statistics（统计推断与误差界、分布距离相关章节会使用）
• Levin, Peres & Wilmer, Markov Chains and Mixing Times（用总变差距离刻画混合时间）
• MacKay, Information Theory, Inference, and Learning Algorithms（推断与分布差异的讨论中出现）