Renyi Divergence

定义 Definition

Rényi 散度（也译作“瑞尼散度”）是信息论与统计学中的一种衡量两个概率分布差异的指标，记作 \(D_\alpha(P\|Q)\)。它由参数 \(\alpha\)（阶数）控制：不同的 \(\alpha\) 会强调分布差异的不同方面。它是 KL 散度（Kullback–Leibler divergence） 的推广；当 \(\alpha \to 1\) 时会收敛到 KL 散度。（在实际应用中常要求 \(P\) 相对于 \(Q\) 满足一定的可比性/支持集条件。）

发音 Pronunciation (IPA)

/ˈreɪnji dɪˈvɝːdʒəns/

例句 Examples

The Rényi divergence helps compare two probability distributions.
Rényi 散度有助于比较两个概率分布之间的差异。

In privacy analysis, bounds based on Rényi divergence can provide tighter guarantees than those using only KL divergence.
在隐私分析中，基于 Rényi 散度的界有时能给出比只用 KL 散度更紧的保证。

词源 Etymology

“Rényi”来自匈牙利数学家 Alfréd Rényi（阿尔弗雷德·瑞尼） 的姓氏；“divergence”在信息论语境中指“分布之间的偏离/差异度量”。Rényi 散度作为一族参数化的散度，用来统一和扩展多种分布差异度量（其中最著名的极限情形之一是 KL 散度）。

相关词 Related Words

• Divergence
• Entropy
• Kullback–Leibler Divergence
• Cross-Entropy
• Mutual Information
• F-Divergence
• Total Variation Distance
• Jensen–Shannon Divergence

文献作品 Literary / Notable Works

• Elements of Information Theory — Thomas M. Cover & Joy A. Thomas（信息论经典教材中讨论多种散度与熵的关系，常涉及 Rényi 型度量）
• Information Theory, Inference, and Learning Algorithms — David J. C. MacKay（在信息论与推断框架下涉及相关散度思想）
• Pattern Recognition and Machine Learning — Christopher M. Bishop（概率模型与分布比较的语境中常提到散度家族）
• Deep Learning — Ian Goodfellow, Yoshua Bengio & Aaron Courville（机器学习中以散度衡量分布差异的背景材料，相关概念体系中可见 Rényi 散度的应用脉络）
• 经典论文与应用领域文献：差分隐私（如 Rényi Differential Privacy）相关研究中频繁使用 Rényi 散度作为分析工具