F-Divergence

释义 Definition

f-散度（f-divergence）：信息论与统计中衡量两个概率分布差异的一大类指标。它通过一个凸函数 \(f\) 来定义，包含许多常见散度作为特例（如 KL 散度、卡方散度等）。常用于统计推断、机器学习（如生成模型）与分布匹配。

发音 Pronunciation (IPA)

/ˈɛf dɪˈvɝːdʒəns/

例句 Examples

We used an f-divergence to compare the two probability distributions.
我们使用一种 f-散度来比较这两个概率分布。

In variational inference, choosing a different f-divergence can change the trade-off between mode-seeking and mass-covering behavior.
在变分推断中，选择不同的 f-散度会改变“偏向寻找峰值（mode-seeking）”与“覆盖整体概率质量（mass-covering）”之间的权衡。

词源 Etymology

“f-divergence”中的 f 指代定义散度时所用的函数 \(f\)（通常要求为凸函数）。该概念由统计学与信息论领域的研究者在 20 世纪 60 年代系统提出，用来统一描述一大类“分布差异度量”。

相关词 Related Words

• Ali-Silvey Divergence
• Chi-Square Divergence
• Convex Function
• Jensen-Shannon Divergence
• Kullback-Leibler Divergence
• Mutual Information
• Probability Distribution
• Renyi Divergence
• Total Variation Distance
• Variational Inference

文学与著作 Literary Works

• Information Theory and Statistics: A Tutorial（Imre Csiszár，1963）——提出并系统讨论了后来被称为 f-散度的一类度量（常见表述为 Csiszár f-divergence）。
• A General Class of Coefficients of Divergence of One Distribution from Another（S. M. Ali & S. D. Silvey，1966）——从统计角度给出与 f-散度等价/相关的散度系。
• Elements of Information Theory（Thomas M. Cover & Joy A. Thomas，1991/2006）——信息论经典教材，讨论多种散度与分布距离（f-散度相关内容常在散度章节出现）。
• f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization（Sebastian Nowozin, Botond Cseke, Ryota Tomioka，2016）——将 f-散度系统引入 GAN 训练框架，展示不同散度对应不同生成学习目标。