Marginal Entropy

释义 Definition

边缘熵：在信息论与概率统计中，指某个随机变量的边缘分布所对应的熵。若有联合分布 \(p(x,y)\)，则变量 \(X\) 的边缘熵为
\[ H(X) = -\sum_x p(x)\log p(x),\quad \text{其中 } p(x)=\sum_y p(x,y). \]
（常见于与联合熵、条件熵、互信息的对比与分解中。）

发音 Pronunciation (IPA)

/ˈmɑːrdʒənəl ˈɛntrəpi/

例句 Examples

Marginal entropy measures how uncertain we are about \(X\) alone.
边缘熵衡量的是我们对仅仅 \(X\) 的不确定性有多大。

In a joint model of \((X,Y)\), the marginal entropy \(H(X)\) can be high even if \(X\) becomes predictable given \(Y\).
在 \((X,Y)\) 的联合模型中，即使在给定 \(Y\) 的情况下 \(X\) 变得可预测，边缘熵 \(H(X)\) 仍可能很高。

词源 Etymology

marginal 来自拉丁语 margo（“边缘、边界”），在概率论里引申为“从联合分布中把其他变量‘边缘化’（求和/积分）后得到的分布”。
entropy 源自希腊语构词 *en-*（“在……之中”）+ tropē（“转变”），后在信息论中被用来表示“信息不确定性/平均信息量”。

相关词 Related Words

• Entropy
• Joint Entropy
• Conditional Entropy
• Mutual Information
• Marginal Distribution
• Cross-Entropy
• KL Divergence

文学与名著用例 Literary Works

• Claude E. Shannon, A Mathematical Theory of Communication（1948）——信息熵框架的奠基文本（讨论单变量熵与联合情形的关系，为“边缘熵”概念提供基础表达）。
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory——系统讲解 \(H(X)\)、联合熵与条件熵等分解关系（常以“marginal entropy / entropy of the marginal distribution”表述）。
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms——在推断与学习语境中频繁使用边缘分布与其熵的概念。