在线计算器: 香农熵

在信息论中，熵是对一个随机变量的不确定性的度量。在这种情况下，这个术语通常指的是香农熵，它量化了信息的期望值。
克劳德香农在他1948年的论文《通信的数学理论》中介绍了熵的公式。

$H(X) = - \sum_{i=1}^np(x_i)\log_b p(x_i)$

使用负数是因为小于1的数其对数是负的。然而,由于

$-\log a = \log \frac{1}{a}$ ,

公式可以表示为

$H(X)= \sum_{i=1}^np(x_i)\log_b \frac{1}{p(x_i)}$

表示
$\log_b \frac{1}{p(x_i)}$
也叫不确定性或意外， $p(x_i)$ 概率越低, 即， $p(x_i)$ → 0, 结果 $x_i$ 不确定性或潜在的意外就越高，即， $u_i$ → ∞。

在这种情况下，公式表达了不确定性的数学期望，这就是为什么信息熵和信息不确定性可以互换使用。

这个计算器计算给定事件概率的香农熵。

事件概率

计算精度

小数点后的数字: 2

熵,比特

这个计算器计算给定信息的符号频率的香农熵。

信息本文

忽略大小写

忽略空格

计算精度

小数点后的数字: 2

熵,比特

PLANETCALC 在线计算器