坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵(3)

在信息论中，熵度量的是一条信息的不确定程度，即身为信源发出的所有可能信息中的一条信息的概率。
这些可能信息的出现概率不一定相等，所以香农的公式是：

两个公式几乎一模一样，这并不是巧合。
大自然对相似问题本就给出了相似答案。
热力学的熵，讲的是系统的混乱程度，信息熵也是如此，越是看上去杂乱无章的消息，信息熵越高。
事实上，这是同一个问题，热力学中，要想减少系统的熵，就要从外部输入可用能量。
在信息论中，一条外部输入的、确定的信息会减少系统内由所有可能信息组成的集合的熵。
热力学的熵和信息论的熵，它们也有不同之处。
传统热力学中，熵被定义为对系统的宏观测定，并没有涉及概率分布，而概率分布是信息熵的核心定义。

上面的文字，估计很难读懂，我们简化理解一下。
热力学的熵，代表着系统的无序、混乱程度。
混乱程度越大，熵越大。
信息熵，代表着事件的不确定性程度。
不确定性程度越大，信息熵越大。
让我们用几十年来最流行的信息熵的通俗例子解释一下。
假设有一个完美公正的硬币，每次抛出正面朝上的概率都是1/2。
如果你告诉我这一次抛硬币的结果是正面朝上，这个消息的不确定性程度就是：
-log(1/2)＝1
log是以2为底的对数，这是初中数学学的。
如果你不会，可以搜索“Log2在线计算器”，只要输入概率就能算出结果。