坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵(2)

所以，香农说：
信息，是能够用来消除不确定性的东西。
逆香农定义的定义更香、更容易理解：信息，是确定性的增加。
那么，什么是不确定性？
不确定性用数学语言可称之为概率。
只要概率不是100%都是不确定性。
消除不确定性的过程就是将某件事的从某个概率变成1。
香农认为，这个概率变化的过程，就需要输入信息来改变。
那么，到底要输入多少信息呢？
那就要看某件事有多么不确定性，也就是还需要输入的信息量和它的概率相关。
于是，信息量与概率发生了关系。
香农的贡献就在于，他给出了计算不确定性的量化公式，就像前面所说，科技的第一步就是要能量化。
正如我们想要衡量某个物体的质量引入了克这个单位、我们想衡量时间，我们设计一秒钟这么长。
香农想要量化一条消息中可带有的信息量大小，提出了信息熵，并给出了单位——比特。
不过，要特别特别注意的是，信息熵虽然可以告诉我们可输入的信息量。
但它并不直接等于信息量，严格意义上讲，信息熵≠信息量。
坤鹏论发现，就像错误地认为“熵＝混乱”一样，太多人认为“信息熵＝信息量”，于是也就错上加错，知识完全混乱。

二、热力学的熵和信息论的熵
好了，理解了上面部分，也就有了信息熵的定义。
但是，还是让我们读一读严谨的定义以及它的数学公式。
统计力学中，熵度量的是一个物理系统的微观态的不确定程度，也就是处于所有可能微观态中的一种的概率。
这些可能微观态的出现概率不一定相等，所以统计力学的公式是：