坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵(5)

从上面的实例我们可以得出以下结论：
第一，信息熵与概率是相反的，是你增我减、此消彼长的关系。
某件事出现得越多，不确定性越小，因此，可以输入的信息量就越少；
某件事出现得越少，不确定性越高，因此，可以输入的信息量就越多。
第二，信息熵，度量的是出人意料的程度。
比如：你说，巴西获得了世界杯冠军，概率很高，没什么出人意料的。
但是，你说，中国获得了世界杯冠军，概率极低，太出人意料了，可以输入的信息量太大了。
再比如：太阳从东方升起，概率＝1，信息熵为0，不出人意料，没有需要消除的不确定性。
还记得本文开头说的那条客户信息吗？
现在假设它是一条惊天密语。
除了里面的逗号是重复符号外，其他字符没有重复。
因此，它的信息熵非常高。
要想破解它，也就是使其变得100%确定，就需要输入其信息熵数值的信息。
不管是你自己想破头并不断试，亦或者求教人，都等于要向它再输入信息。
也就是，从开始每个字都是不确定性，到最终知道密语讲的是什么，都是不断注入新信息的功劳。
所以，信息熵告诉我们，一条消息里面有多少比特的不确定性，要想清除这些不确定性，就得输入相应多少比特的信息。
第三，不是你说了什么，而是你能说什么。
坤鹏论查了一下资料发现上一篇有些错误，这里一并更正一起。
1948年，香农的论文《通信的一个数学理论》（注意标题用的是a，而不后来的the）分成两部分，分别在7月和10月的《贝尔系统技术杂志》刊登。
1949年，香农才和沃伦·韦弗合著了《通信的数学理论》，其中包含香农的论文《通信的一个数学理论》以及沃伦·韦弗为非专业人士写的介绍通信理论的内容。
韦弗特别指出：信息论中的“信息”这个词不是指“你说了什么”，而是指“你能够说什么”。
那么，信息论中的信息量也就是——你能够说多少，你能有多少选择。
我们一起来品一品，简单讲就是，这里的“信息”不是已经说过的，而是还能够说的。
因此：
信息熵，是一个从“不知道”变成“知道”的差值。
信息熵越高，能传输越多的信息；
信息熵越低，能传输的信息越少。
比如：字符长度相等的两段内容。
如果一段可以被高度压缩，说明它的重复字符多，也就是概率高，所以熵低。