坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵

信息论的“信息”不是你说了什么，而是你能说什么。——坤鹏论

整个五一，坤鹏论都在捯饬信息熵。
为什么？
本以为自己已经懂了，结果在写成文字时，却发现，原来自己对它的认知有诸多瑕疵。
一边学习、一边思考、一边写，结果文章改了又改，写下的文字好几万，但其中又大部分被直接删除掉了。
不过，苍天不负有心人，终于将信息熵给搞得比较清爽了。
这就是写作的妙处，它同实践一起，共同构筑成学习最强大的利器。
一、信息熵≠信息量
话说，一天早上，你的两位重要客户，分别给发来消息：
客户1：不后睐厚上，宫天欧睛以在，货见同一锁要，飞面耻李来米灭或。
客户2：五一佳节，我公司休息五天，如有急事给我打电话，祝节日快乐。
请问，你认为哪条消息的信息量更大？
许多人会说，当然是第二条，因为第一条是什么玩意儿，乱码吗？不是人话呀！
但是，第二条只是你认为相对第一条更有意义，只是因为你看得懂，而并非信息量更大。
并且，第二条还有不少多余的字，即使把它们去掉，留下空白，你也能猜到它们是什么。
比如：五一佳__，我__司休__五__ ，如有__事给我打____ ，祝节__快__。
你只要稍稍琢磨，就能将这些空缺补全。
所以，这段话是可压缩的。
但是，我告诉你，第一条其实是密语，里面藏着一个惊天宝藏的大秘密。
那么，你连一个字都不敢去掉。
每个字你都认识，但每个字都是神秘，每个字都是不确定的。
再让我们看看第二条消息，其中有些字虽然不是多余的，但我们猜也能猜个八九不离十，比如：
"如有急事给我打____"
汉语中以打字开头的常用三字动词并不多，放到这里可能也就“打电话”、“打招呼”等几种情况了。
我告诉你那两个字是“电话”，你肯定不会感到惊讶，所以“电话”提供的信息很少。