坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵(6)

如果另一段几乎无法压缩，说明它的重复字符少，也就是概率低，所以熵高。
第四、信息熵，是通过只允许回答是或否的问题，来猜出一条未知信息时所需问问题的平均数目。
第五，香农总结的信息熵三特质：
单调性：即发生概率越高的事件，其所携带的信息熵越低。
非负性：即信息熵不能为负，任何事的不确定性程度最低只能为0。
累加性：即多随机事件同时发生存在的总不确定性的量度，是可以表示为各事件不确定性的量度的和。
好，今天先讲这么多，后面我们再接再厉。
本文由“坤鹏论”原创，转载请保留本信息
请您关注本百家号，坤鹏论自2016年初成立至今，创始人为封立鹏、滕大鹏，是包括百度百家、头条、雪球、搜狐、网易、新浪等多家著名网站或自媒体平台的特约专家或特约专栏作者，目前已累计发表原创文章与问答6000余篇。