坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵(4)
2023-05-01 来源:飞速影视
这条消息的信息熵就是1比特,也就是只要再输入1比特信息,就可以消除不确定性,达到100%确定。
让我们再假设有一个不完美、不公正的硬币,它出现正面的概率高于反面的概率。
比如:反面的概率是30%,那么,出现正面的概率是70%,信息熵为:
-[0.3×log(0.3) 0.7×log(0.7)]=-[0.3×-1.74 0.7×-0.51]=0.88比特
因此,信息熵与我们肉眼见到的消息长度没有必然关系。
它描述的是这段消息中字符的不确定性(不可预测性)。
所以,一段消息中出现的各种字符越杂乱无章,越具有多样性,信息熵就越高。
比如:acbfacbfopacbacbf和acbfehijkl。
前者重复的字母多,虽然一共17个字母,其实只有6个不同的字母,它的信息熵为:
-log(1/6)=2.6比特
后者虽然一共只有10个字母,但是,10个字母各个不同,它的信息熵为:
-log(1/10)=3.3比特
当然,真实世界里,英文有26个字母,再加上一个空格,它也算字符,一共27个,如果它们是等概率被使用,每个字母平均的信息熵=-log(1/27)=4.75比特。
不过,实际使用中,英语字母的使用频率是不一样的。
有些字母会明显高于其他字母,这就是典型的幂律分布,到语言这个领域就叫Zipf定律。
Zipf定律表明,在英语单词中,只有极少数的词被经常使用,而绝大多数词很少被使用。
实际上,包括汉语在内的许多国家的语言都有这样的特点。
比如:H,它的出现概率是5.9%,它的信息熵=-log(0.059)=4.083141比特。
再比如:Z,它的出现概率只有0.07%,它的信息熵=-log(0.0007)=10.480357比特。
![坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵](http://fs.qqfile.top/re/aHR0cHM6Ly9waWNzNC5iYWlkdS5jb20vZmVlZC80MDM0OTcwYTMwNGUyNTFmNTM3NTk5ZjhhNmY2NjExMTdlM2U1M2EyLmpwZWdAZl9hdXRvP3Rva2VuPTIyZDdhOGFlNzllYzQ3MTBmYTFjYzBlYTVkYWJjYzU40)
三、这些信息熵的要点总结请牢记
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号