坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵(2)
2023-05-01 来源:飞速影视
所以,香农说:
信息,是能够用来消除不确定性的东西。
逆香农定义的定义更香、更容易理解:信息,是确定性的增加。
那么,什么是不确定性?
不确定性用数学语言可称之为概率。
只要概率不是100%都是不确定性。
消除不确定性的过程就是将某件事的从某个概率变成1。
香农认为,这个概率变化的过程,就需要输入信息来改变。
那么,到底要输入多少信息呢?
那就要看某件事有多么不确定性,也就是还需要输入的信息量和它的概率相关。
于是,信息量与概率发生了关系。
香农的贡献就在于,他给出了计算不确定性的量化公式,就像前面所说,科技的第一步就是要能量化。
正如我们想要衡量某个物体的质量引入了克这个单位、我们想衡量时间,我们设计一秒钟这么长。
香农想要量化一条消息中可带有的信息量大小,提出了信息熵,并给出了单位——比特。
不过,要特别特别注意的是,信息熵虽然可以告诉我们可输入的信息量。
但它并不直接等于信息量,严格意义上讲,信息熵≠信息量。
坤鹏论发现,就像错误地认为“熵=混乱”一样,太多人认为“信息熵=信息量”,于是也就错上加错,知识完全混乱。
![坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵](http://fs.qqfile.top/re/aHR0cHM6Ly9waWNzNi5iYWlkdS5jb20vZmVlZC80YjkwZjYwMzczOGRhOTc3ZThiOTM4MTdiMzIxNTAxZjg3MThlM2ViLmpwZWdAZl9hdXRvP3Rva2VuPTI0MTc1ZjRhOTg5OTRmZmYxZjRmMTYxY2ZiNjBlMzVm0)
二、热力学的熵和信息论的熵
好了,理解了上面部分,也就有了信息熵的定义。
但是,还是让我们读一读严谨的定义以及它的数学公式。
统计力学中,熵度量的是一个物理系统的微观态的不确定程度,也就是处于所有可能微观态中的一种的概率。
这些可能微观态的出现概率不一定相等,所以统计力学的公式是:
![坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵](/images/loading.gif)
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号