坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵(3)
2023-05-01 来源:飞速影视
在信息论中,熵度量的是一条信息的不确定程度,即身为信源发出的所有可能信息中的一条信息的概率。
这些可能信息的出现概率不一定相等,所以香农的公式是:
![坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵](http://fs.qqfile.top/re/aHR0cHM6Ly9waWNzMi5iYWlkdS5jb20vZmVlZC8xMTM4NTM0M2ZiZjJiMjExMTliMjgwYWZjOGYwY2QzZTBkZDc4ZTJkLmpwZWdAZl9hdXRvP3Rva2VuPTkyODM3OGZhZmU1ZjFkNjNhZjk2MzllNWU2MWJlODNl0)
两个公式几乎一模一样,这并不是巧合。
大自然对相似问题本就给出了相似答案。
热力学的熵,讲的是系统的混乱程度,信息熵也是如此,越是看上去杂乱无章的消息,信息熵越高。
事实上,这是同一个问题,热力学中,要想减少系统的熵,就要从外部输入可用能量。
在信息论中,一条外部输入的、确定的信息会减少系统内由所有可能信息组成的集合的熵。
热力学的熵和信息论的熵,它们也有不同之处。
传统热力学中,熵被定义为对系统的宏观测定,并没有涉及概率分布,而概率分布是信息熵的核心定义。
![坤鹏论:错了!信息熵≠信息量轻松读懂什么是信息熵](/images/loading.gif)
上面的文字,估计很难读懂,我们简化理解一下。
热力学的熵,代表着系统的无序、混乱程度。
混乱程度越大,熵越大。
信息熵,代表着事件的不确定性程度。
不确定性程度越大,信息熵越大。
让我们用几十年来最流行的信息熵的通俗例子解释一下。
假设有一个完美公正的硬币,每次抛出正面朝上的概率都是1/2。
如果你告诉我这一次抛硬币的结果是正面朝上,这个消息的不确定性程度就是:
-log(1/2)=1
log是以2为底的对数,这是初中数学学的。
如果你不会,可以搜索“Log2在线计算器”,只要输入概率就能算出结果。
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)
www.fs94.org-飞速影视 粤ICP备74369512号