坤鹏论：错了！信息熵≠信息量轻松读懂什么是信息熵(4)

这条消息的信息熵就是1比特，也就是只要再输入1比特信息，就可以消除不确定性，达到100%确定。
让我们再假设有一个不完美、不公正的硬币，它出现正面的概率高于反面的概率。
比如：反面的概率是30%，那么，出现正面的概率是70%，信息熵为：
-[0.3×log(0.3) 0.7×log(0.7)]＝-[0.3×-1.74 0.7×-0.51]＝0.88比特
因此，信息熵与我们肉眼见到的消息长度没有必然关系。
它描述的是这段消息中字符的不确定性（不可预测性）。
所以，一段消息中出现的各种字符越杂乱无章，越具有多样性，信息熵就越高。
比如：acbfacbfopacbacbf和acbfehijkl。
前者重复的字母多，虽然一共17个字母，其实只有6个不同的字母，它的信息熵为：
-log(1/6)＝2.6比特
后者虽然一共只有10个字母，但是，10个字母各个不同，它的信息熵为：
-log(1/10)＝3.3比特
当然，真实世界里，英文有26个字母，再加上一个空格，它也算字符，一共27个，如果它们是等概率被使用，每个字母平均的信息熵＝-log(1/27)＝4.75比特。
不过，实际使用中，英语字母的使用频率是不一样的。
有些字母会明显高于其他字母，这就是典型的幂律分布，到语言这个领域就叫Zipf定律。
Zipf定律表明，在英语单词中，只有极少数的词被经常使用，而绝大多数词很少被使用。
实际上，包括汉语在内的许多国家的语言都有这样的特点。
比如：H，它的出现概率是5.9%，它的信息熵＝-log(0.059)＝4.083141比特。
再比如：Z，它的出现概率只有0.07%，它的信息熵＝-log(0.0007)＝10.480357比特。

三、这些信息熵的要点总结请牢记