信息熵

一句话里面包含的信息有大有小，提供的信息就可以用信息熵来衡量。

比如抛硬币，结果提供的信息就比摇骰子得到的结果的信息量要少。

比如一个数字可能是1～4，最少要用两个判断来说明到底是几。所以就是2bit

https://zhuanlan.zhihu.com/p/89958871

https://blog.csdn.net/weixin_38381682/article/details/79843060

https://blog.csdn.net/saltriver/article/details/53056816