信息论随笔（二）信息熵及其性质
admin
2024-01-22 20:03:39
0次

回顾

上次讲到自信息量，也就是用log(\frac 1 p)来表示一个发生概率为p的事件含有的信息量，或者说不确定度。一个事件的发生的概率越小，它的不确定度越大，含有的信息量也就越大。

信息熵

那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？

考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？

一个直觉的计算方法是：0.3log(\frac 1 {0.3}) + 0.7log(\frac 1 {0.7}).

即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。

信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。

从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。

性质

对称性

信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。

非负性

信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。

确定性

若事件发生概率为1，那么信息熵确定为0。

连续性

当不同事件的概率出现微小变化时，信息熵的变化也很小。

扩展性

略

可加性

H(XY)=H(X)+H(Y|X)

强可加性

当系统X和Y独立，H(XY)=H(X)+H(Y)

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：数据结构--8.排序

下一篇：数据结构：循环队列

相关内容

热门资讯

智慧吴江app安卓系统,安卓系... 你知道吗？最近吴江地区掀起了一股智慧风潮，一款名为“智慧吴江app”的应用在安卓系统上大受欢迎。这款...
苹果系统听歌app安卓,跨平台... 你有没有发现，无论是走在街头还是坐在家里，音乐总是能瞬间点燃我们的心情？而在这个音乐无处不在的时代，...
安卓系统卡顿根源,性能瓶颈与优... 手机用久了是不是感觉越来越卡？是不是每次打开应用都要等半天，甚至有时候直接卡死？别急，今天就来跟你聊...
电脑系统怎么装安卓系统,电脑系... 你有没有想过，把安卓系统装在你的电脑上，是不是就像给电脑穿上了时尚的新衣呢？想象你可以在电脑上直接使...
安卓系统华为手环app,健康管... 你有没有发现，现在的生活越来越离不开智能设备了？手机、平板、手表……这些小玩意儿不仅让我们的生活变得...
switch lite刷安卓系... 你有没有想过，你的Switch Lite除了玩那些可爱的任天堂游戏，还能干些什么呢？没错，今天我要给...
想买华为但是安卓系统,尽享安卓... 最近是不是也被华为的新款手机给迷住了？看着那流畅的线条和强大的性能，是不是心动了呢？但是，一想到安卓...
怎么拷安卓系统文件,安卓系统文... 你有没有想过，手机里的那些安卓系统文件，其实就像是一扇通往手机世界的秘密通道呢？想要深入了解你的安卓...
安卓系统移植按键失灵,安卓系统... 最近你的安卓手机是不是也遇到了按键失灵的尴尬情况呢？这可真是让人头疼啊！别急，今天就来给你详细解析一...
安卓系统更新管理在哪,全面解析... 你有没有发现，你的安卓手机最近是不是总在提醒你更新系统呢？别急，别急，今天就来手把手教你，安卓系统更...
安卓系统哪里出的,从诞生地到全... 你有没有想过，我们每天离不开的安卓系统，它究竟是从哪里冒出来的呢？是不是觉得这个问题有点儿像是在问星...
最好的电脑安卓系统,最佳电脑安... 亲爱的电脑迷们，你是否在寻找一款既能满足你工作需求，又能让你畅享娱乐的电脑操作系统呢？今天，我要给你...
安卓系统保密性,守护隐私的坚实... 你知道吗？在这个信息爆炸的时代，保护个人隐私变得比以往任何时候都重要。尤其是对于安卓系统用户来说，了...
苹果系统下载安卓版本,安卓版本... 你有没有想过，为什么苹果系统的手机那么受欢迎，却还有人想要下载安卓版本呢？这背后可是有着不少故事呢！...
安卓系统如何下载carplay... 你是不是也和我一样，对安卓系统上的CarPlay功能充满了好奇？想象在安卓手机上就能享受到苹果Car...
退回安卓系统的理由,揭秘安卓系... 你有没有想过，为什么有些人会选择退回到安卓系统呢？这可不是一件简单的事情，背后可是有着不少原因哦！让...
安卓机系统互通吗,共创智能生态 你有没有想过，你的安卓手机里的应用和电脑上的安卓应用是不是可以无缝对接呢？是不是有时候觉得手机上的某...
安卓源码 添加系统应用,系统应... 你有没有想过，手机里的那些系统应用是怎么来的？是不是觉得它们就像天外来物，神秘又神奇？其实，只要你愿...
安卓系统能否播放flv,全面解... 你有没有想过，你的安卓手机里那些珍贵的FLV视频文件，到底能不能顺利播放呢？这可是个让人挠头的问题，...
奔驰c系安卓系统,智能驾驶体验... 你有没有发现，最近开奔驰C系的小伙伴们都在悄悄地谈论一个新玩意儿——安卓系统！没错，就是那个我们手机...