信息量的分析方法

度量信息多少的数据，叫信息量。申农在1948年的《通信的数学理论》中首先提出信息的度量问题，并运用概率论确定并证明了信息量的数学程式。如果某系统具有几种独立的可能状态（或结果）:X₁,X₂,X₃…X_n，每一状态出现的概率分别为P (X₁),P (X₂)，…P (Xn)，且所有概率之和等于1，那么，它的某个状态所具有的不定性数量为H (x_i)=-logp (x_i),i=1,2，…，n，而整个系统的各个状态所具有的平均不定性数量就是H (X_i)的数学期望，可记为H (X),

这正是统计热力学的熵函数，是一种不定性的度量。信息是一种被消除的不定性，因此可看作是“负熵”。式中当对数的底取2，且n=2,P (x₁)=P (x₂) =1/2时，H (X)=1，称为1比特。比特就是信息量的单位。可见任何一个事件，如果能够分解成n个可能的二中择一事件，它的信息量就是n个比特。实际上，全部狭义信息论就是建立在公式H (x_i)和H (X)的基础上的。从公式可以看出，出现概率越小，信息量越大；出现概率越大，信息量越小。这和生活中事情越出人意料则信息量越大的感受是一致的。因此有人把信息称为“惊异测度”。信息量的度量可以用于提高通信效率。申农信息量公式只能适用于语法信息度量，不能解决语义信息的度量问题。关于广义信息度量以及信息度量一体化问题，目前都只处于摸索阶段。新闻学中，新闻信息量被理解为具有新鲜度（出现概率小）的事实的集合，新闻信息度量方法的研究还处于模糊定量阶段。