信息度量

对信息能量的测定与衡量。长期以来，人们对信息没有明确的认识，更谈不上信息度量。20世纪40年代，美国数学家、信息论奠基人申农(C.E.Shannon)提出了信息度量的理论与方法。信息量的大小，取决于表现信息内容的消息的不肯定程度，消息的不肯定程度大，则发出的信息量就大，反之，就小。譬如，事先就确切地知道消息的内容，那么，这条消息中所包含的信息量就等于零。由于消息的不肯定程度是随机产生的，因而消息的不肯定程度，就要依赖于整个消息集合中所发生的概率。