信息论
研究信息传输及信息处理的数学理论。 是信息科学的基本理论之一。由于信息论与很多学科密切相关，并起著指导的作用，因而具有高度的科学概括性。所谓信息，是指具有新内容、新知识的消息。一般来说，信息是系统确定程度的标志。 而系统就是我们称为这样或那样的对象。 早在19世纪，当人类打算通过电线传送信号的初期，实际上就有了信息论这一术语。 传送信息的信道的频率特性，在工程学的意义上成了信息论发展的根据。信息论发展起来的重要理由是通信发展的同时，引起了最初没有料到的信道的相互干扰。为了解决这些难题，不断地涌现出各种巧妙的发明。这种努力一直持续到本世纪40年代。1948年美国科学家申农发表了《通讯的数学理论》一文，标志信息论这门新学科的诞生。当今，我们处在一个高度信息化的社会。 现实世界中，绝大多数系统都涉及到信息的传送、编码、变换和储存。例如，父母的某些特征总是要以一定方式通过遗传信息传递给下一代。 当要利用电子计算机建立人工的信息处理系统时，信息的量化就是首要的问题。实际上，信息论就是利用数学方法，主要是概率统计方法研究信息的计量和传送、变换和储存的一门学科。 其任务在于解决通信上的两个基本问题：提高传送消息的效能和保证传送消息的完成。信息和重量、长度不同，若对信息的大小作定量的描述，必须考虑到信息量本身的性质。 直觉上，“计算机杀了一个人”要比“计算机证明了一个定理”所包念的信息量要大。如果用统计学的术语描述，一条消息若其表示的事件发生的可能性小，其信息量就大。 把信息量定义为一条消息所示事件发生概率的倒数，再取以2为底的对数。其单位是比特。 即对数学式子－log2ρ。 |