信息论

---

运用数学方法研究信息处理和信息传递的科学。

它研究在通讯和控制系统中普遍存在的信息传输的共同规律，以及如何提高信息传输系统的有效性和可靠性。信息论由美国数学家申农首先提出。

1948年，《贝尔系统技术》杂志发表了他的《通讯的数学理论》一文，奠定了信息论的数学理论基础。从目前来看，信息论可分为以下三个方面：一是以编码为中心的信息理论，主要研究信息模型、信息度量、信道容量、信源统计特性、信源编码、信道编码等。二是以信号为主要对象的信息理论，包括信号如噪声的统计分析、信号的最优过滤、预测、检测和估值等理论。三是以计算机为中心的基本信息理论。

这种理论包括语言、文字、图象的模式识别、自动机器的翻译和学习理论等。