信息论

---

为美国数学家申农所创立。

它分狭义和广义两种。狭义信息论是用数理统计方法研究通讯系统中普遍存在的信息处理和信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的科学。

广义信息论是利用狭义信息论来研究所有与信息有关的领域(模式识别、心理学、生物学和神经生理学等)的理论。

它表征一切通讯和控制系统内部各部分之间相互联系的各系统之间传递的用以消除系统不确定性的东西，反映一个组织或系统内部的有序程度。

信息可用信息量计算和描述，其计算的数学公式是：

公式中H为信息量；p(i)为各事件出现的概率；K为常数。信息论的重要方法是信息方法，该方法是运用信息的观点，把系统看作借助于信息的获取、传递、加工处理而实现其有目的性的运动的一种研究方法。

其过程如图示：

信息论的产生有著巨大的哲学意义，它为研究物质的普遍性、世界物质的统一性、意识的本质和思维自我控制的功能开辟了新的途径。