信源
产生信息的具体来源。 信息是抽象的，载荷于声、光、电等物理信号。如人的发声系统是语声信源，书和报纸是文字信源，电视中的摄像机是图像信源。根据其符号性质分为离散或连续、有记忆或无记忆、平稳或非平稳等类型。作为随机变量的符号，取值于离散集合的称作离散信源，取值于某一连续区域的称作连续信源；序列中前、后符号相互统计独立时，称为无记忆信源，否则称为有记忆信源。 在无记忆信源中，若各符号的统计特性相同，称为平稳无记忆信源。而实际的信源往往都是有记忆的。 可用信息熵(即信源的平均不确定度)来定量描述。信息熵在数值上反映了信源可以提供的信息量。一般情况下，每个信源符号的信息熵常小于每个符号能载荷的信息量，这表明信源存在著冗余度。 |