信息余度redundant of information

当一系列概率事件受两类序列约束时，说明某一事件所需的一部分信息已包含在此事件前的序列中，那么这一事件所需信息少于log₂N比特。这个差异就是信息余度。这两类序列约束就是：(1)分布约束，即不同事件不是等概率发生的。(2)顺序约束，即按顺序发生的事件并不是等概率发生的。信息余度%R 用最大信息量和平均信息量之差来测量。通常用下式表示：

这里%R 是信息余度，Hmax是最大信息量，H_ave是平均信息量。