信息编码
信息编码是指为了达到某种目的而对信号进行的一种变换，其逆变换称为译码或解码。信息编码理论与数理统计、概率论、随机过程、线性代数、近世代数、数论、有限几何和组合分析等学科有密切关系，已成为应用数学的一个分支。根据信息编码的目的不同，编码理论有三个分支：
❶信源编码。对信源输出的信号进行变换，包括连续信号的离散化，即将模拟信号通过采样和量化变成数字信号，以及对数据进行压缩，提高数字信号传输的有效性而进行的编码。
❷信道编码。对信息即信源编码器输出的信号进行再变换，包括区分通路、适应通道条件和提高通信可靠性而进行的编码。
❸保密编码。对信道编码器输出的信号进行再变换，即可使信息在传输过程中不易被人窃取而进行的编码。编码理论在数字化遥测遥控系统、电气通信、数字通信、图像通信、人际通信、卫星通信、深空通信、计算技术、数据处理、图像处理、自动控制、人工智能和模式识制等方面都有极其广泛的应用。
1843年美国著名画家S.F.B.莫尔斯精心设计出莫尔斯码，广泛应用在电报通信中。莫尔斯码使用三种不同的符号：点，划和间隔。可看作是顺序三进制码。根据编码理论可以证明，莫尔斯码与理论上可达到的极限只差15%。但是直到20世纪30-40年代才开始形成编码理论。1928年美国电信工程师H.奈奎斯特提出著名的采样定理，为连续信号离散化奠定了基础。1948年美国应用数学家C.E.香农在 《通信中的数学理论》 一文中提出信息熵的概念，为信源编码奠定了理论基础。1949年香农在 《有噪声时的通信》一文中提出了信道容量的概念和信道编码定理，为信道编码奠定了理论基础。无噪信道编码定理（又称香农第一定理）指出，码字的平均长度只能大于或等于信源的熵。有噪信道编码定理（又称香农第二定理）则是编码存在定理。它指出只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小。随着计算技术和数字通信的发展，纠错编码和密码学得到迅速发展。
在信源编码方面，1951年香农证明，当信源输出有冗余的消息时可通过编码改变信源的输出，使信息传输速率接近信道容量。1948年香农就提出能使信源与信道匹配的香农编码。1949年美国麻省理工学院的R.M. 费诺提出费诺编码。1951年美国电信工程师D.A.霍夫曼提出更有效的霍夫曼编码，此后又出现了传真编码、图像编码和话音编码，对数据压缩进行了深入的研究，解决了数字通信中提出的许多实际问题。
在纠错编码方面，1948年香农就提出一位纠错码。1949年出现三位纠错的格雷码。1950年美国数学家R.W.汉明发表论文 《检错码和就错码》，提出著名的汉明码，对纠错编码产生了重要的影响。1955年出现卷积码，卷积码至今仍有很广泛的应用。1952年引入循环码。循环码构造简单，便于应用代数理论进行设计，也容易实现。1959年出现能纠正突发错误的哈格伯尔格码和费尔码。1965年提出序贯译码，序贯译码已用手空间通信。1967年A.J.维特比提出最大似然卷织译码，称为维特比译码。1978年出现矢量编码法。矢量编码法是一种高效率的编码技术。1980年用数论方法实现里德-所罗门码，这种纠错编码技术能使编码器集成电路的元件数减少一个数量级。它已在卫星通信中得到广泛应用。
在密码学方面，1949年香农发表《保密系统的通信理论》，通常它被认为是密码学的先驱性著作。1979年狄非和赫尔曼首次提出公开的密钥体制，为密码学的研究开辟了新的方向。超大规模集成电路和高速计算机的应用，促进了保密编码理论的发展，同时也给保密通信的安全性带来很大的威胁。20世纪70年代以来把计算机复杂性理论引入密码学，密钥空间增大，使密码的分析搜索面临严重挑战，促其向纵深发展。
信息编码
信息编码是指为了达到某种目的而对信号进行的一种变换，其逆变换称为译码或解码。信息编码理论与数理统计、概率论、随机过程、线性代数、近世代数、数论、有限几何和组合分析等学科有密切关系，已成为应用数学的一个分支。根据信息编码的目的不同，编码理论有三个分支：
❶信源编码。对信源输出的信号进行变换，包括连续信号的离散化，即将模拟信号通过采样和量化变成数字信号，以及对数据进行压缩，提高数字信号传输的有效性而进行的编码。
❷信道编码。对信息即信源编码器输出的信号进行再变换，包括区分通路、适应通道条件和提高通信可靠性而进行的编码。
❸保密编码。对信道编码器输出的信号进行再变换，即可使信息在传输过程中不易被人窃取而进行的编码。编码理论在数字化遥测遥控系统、电气通信、数字通信、图像通信、人际通信、卫星通信、深空通信、计算技术、数据处理、图像处理、自动控制、人工智能和模式识制等方面都有极其广泛的应用。
1843年美国著名画家S.F.B.莫尔斯精心设计出莫尔斯码，广泛应用在电报通信中。莫尔斯码使用三种不同的符号：点，划和间隔。可看作是顺序三进制码。根据编码理论可以证明，莫尔斯码与理论上可达到的极限只差15%。但是直到20世纪30—40年代才开始形成编码理论。1928年美国电信工程师H.奈奎斯特提出著名的采样定理，为连续信号离散化奠定了基础。1948年美国应用数学家C.E.香农在《通信中的数学理论》一文中提出信息熵的概念，为信源编码奠定了理论基础。1949年香农在《有噪声时的通信》一文中提出了信道容量的概念和信道编码定理，为信道编码奠定了理论基础。无噪信道编码定理（又称香农第一定理）指出，码字的平均长度只能大于或等于信源的熵。有噪信道编码定理（又称香农第二定理）则是编码存在定理。它指出只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小。随着计算技术和数字通信的发展，纠错编码和密码学得到迅速发展。
在信源编码方面，1951年香农证明，当信源输出有冗余的消息时可通过编码改变信源的输出，使信息传输速率接近信道容量。1948年香农就提出能使信源与信道匹配的香农编码。1949年美国麻省理工学院的R.M.费诺提出费诺编码。1951年美国电信工程师D.A.霍夫曼提出更有效的霍夫曼编码，此后又出现了传真编码、图像编码和话音编码，对数据压缩进行了深入的研究，解决了数字通信中提出的许多实际问题。
在纠错编码方面，1948年香农就提出一位纠错码。1949年出现三位纠错的格雷码。1950年美国数学家R.W.汉明发表论文《检错码和就错码》，提出著名的汉明码，对纠错编码产生了重要的影响。1955年出现卷积码，卷积码至今仍有很广泛的应用。1952年引入循环码。循环码构造简单，便于应用代数理论进行设计，也容易实现。1959年出现能纠正突发错误的哈格伯尔格码和费尔码。1965年提出序贯译码，序贯译码已用于空间通信。1967年A.J.维特比提出最大似然卷织译码，称为维特比译码。1978年出现矢量编码法。矢量编码法是一种高效率的编码技术。1980年用数论方法实现里德一所罗门码，这种纠错编码技术能使编码器集成电路的元件数减少一个数量级。它已在卫星通信中得到广泛应用。
在密码学方面，1949年香农发表《保密系统的通信理论》，通常它被认为是密码学的先驱性著作。1979年狄非和赫尔曼首次提出公开的密钥体制，为密码学的研究开辟了新的方向。超大规模集成电路和高速计算机的应用，促进了保密编码理论的发展，同时也给保密通信的安全性带来很大的威胁。20世纪70年代以来把计算机复杂性理论引入密码学，密钥空间增大，使密码的分析搜索面临严重挑战，促其向纵深发展。