第1版前言

1948年，美国科学家香农（C.E.Shannon）发表了题为“通信的数学理论”的学术论文，宣告了信息论的诞生。信息论的产生和发展与通信技术、计算机技术的产生与发展密切相关，历史上大体分为早期酝酿、理论建立与发展以及理论应用与近代发展三个阶段。从信息的度量开始，信息的概念和研究范围在不断扩大和深化，并迅速渗透到其他相关学科领域。目前，信息论的应用领域从自然科学扩展到经济、管理科学甚至人文社会科学，其内涵从狭义信息论延展到如今的广义信息论，发展成为涉及面极广的信息科学。

信息论研究信息的度量问题，关注信息如何能有效地、可靠地、安全地从信源传输到信宿。香农熵是香农信息论中有关信息度量的基础，它与事件发生的概率相联系，是平均“不确定性”。在香农熵的基础上，可进一步引入联合熵、条件熵、互信息、信道容量和信息率失真函数等概念，它们可视为信息度量的其他形式。值得注意的是：虽然香农熵以概率分布构成的不确定性为度量基础，但是随着信息科学的不断发展，香农熵的理解也被日益加深和扩大，新的信息度量与新的学科分支不断出现，形成了诸如量子信息论中的冯·诺依曼熵等概念的延伸。

信息论的基础内容理论性很强。在多年教学过程中，作者观察到学生的学习难点，以及对所学知识实用性的疑惑。本书力求理论和实际相结合，确保读者在理解基本概念的基础上，了解信息论在实际通信中的应用。通过相关应用的MATLAB程序实例，让读者体会信息论对实际通信的理论指导。

本书共7章，第1章是绪论，阐述了什么是信息、什么是信息论、信息论的应用及成果，以及信息论的研究范畴。在整体上给出信息论的概念及其应用价值。

第2章介绍信源与信息熵，包括信息论中信源的数学描述，信息熵的定义及概念推广，涵盖联合熵、相对熵及互信息，离散单符号信源的熵、离散序列信源的熵及连续信源熵的计算及表示方法，并给出信息熵的MATLAB程序实现以及信息熵在图像分割中的应用。本章是后续章节的基础。

第3章介绍信道与信道容量，在信道数学描述的基础上，给出信道容量的定义。在此基础上，给出了离散单符号信道、离散序列信道，以及限时限频连续信道的容量计算及表示方法，推演了香农容量计算表达式。此外，该章给出了计算信道容量的MATLAB程序实例，以及计算多输入多输出（MIMO）系统的容量的程序实例。

第4章介绍信源编码理论，包括无失真信源编码理论和限失真信源编码理论，其中无失真信源编码理论包括定长编码定理和变长编码定理，并在理论基础上，介绍了具体的无失真信源编码方法，包括香农码、赫夫曼码和算术编码。本章进一步给出了限失真和信息率失真函数的定义以及具体的限失真编码方法；同样，也给出了无失真和限失真编码方法的MATLAB程序实例。

第5章介绍信道编码理论，在最佳译码准则的基础上，给出了信道编码的码空间表示，并阐述了信道编码定理，引出常见的信道编码方法，包括线性分组码、循环码和卷积码。该章也给出具体信道编码方法的MATLAB程序实例。

第6章介绍网络信息理论，针对相关信源、多址信道、多址高斯信道和广播信道，给出它们可达速率区域的定义和计算方法，包括相关信源可达速率区域、多址接入信道容量区域和广播信道的容量区域。

第7章介绍量子信息理论，论述香农信息理论在量子力学框架下的延伸，介绍量子信息的基本概念，包括量子比特和量子信息熵的定义。在此基础上，进一步阐述量子信源编码理论和量子信道编码理论。

本书由赵生妹编著。在编写过程中得到了南京邮电大学在校研究生施鹏、王乐、毛钱萍和张文浩等同学的大力帮助，在此对他们表示衷心的感谢。

限于编者水平有限，书中难免存在不妥或谬误之处，殷切希望读者指正。

编者

2017年1月