1.2　什么是信息论

在通信过程中，信息如何被度量，如何保证信息的有效传输，以及如何保证信息在有噪声的信道中可靠地传输，这些都是信息论所研究的问题。其中信息的度量是最重要的问题，香农首次将信息的不确定性作为信息的度量，并在此基础上提出了信息熵的概念。

香农（Shannon）熵是香农信息论中信息度量的基础，它与事件发生的概率相联系，以“不确定性”作为度量的基础。进一步地，可引入联合熵、条件熵、互信息、信道容量和率失真函数等概念，它们可看作是信息度量的其他形式。值得注意的是：香农熵虽然是以概率分布构成的不确定性为度量基础，但是随着信息科学的不断发展，香农熵的理解也被日益加深和扩大，新的信息度量与新的学科分支不断出现，例如，出现了量子信息论中的冯·诺依曼熵等新型熵概念的延伸。

信息论的产生和发展与通信、计算机技术的产生和发展密切相关，信息论的历史大体可以分为早期酝酿、理论建立与发展以及理论应用与近代发展三个阶段，下面将逐一进行介绍。