本书是"十二五”普通高等教育本科国家级规划教材，且为教育部评选的"2008年度普通高等教育精品教材”。 本书系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各个方面的内容。内容包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆、离散和连续信道的信道容量；香农信息论的三个基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理；网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩(即无失真信源编码)的实用的编码算法与方法，以及信道纠错编码的基本内容和分析方法；最后简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容。尤其是新增第13章,介绍量子力学与信息理论交叉结合而飞速发展起来，又极具诱人前景的量子信息科学。

第5版前言 人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、再生、控制和利用。 信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。 自从1948年美国科学家香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。自此之后，近70多年来，以香农信息论为核心的信息理论不断地深化，从发展走向成熟。尤其是在信息理论的主导和推动下，信息计算技术、信息存储与处理技术以及信息安全可靠的传输技术等都取得了突破性的进展和卓越的成就。这又使信息理论的研究冲破了香农狭义信息的范畴，几乎渗透到生物、语言、艺术、经济管理等自然科学与社会科学的各个领域，从而形成了一门具有划时代意义的新学科——信息科学。更值得关注的是近十多年来，一门量子物理学与香农信息理论交叉融汇的新兴科学——量子信息科学迅速崛起并取得飞速发展。量子信息科学将原有的香农经典信息扩充为量子信息，用微观粒子的量子态来表述量子信息。因此，它必须遵循微观量子态的特性和量子力学理论的规律。这就使信息的提取、计算、传输和处理等都发生了根本性的变革，展现出具有奇特的和惊人的优越性。所以，量子信息科学是当今信息科学领域中最具广阔发展前景的重要研究方向。 如今生活在高度信息化时代的人们充分享受着信息科学与技术成果所带来的福利。尤其是近年来人人手持智能手机，个个都是“千里眼”“顺风耳”。移动互联网——移动视频、移动社交、移动购物等线上化活动也已经成了人们实实在在的生活方式。在这些领域中，只要涉及信息的存储、传输和处理就要用到香农信息理论。所以，现在人们对于信息的概念、信息论的基本理论已不再感到陌生、抽象深奥和难以理解与掌握，同时也越来越意识到学习和掌握信息论的重要性。 本书编著者早在1986年、1989年编写了《信息论基础》一书，作为全国高等电子类第二轮、第三轮统编教材出版。该书于1992年1月荣获第二届机械电子工业部电子类专业优秀教材一等奖。为了适应新的形势和满足广大读者的需要，在该教材基础上，作者经过几十年的教学实践和科研工作的积累，又参阅了大量国内外著名书籍及有关文献，于2001年编写出版了《信息论——基础理论与应用》一书。至今本书已经连续出版了近21年。在此期间，经过调整、增添和修改先后出版了第2版、第3版和第4版。本书被许多高校选用为教材，深受广大读者喜爱。 本书先后荣获： 2000年被评选为教育部面向21世纪高等学校电子信息类教材。 2006年被评选为教育部普通高等教育“十一五”国家级规划教材。 2008年被评选为教育部普通高等教育精品教材。 2014年被评选为教育部“十二五”普通高等教育本科国家级规划教材。 这次修订，保持了第4版的章节体系和特色，更正了错误与疏漏，增添了卷积码的维特比译码以及量子通信的例子和部分内容的补充。 本书在论述方式上，在阐明物理概念和工程背景的基础上，先结合实例建立数学模型，再严格给出详细的、必要的数学推演过程和证明，力求数学结构严谨和完整。在重要定理的数学证明前，都会描述定理和结论的物理意义和实用意义以及证明思路，然后通过严密推理和巧妙的证明反过来进一步说明定理和结论的完美。因此，全书力图做到既有实际应用背景，又有清晰的物理概念和数学思想，层次分明，条理清楚，逻辑性、系统性强，数学证明严谨完整又避免数学的枯燥乏味和麻烦，使信息论这门数学理论性极强的课程易于理解和掌握。 在内容编排上，本书力求由浅入深，循序渐进，合理安排章节。全书引入弱ε典型序列，几个重要定理都采用统一的分析方法进行证明，使定理证明简洁明了，而且又能使单用户信息理论和网络信息论中定理的证明达成统一。但这些章节都用“*”号标出。全书中有“*”号和小字体部份属于严格的数学证明和加深、加宽的内容，这部分省略后并不影响全书的系统性、逻辑性和可读性。 每章结尾均给出小结，以公式形式列出该章的主要内容。各章还配有大量习题。为了避免读者对本书所用符号产生混淆，还将主要所用符号统一列表说明，以供参阅。书后的附录，为读者提供了所要的一些数学知识。同时作者还编写了《信息论与编码学习辅导及习题详解》一书［39］，可供读者学习使用。 全书共13章。第1~4章是全书的基础。首先阐述信息的概念，引出香农关于信息的定义和测度。在这基础上讨论各类离散信源、连续和波形信源的信息测度——信息熵，以及各类离散信道、连续和波形信道的信息传输率和信道容量。 第5~7章主要论述香农信息论的三个基本定理——离散信源的无失真编码定理、有噪信道编码定理及限失真信源编码定理。这部分内容是香农信息论的核心部分。 第8章介绍若干常用的无失真信源编码的方法，以阐明香农无失真信源编码定理的应用和意义。 第9章论述信道纠错编码的基本内容和一些主要纠错码，如线性分组码、循环码和卷积码。这章从香农有噪信道编码定理出发，在读者已具有的工程数学基础上给出了纠错编码的基本概念，然后讨论各种纠错码的编、译码算法。有了这章的学习基础就可以对纠错码理论进行深入的研究。 第10章讨论网络信息论。比较全面地介绍各种网络信源和信道以及它们的编码定理。网络信息理论也是由香农首先提出的，但目前还存在着许多有待研究和解决的理论问题。随着网络通信技术的发展和普及，网络信息理论显得更为重要，已成为信息理论研究的热门领域。 第11章简要地介绍香农运用信息论的观点对信息保密问题的论述。正是香农的论述把信息保密安全问题的研究引入到科学研究的轨道，使保密学迅速发展成为一个独立的科学分支。 第12章简要地探讨一些信息论与热力学、光学、统计学、生物、医学等学科的关系和应用，使读者了解信息论与其他学科交叉结合的发展前景。 第13章对当今信息科学领域中最具有广阔发展前景和重要研究方向的量子信息科学做简要的论述，目的是希望通过本章的介绍，使读者今后能更多地关注量子信息科学发展的动向，对量子信息学激起兴趣，并进行深入研究和探讨。 第1~7章是全书的主体，学好了这几章就掌握了信息论的主要理论和内容。 各高等学校可选用本书作为“信息论”“信息论基础”“信息论与编码”等专业课程的教材。一般安排为64~72学时。各高校、各专业可根据教学要求或学生的知识程度适当选择章节和省略加深、加宽的内容。但对于理科性高校电子信息类研究生应该选择这些加深、加宽的严格数学证明部分。 本书由傅祖芸教授编著。其中第8章“字典码”一节由赵建中老师协助编写。第13章132节量子通信由澳大利亚迪肯大学信息技术系潘磊博士参与修改。 在本书编写修订过程中，参阅了国内外一些经典著作，均列于参考书目中，在此谨向原作者表示深切谢意。电子工业出版社韩同平编辑对本书的修改、再版做了大量的工作，提出了许多宝贵意见，在此也深表感谢。限于编著者水平，书中难免有不妥和错误之处，殷切希望广大读者予以批评指正。 联系方式：fuzuyun@ucasaccn（来信请务必注明真实姓名、单位、职称、联系方式，否则不复。） 编著者2021年10月于北京

目录 第1章绪论 11信息的概念 12信息论研究的对象、目的和内容 13信息论发展简史与信息科学 第2章离散信源及其信息测度 21信源的数学模型及分类 22离散信源的信息熵 221自信息 222信息熵 23信息熵的基本性质 24信息熵的唯一性定理 25离散无记忆的扩展信源 26离散平稳信源 261离散平稳信源的数学定义 262二维离散平稳信源及其信息熵 263离散平稳信源的极限熵 27马尔可夫信源 271马尔可夫信源和m阶马尔可夫 信源的定义 272马尔可夫信源和m阶马尔可夫 信源的信息熵 28信源剩余度与自然语言的熵 29意义信息和加权熵 小结 习题 第3章离散信道及其信道容量 31信道的数学模型及分类 311信道的分类 312离散信道的数学模型 313单符号离散信道的数学模型 32平均互信息及平均条件互信息 321信道疑义度 322平均互信息 323平均条件互信息 33平均互信息的特性 34信道容量及其一般计算方法 341离散无噪信道的信道容量 342对称离散信道的信道容量 343准对称信道的信道容量 344一般离散信道的信道容量 35信道容量的迭代算法 351信道容量的迭代算法 352信道容量迭代算法的收敛性 36离散无记忆扩展信道及其信道容量 37独立并联信道及其信道容量 38串联信道的互信息和数据处理定理 39信源与信道的匹配 小结 习题 第4章波形信源和波形信道 41波形信源的统计特性和离散化 42连续信源和波形信源的信息测度 421连续信源的差熵 422连续平稳信源和波形信源的差熵 423两种特殊连续信源的差熵 43连续信源熵的性质及最大差熵定理 431差熵的性质 432具有最大差熵的连续信源 44连续信源熵的变换 441坐标变换后概率密度函数的变化 442坐标变换后差熵的变化 45熵功率 46连续信道和波形信道的分类 461按信道输入和输出的 统计特性分类 462按噪声的统计特性分类 463按噪声对信号的作用功能分类 47连续信道和波形信道的信息传输率 471基本连续信道的平均互信息 472多维连续信道的平均互信息 473波形信道的信息传输率 474连续信道平均互信息的特性 48连续信道和波形信道的信道容量 481单符号高斯加性信道 482单符号非高斯加性信道 483多维无记忆高斯加性连续信道 484多维有记忆高斯加性连续信道 485限带高斯白噪声加性波形信道 486有色高斯加性波形信道 487香农公式的重要实际指导意义 小结 习题 第5章无失真信源编码定理 51编码器 52等长码 53渐近等分割性和ε典型序列 54等长信源编码定理 55变长码 551唯一可译变长码与即时码 552即时码的树图构造法 553克拉夫特(Kraft)不等式 554唯一可译变长码的判断法 56变长信源编码定理 小结 习题 第6章有噪信道编码定理 61错误概率和译码规则 62错误概率与编码方法 63联合ε典型序列 64有噪信道编码定理 65联合信源信道编码定理 小结 习题 第7章保真度准则下的信源编码 71失真度和平均失真度 711失真度 712平均失真度 72信息率失真函数及其性质 721信息率失真函数 722信息率失真函数的性质 73二元信源和离散对称信源 的R(D)函数 731二元对称信源的R(D)函数 732离散对称信源的R(D)函数 74信息率失真函数的参量表述及其计算 75信息率失真函数的迭代算法 76连续信源的信息率失真函数 761连续信源的信息率失真函数 762高斯信源的信息率失真函数 763连续信源R(D)函数的参量 表述及其计算 77保真度准则下的信源编码定理 771失真ε典型序列 772保真度准则下信源编码定理 的证明 78联合有失真信源信道编码定理 79限失真信源编码定理的实用意义 小结 习题 第8章无失真的信源编码 81霍夫曼（Huffman）码 811二元霍夫曼码 812r元霍夫曼码 813霍夫曼码的最佳性 82费诺（Fano）码 83香农-费诺-埃利斯码 84游程编码和MH编码 841游程编码 842MH编码 85算术编码 86字典码 861LZ77编码算法 862LZ78编码算法 863LZW编码算法 864LZ码复杂度和性能分析 小结 习题 第9章信道的纠错编码 91差错控制的基本形式 92纠错码分类及基本概念 921纠错码分类 922纠错码的基本概念及其 纠错能力 93线性分组码 931一致校验矩阵和生成矩阵 932伴随式及标准阵列译码 933汉明码 94循环码 941循环码结构及其多项式描述 942循环码的生成多项式和 生成矩阵 943循环码的校验多项式和伴随式 944循环码的编、译码器 95卷积码 951卷积码的解析表示 952卷积码的图解表示 953卷积码的维特比译码 小结 习题 第10章网络信息论 101通信网信道的分类 102多个随机变量的联合典型序列 103相关信源编码 104多址接入信道 1041离散多址接入信道 1042多址接入高斯噪声信道 105相关信源和多址接入信道 1051相关信源和多址接入 信道的对偶性 1052相关信源的多址接入信道 106广播信道 107中继信道 108具有边信息的信源编码 109具有边信息的数据压缩 小结 习题 第11章保密系统的基本信息理论 111保密学的基本概念 112保密系统的数学模型 113古典密码体制 1131单表密码 1132移位代换密码 1133乘数密码 1134固定周期d的位移置换 1135多表代换密码 114完全保密性 115理论保密性 116实际保密性 小结 习题 第12章信息论与其他学科的关系和 应用 121信息熵与热力学熵 122信息论与光学 1221光学信息量 1222光量子信道的信道容量 1223最大熵光学图像恢复 123最大熵原理与谱估计 1231高斯随机过程的熵率 1232伯格的最大熵定理 124信息论与生命科学 1241DNA到蛋白质的通信系统 1242信息系数与信息分类 1243医学中的信息分析 小结 第13章量子信息科学简介 131量子力学的基本概念 1311波粒二重性和光量子 1312波函数和量子态 1313量子态叠加原理 1314量子测量与量子态塌缩 1315测不准原理 1316量子纠缠和纠缠态 1317量子隐形传态 132量子通信与量子保密通信 1321量子通信的基本概念 1322量子通信的优越性 1323量子通信密钥分发和量子 隐形传态 1324量子通信的发展现状与前景 133量子信息论 1331量子比特 1332量子信息中的冯·诺依曼熵 1333量子信源编码定理 1334量子信道的信道编码 附录 附录A凸函数和詹森不等式 附录B马尔可夫链 B1马尔可夫链的定义 B2转移概率和转移矩阵 B3各态历经定理 附录C熵函数的函数表 附录D所用符号及编写说明 参考书目和文献