本书系统地论述信息论与纠错编码的基本理论。全书共9章，内容包括：信息的定义和度量,离散信源和连续信源的信息熵，信道和信道容量，平均失真度和信息率失真函数，三个香农信息论的基本定理，若干种常见实用的无失真信源压缩编码的方法，以及信道纠错编码的基本内容和分析方法。本书深入浅出、概念清晰、系统性和可读性强,可作为高等院校相关专业的本科生教材或教学参考书，也可供科研院所从事信息科学理论、技术、方法研究的科研和工程技术人员参考。

信息论与编码是一门用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用的一般规律的科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。自20世纪中叶香农信息论问世以来，信息理论本身得到不断发展和深化，尤其在这个理论主导和推动下，信息技术也得到飞快发展。这又使信息理论的研究冲破了香农狭义信息论的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成一门具有划时代意义的新兴学科——信息科学。信息论正是信息科学与技术发展的源泉，也是信息科学与信息技术的理论基础。 当今人们生活在高度信息化的时代，移动通信、互联网通信、多媒体技术、计算机技术、空间技术、可视技术、智能技术等信息科学与技术获得了超出人们想象的、前所未有的发展速度。在这些信息科学与技术领域中，只要涉及信息的存储、传输和处理的问题就要用到香农信息论的基本理论。甚至人们的日常工作与生活，如智能手机、移动购物、移动社交、虚拟世界、远程医疗等都与信息科学与技术息息相关。所以，现在人们对于信息的概念已不再感到陌生、新奇、深奥和难以理解与掌握，也越来越意识到学习和掌握信息理论的必要性和重要性。 由傅祖芸编著的《信息论——基础理论与应用》一书，系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各方面的内容。该书为国内信息论方面的经典教材。第1版于2001年出版，第5版于2022年1月出版，先后印刷40余次，发行20余万册。历经20余年的精心培育、多次修订，得到了国内高等院校的广泛选用和诸多好评，并先后被遴选为普通高等教育“十一五”“十二五”国家级规划教材。 这本《信息论与编码》，为《信息论——基础理论与应用》的精简版，是为了满足我国高等教育的普及化发展、诸多新设置专业的课程要求而改编的，以适应更多院校、更多专业、不同学时数的教学需要。 本书虽是精简版，但仍然系统地包含了信息论与编码的全部基本内容，只是教材的深度和广度都稍浅一点。 本书的宗旨是，保留原书的科学性、系统性、逻辑性和可读性。对于信息论与编码的基本概念和重要结论必须讲述准确、清楚。 全书仍注重基本概念、基本分析方法和基本定理的论述。在论述方式上，在阐明物理概念和工程背景的基础上，先结合实例建立数学模型，再给出结论和定理。力求条理清晰，物理概念必须准确和严谨完整。虽省略部分定理的严格复杂的数学证明，但仍讲清定理证明的思路及定理的物理意义和实用意义，以使学生明白重要定理不是凭空产生的，是有理论依据的，定理与结论是完美的。在内容的编排上，力求由浅入深、循序渐进，合理而系统地安排章节。全书力求做到既有实际应用背景，又有清晰的物理概念和数学思想。 全书共9章。第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农信息的定义和测度。在这基础上讨论各类离散信源、连续和波形信源的信息测度——信息熵，以及各类离散信道、连续和波形信道的信息传输率和信道容量。第5、6、7章主要论述香农信息论的三个基本定理——无失真信源编码定理、有噪信道编码定理及限失真信源编码定理。这部分内容是香农信息论的核心部分。第8章介绍若干常见实用的无失真信源压缩编码的方法，以阐明香农无失真信源编码定理的应用和意义。第9章论述了信道纠错编码的基本内容和一些主要纠错码。有了这章的学习基础就可以对纠错码理论进行深入的研究。 每章结尾均给出小结，以公式形式列出该章的主要内容。各章还配有大量习题。小结与习题都有助于学生掌握各章的内容。 本教材的参考学时数为48~64。不同院校和专业可以进行适当调整。书中标有“*”号的小节和小字体部分均属于加深和加宽的内容。可根据学时的多少或教学要求适当取舍，省略后并不影响全书的系统性和可读性。 本书由傅祖芸教授编著。其中第8章“字典码”一节由赵建中老师协助编写。 在本书编写修订过程中，参阅了国内外一些经典著作，均列于参考书目中，在此谨向原作者表示深切谢意。限于编著者的水平，书中有不妥和错误之处，殷切希望广大读者予以批评指正。 编著者 联系方式：fuzuyun@ucasaccn(来信请务必注明真实姓名，单位，联系方式，否则不复。)

第1章绪论 11信息的概念 12信息论研究的对象、目的和内容 *13信息论发展简史与信息科学 第2章离散信源及其信息测度 21信源的数学模型及分类 22离散信源的信息熵 221自信息 222信息熵 23信息熵的基本性质 24离散无记忆的扩展信源 25离散平稳信源 251离散平稳信源的数学定义 252离散二维平稳信源及其信息熵 253离散平稳信源的极限熵 26马尔可夫信源 261马尔可夫信源的定义和马尔可夫 信源的信息熵 262m阶马尔可夫信源的定义及其 信息熵 27信源冗余度与自然语言的熵 小结 习题 第3章离散信道及其信道容量 31信道的数学模型及分类 311信道的分类 312离散信道的数学模型 313单符号离散信道的数学模型 32平均互信息及平均条件互信息 321信道疑义度 322平均互信息 323平均条件互信息 33平均互信息的特性 34信道容量及其一般计算方法 341离散无噪信道的信道容量 342对称离散信道的信道容量 343准对称信道的信道容量 344一般离散信道的信道容量 35离散无记忆扩展信道及其信道容量 36独立并联信道及其信道容量 37串联信道的互信息和数据处理定理 38信源与信道的匹配 小结 习题 第4章波形信源和波形信道 41连续信源和波形信源的信息测度 411连续信源的差熵 412连续平稳信源和波形信源的差熵 413两种特殊连续信源的差熵 42连续信源熵的性质及最大差熵定理 421差熵的性质 422具有最大差熵的连续信源 43熵功率 44连续信道和波形信道的信息传输率 441连续信道和波形信道的分类 442连续信道和波形信道的信息 传输率 443连续信道平均互信息的特性 45高斯加性波形信道的信道容量 451单符号高斯加性信道 452限带高斯白噪声加性波形信道 453香农公式的重要实际指导意义 小结 习题 第5章无失真信源编码定理 51编码器 52等长码 *53渐近等分割性和ε典型序列 54等长信源编码定理 55变长码 551唯一可译变长码与即时码 552即时码的树图构造法 553克拉夫特(Kraft)不等式 554唯一可译变长码的判断法 56变长信源编码定理 小结 习题 第6章有噪信道编码定理 61错误概率和译码规则 62错误概率与编码方法 63有噪信道编码定理 64联合信源信道编码定理 小结 习题 第7章保真度准则下的信源编码 71失真度和平均失真度 711失真度 712平均失真度 713保真度准则 72信息率失真函数及其性质 721信息率失真函数 722信息率失真函数的性质 *73信息率失真函数的参量表述及其 计算 74二元对称信源和离散对称信源的R(D) 函数 741二元对称信源的R(D)函数 742离散对称信源的R(D)函数 75连续信源的信息率失真函数 751连续信源的信息率失真函数 752高斯信源的信息率失真函数 76保真度准则下的信源编码定理 77联合有失真信源信道编码定理 78限失真信源编码定理的实用意义 小结 习题 第8章无失真的信源编码 81霍夫曼（Huffman）码 811二元霍夫曼码 812r元霍夫曼码 813霍夫曼码的最佳性 82费诺（Fano）码 83香农—费诺—埃利斯码 84游程编码和MH编码 841游程编码 842MH编码 85算术编码 86字典码 861LZ-77编码算法 862LZ-78编码算法 863LZW编码算法 864LZ复杂度和LZ码性能分析 小结 习题 第9章信道的纠错编码 91差错控制的基本形式 92纠错编码分类及基本概念 921纠错编码分类 922纠错编码的基本概念及其纠错 能力 93线性分组码 931一致校验矩阵和生成矩阵 932伴随式及标准阵列译码 933汉明码 94循环码 941循环码结构及其多项式描述 942循环码的生成多项式和生成 矩阵 943循环码的校验多项式和伴随式 944循环码的编、译码器 95卷积码 951卷积码的解析表示 952卷积码的图解表示 953卷积码的维特比译码 小结 习题 附录A凸函数和詹森不等式 附录B马尔可夫链 B1马尔可夫链的定义 B2转移概率和转移矩阵 B3各态历经定理 附录C熵函数的函数表 参考书目及文献