本课程是研究信息传输和信息处理的基础理论,是通信工程、信息工程、信息安全等专业的一门专业基础课。本课程围绕通信系统的需求阐述信息论的理论理论,包括信息及其度量、信道及其容量、无失真信源编码、率失真理论等。通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念,为后续专业课学习打下坚实的理论基础。
通过课程学习,使学生能够较深刻地理解信息传输的基本理论,初步建立信息传输系统的整体概念以及信源编码、信道编码的基本概念和方法,为后续专业课学习打下坚实的理论基础。
1.绪论
章节导引
1.1 信息论的对象与方法
1.2 信息论的主要研究内容
1.3 Shannon信息的定义
1.4 Shannon的大师风范
第一章单元测试
2.信息量与熵
章节导引
2.1 离散变量的非平均互信息
2.2 离散变量的非平均自信息
2.3 离散集的平均自信息-熵
2.4 离散集的平均互信息
2.5 连续随机变量的微分熵
2.6 连续随机变量的互信息
第二章单元测试
3.信源及其信息测度
章节导引
3.1 离散无记忆信源的数学模型
3.2 离散无记忆信源的信息测度
3.3 离散有记忆信源的信息测度
3.4 连续信源的数学模型及其信息测度
习题课-熵和平均互信息的应用
第三章单元测试
4.信道及其容量
章节导引
4.1 信道的数学模型及分类
4.2 信道及其容量
4.3 离散无记忆信道的容量
4.4 组合信道的容量
4.5 时间离散的连续信道的容量
4.6 波形信道的容量
习题课-信道及其容量
第四章单元测试
5.无失真信源编码理论
章节导引
5.1 DMS等长编码理论
5.2 DMS不等长编码理论
5.3 Huffman编码
5.4 算术编码
5.5 LZ编码
习题课-无失真信源编码
第五章单元测试
6.信道编码理论
章节导引
6.1 信道编码基本概念
6.2 几种常见的译码准则
6.3 信道编码定理
6.4 分组码基本概念
6.5 线性分组码之代数基础
6.6 线性分组码
6.7 卷积码
6.8 LDPC码
习题课-信道编码理论
第六章单元测试
7.率失真理论
章节导引
7.1 率失真函数的定义
7.2 率失真函数的性质
7.3 率失真函数的计算
7.4 率失真函数的参量描述
7.5 连续信源的率失真
习题课-率失真理论
第七章单元测试
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、加密学、数据压缩等问题的应用数学学科,也是通信与信息系统学科的一门专业基础课程,在基础课和专业课之间起承上启下作用,因此本课程需要先修概率论与数理统计、随机过程、信号与系统等课程。
推荐教材:
《信息论与编码理论》,王育民、李晖编,高等教育出版社
参考书:
[1] 王新梅、肖国镇编,《纠错码——原理与方法》,西安电子科技大学出版社,2001.
[2] Cover, T. M, Elements of Information Theory, Beijing: Tsinghua University Press, 2003.11.
[3] Robert J. McEliece, The Theory of Information and Coding, 2nd Edition. Cambridge: Cambridge University Press, 2002.