spContent=本课程以讲解香农信息理论及编码技术为主线，贯穿各个知识点的应用实例。通过学习，使学生掌握信息传输系统各个部分的理论基础与原理，能从信息理论的角度来理解、分析信息的有效、可靠传输使如何实现的，并能够用信息论的方法来解决生活中的一些常见问题，做到理论与实际相结合。
本课程以讲解香农信息理论及编码技术为主线，贯穿各个知识点的应用实例。通过学习，使学生掌握信息传输系统各个部分的理论基础与原理，能从信息理论的角度来理解、分析信息的有效、可靠传输使如何实现的，并能够用信息论的方法来解决生活中的一些常见问题，做到理论与实际相结合。
—— 课程团队
课程概述
“信息理论与编码”是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用学科理论，是电子通信类专业重要的学科基础课。其主要任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。
成绩 要求
（1）完成单元测验，占课程成绩的15.4%；
（2）完成作业，占课程成绩的15.4%；
（2）课堂讨论，占课程成绩的7.7%，参与10次课堂讨论可得满分；
（4）线上期末考试，占课程成绩的61.5%。
课程大纲
第1章 绪论
1.1 引言
1.2 信息论的主要研究内容
1.3 信息论的形成与发展
第1章 绪论 单元作业
第1章 绪论 单元测试
第2章 信息的度量
2.1 信源模型
2.2 信息的描述
2.3.1 自信息量
2.3.2 联合自信息量与条件自信息量
2.3.3 自信息量的性质
2.3.4 互信息量及其性质
2.4.1 离散熵的定义
2.4.2 熵的性质（1）
2.4.2 熵的性质（2）
2.5 联合熵与条件熵
2.6.1平均互信息量的定义
2.6.2 平均互信息量的性质
2.7 离散无记忆信源的扩展
2.8 离散有记忆平稳信源的熵
2.9.1马尔可夫链
2.9.2 马尔可夫信源
2.9.3 马尔可夫信源的信息熵
2.10 离散信源的信息率和信息含量效率
2.11.1 连续信源的熵
2.11.2 连续信源的联合熵、条件熵和平均互信息
2.11.3 微分熵的极大化
2.11.4 连续信源的熵功率
第2章 信息的度量 单元测试
2.1-2.3作业
2.4-2.7作业
2.8-2.10作业
2.11作业
第3章 信道模型和信道容量
3.1 信道的模型与分类
3.2 DMC的数学模型
3.3 概率的计算问题
3.4.1 信道的疑义度
3.4.2 信道的散布度
3.4.3 信道的平均互信息
3.5.1 信道容量的定义
3.5.2 离散无噪信道的信道容量
3.5.3-1 离散对称信道
3.5.3-2 离散对称信道和准对称信道的信道容量
3.5.4 一般离散信道达到信道容量的充要条件
3.6.1 扩展信道的数学模型
3.6.2 扩展信道的平均互信息和信道容量
3.7.1 串联信道
3.7.2 独立并联信道
3.8 信源与信道的匹配
3.9.1 连续信道的数学模型
3.9.2 加性高斯噪声信道的信道容量
3.9.3 一般加性噪声信道信道容量的界
3.10.1 波形信道
3.10.2 波形信道及其信道容量
3.1-3.4 作业
3.5 作业
3.6-3.8 作业
第4章 离散无记忆信源无失真编码
4.1 信源编码概论（1）
4.1 信源编码概论（2）
4.2.1 常见码及其唯一可译性（1）
4.2.1 常见码及其唯一可译性（2）
4.2.2 码树和Kraft不等式
4.3 定长编码定理
4.4 变长编码定理
4.5.1 霍夫曼编码（1）
4.5.1 霍夫曼编码（2）
4.5.2 费诺编码
4.5.3 香农编码
4.1-4.3 作业
4.4-4.5 作业
第4章 离散无记忆信源无失真编码 单元测试
第5章 有噪信道编码
5.1 译码规则与错误概率
5.2 两种典型的译码规则
5.3.1 简单重复编码
5.3.2 符号串编码
5.4.1 汉明距离
5.4.2 最小距离译码规则
5.5 有噪信道编码定理与逆定理
5.6.1 线性分组码的生成矩阵和校验矩阵
5.6.2 汉明距离和码纠检错能力
5.6.3 线性码的伴随式与伴随式译码
5.1-5.3 作业
5.4-5.6 作业
第5章 单元测试
第6章 限失真信源编码
6.1 失真测度
6.2 信息率失真函数
6.3 限失真信源编码定理
第6章 作业
第6章 限失真信源编码 单元测试
展开全部
预备知识
先修课程：线性代数、概率论与随机过程、信号与系统 、通信原理
参考资料
教材：
吕锋，王虹，刘皓春编著 《信息理论与编码》（第2版） . 北京：人民邮电出版社 . 2010 . 9
参考书：
1. 傅祖云. 信息论——基础理论与应用（第4版）. 北京：电子工业出版社，2015
2. Thomas M. Cover. Elements of Information Theory. 北京：机械工业出版社，2005
浙公网安备 33010802012594号
