spContent=本课程以讲解香农信息理论及编码技术为主线，贯穿各个知识点的应用实例。通过学习，使学生掌握信息传输系统各个部分的理论基础与原理，能从信息理论的角度来理解、分析信息的有效、可靠传输使如何实现的，并能够用信息论的方法来解决生活中的一些常见问题，做到理论与实际相结合。
本课程以讲解香农信息理论及编码技术为主线，贯穿各个知识点的应用实例。通过学习，使学生掌握信息传输系统各个部分的理论基础与原理，能从信息理论的角度来理解、分析信息的有效、可靠传输使如何实现的，并能够用信息论的方法来解决生活中的一些常见问题，做到理论与实际相结合。
—— 课程团队
课程概述
“信息理论与编码”是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用学科理论，是电子通信类专业重要的学科基础课。其主要任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。
课程大纲
第1章 绪论
1.1 引言
1.2 信息论的主要研究内容
1.3 信息论的形成与发展
第1章 绪论 单元测试
第2章 信息的度量
2.1 信源模型
2.2 信息的描述
2.3.1 自信息量
2.3.2 联合自信息量与条件自信息量
2.3.3 自信息量的性质
2.3.4 互信息量及其性质
2.4.1 离散熵的定义
2.4.2 熵的性质（1）
2.4.2 熵的性质（2）
2.5 联合熵与条件熵
2.6.1平均互信息量的定义
2.6.2 平均互信息量的性质
2.7 离散无记忆信源的扩展
2.8 离散有记忆平稳信源的熵
2.9 离散信源的信息率和信息含量效率
2.10.1 连续信源的熵
2.10.2 连续信源的联合熵、条件熵和平均互信息
2.10.3 微分熵的极大化
2.10.4 连续信源的熵功率
2.11.1 马尔可夫链
2.11.2 马尔科夫信源
2.11.3 马尔可夫信源的信息熵
第2章 信息的度量 单元测试
第3章 信道模型和信道容量
3.1 信道的模型与分类
3.2 DMC的数学模型
3.3 概率的计算问题
3.4.1 信道的疑义度
3.4.2 信道的散布度
3.4.3 信道的平均互信息
3.5.1 信道容量的定义
3.5.2 离散无噪信道的信道容量
3.5.3-1 离散对称信道
3.5.3-2 离散对称信道和准对称信道的信道容量
3.5.4 一般离散信道达到信道容量的充要条件
3.6.1 扩展信道的数学模型
3.6.2 扩展信道的平均互信息和信道容量
3.7.1 串联信道
3.7.2 独立并联信道
3.8 信源与信道的匹配
3.9.1 连续信道的数学模型
3.9.2 加性高斯噪声信道的信道容量
3.9.3 一般加性噪声信道信道容量的界
3.10.1 波形信道
3.10.2 波形信道及其信道容量
第3章 单元测试
第4章 离散无记忆信源无失真编码
4.1 信源编码概论（1）
4.1 信源编码概论（2）
4.2.1 常见码及其唯一可译性（1）
4.2.1 常见码及其唯一可译性（2）
4.2.2 码树和Kraft不等式
4.3 定长编码定理
4.4 变长编码定理
4.5.1 霍夫曼编码（1）
4.5.1 霍夫曼编码（2）
4.5.2 费诺编码
4.5.3 香农编码
第4章 离散无记忆信源无失真编码 单元测试
第5章 有噪信道编码
5.1 译码规则与错误概率
5.2 两种典型的译码规则
5.3.1 简单重复编码
5.3.2 符号串编码
5.4.1 汉明距离
5.4.2 最小距离译码规则
5.5 有噪信道编码定理与逆定理
5.6.1 线性分组码的生成矩阵和校验矩阵*
5.6.2 汉明距离和码纠检错能力*
5.6.3 线性码的伴随式与伴随式译码*
第5章 单元测试
第6章 限失真信源编码*
6.1 失真测度
6.2 信息率失真函数
6.3 限失真信源编码定理
第6章 限失真信源编码 单元测试
展开全部
预备知识
先修课程：线性代数、概率论与随机过程、信号与系统 、通信原理
证书要求
为积极响应国家低碳环保政策， 2021年秋季学期开始，中国大学MOOC平台将取消纸质版的认证证书，仅提供电子版的认证证书服务，证书申请方式和流程不变。
电子版认证证书支持查询验证，可通过扫描证书上的二维码进行有效性查询，或者访问 https://www.icourse163.org/verify，通过证书编号进行查询。学生可在“个人中心-证书-查看证书”页面自行下载、打印电子版认证证书。
完成课程教学内容学习和考核，成绩达到课程考核标准的学生（每门课程的考核标准不同，详见课程内的评分标准），具备申请认证证书资格，可在证书申请开放期间（以申请页面显示的时间为准），完成在线付费申请。
认证证书申请注意事项：
1. 根据国家相关法律法规要求，认证证书申请时要求进行实名认证，请保证所提交的实名认证信息真实完整有效。
2. 完成实名认证并支付后，系统将自动生成并发送电子版认证证书。电子版认证证书生成后不支持退费。
参考资料
教材：
吕锋，王虹，刘皓春编著 《信息理论与编码》（第2版） . 北京：人民邮电出版社 . 2010 . 9
张可，魏勤，刘雪冬，于泉编著，信息论与编码——理论及其应用，电子工业出版社，2021.4
参考书：
1.傅祖云. 信息论——基础理论与应用（第4版）. 北京：电子工业出版社，2015
2. Thomas M. Cover. Elements of Information Theory. 北京：机械工业出版社，2005
浙公网安备 33010802012594号
