各位同学,大家好:
欢迎学习《深度学习基础》课程。
随着人工智能的再次火热,深度学习成为其中关键技术之一,并为业界关注。本课程是一门侧重在深度学习相关理论基础的课程,并对深度学习的典型模型框架如循环神经网络、卷积神经网络等的基本原理进行了介绍。课程同时还包括若干关键内容的相关代码及运行效果演示,从而便于同学们获得理性和感性的认识。如果你想亲密接触深度学习、人工智能等并愿意付诸实践,请加入进来吧!
本期课程我们提供了以下内容:
(1)课程视频。总计8讲视频,每周发布一讲;对于相关代码及演示,课程以目前流行的Python作为主编程语言。
(2)测验考核题。每讲会随机产生10道题,在限定时间内提交,总分10分。如果你没有开始测试,则你可在测验发布之日至截止日期之间的任何时间内完成即可。一旦你开始测试,则需在限定时间内(如30分钟内)完成提交。到限定时间结束时系统会自动提交,无论你是否回答了问题。其结果将计入最终成绩。每讲,你可以有两次测验机会(但两次未必是同一张卷),两次测验成绩最高分数为本讲你获得的成绩分数。
(3)期末考试。期末会有一个考试,20道题20分。
课程的思维导图如下:
在学习过程中有任何问题,请随时联系任课教师或者在课程论坛里发出问题。我们将尽最大的努力辅助你们的学习,解答你们的疑问。
祝大家学习愉快,有所收获!
《深度学习基础》课程组
第一讲 深度学习概述
1.1 深度学习的引出
1.2 数据集及其拆分
1.3 分类及其性能度量
1.4 回归问题及其性能评价
1.5 一致性的评价方法
1.6 程序讲解:使用Sklearn进行精确率-召回率曲线的绘制
第一讲测验
第一讲讲义
(附)使用Sklearn进行精确率-召回率曲线的绘制程序
第二讲 特征工程概述
2.1 特征工程
2.2 向量空间模型及文本相似度计算
2.3 特征处理(特征缩放、选择及降维)
2.4 程序讲解:使用sklearn对文档进行向量化的程序示例
2.5 程序讲解:使用sklearn进行量纲缩放的程序示例
第二讲测验
第二讲讲义
(附)使用sklearn对文档进行向量化的程序
(附)使用sklearn进行量纲缩放的程序
第三讲 回归问题及正则化
3.1 线性回归模型及其求解方法
3.2 多元回归与多项式回归
3.3 损失函数的正则化
3.4 逻辑回归
3.5 程序讲解:使用sklearn进行线性回归和二次回归的比较的程序示例
第三讲讲义
第三讲测验
(附)使用sklearn进行线性回归和二次回归的比较程序
第四讲 信息熵及梯度计算
4.1 信息熵
4.2 反向传播中的梯度
4.3 感知机
4.4 程序讲解:正向传播和反向传播的程序示例
4.5 程序讲解:信息熵和互信息的计算程序示例
第四讲讲义
第四讲测验
(附)信息熵和互信息的计算程序
第五讲 循环神经网络及其变体
5.1 循环神经网络
5.2 长短时记忆网络
5.3 双向循环神经网络和注意力机制
5.4 程序讲解:循环神经网络的程序示例
第五讲测验
第五讲讲义
(附)循环神经网络的程序
第六讲 卷积神经网络
6.1 卷积与卷积神经网络
6.2 LeNet-5 模型分析
6.3 程序讲解:卷积神经网络的程序示例
第六讲测验
第六讲讲义
(附)卷积神经网络的程序
第七讲 递归神经网络
7.1 情感分析及传统求解方法
7.2 词向量
7.3 递归神经网络及其变体
第七讲讲义
第七讲测验
第八讲 生成式神经网络
8.1 自动编码器
8.2 变分自动编码器
8.3 生成对抗网络
8.4 程序讲解:自动编码器程序示例
第八讲测验
第八讲讲义
(附)自动编码器程序
1. 线性代数、概率等的知识
2. python的基本编程知识
本门课总成绩100分。
每周我们都留有在线完成的单元测验(10分),共8周合计80分;
在期末我们会统一安排一次在线期末考试,占20分。
为了保障证书权威性,平台不再支持免费电子证书,只提供认证证书。总成绩60分(含)以上可申请课程合格证书;总成绩85分(含)以上可申请课程优秀证书。
1. 李航.《统计学习方法》.清华大学出版社. 2012年第一版;
2. https://www.anaconda.com/download/#windows
4. https://en.wikipedia.org/wiki/
5. https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html
7. https://pypi.org/project/jieba/
8. https://colah.github.io/posts/2015-08-Understanding-LSTMs/
9. Yang Z, Yang D, Dyer C, et al. Hierarchical attention networks for document classification[C]//Proceedings of NAACL-HLT. 2016: 1480-1489
10.Cho K, Van Merrienboer B, Gulcehre C, et al. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation[J]. Eprint Arxiv, 2014.
11. Schuster M, Paliwal K K. Bidirectional recurrent neural networks[J]. Signal Processing, IEEE Transactions on, 1997, 45(11): 2673-2681.
12.Socher et al.. Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions, EMNLP 2011
13. Socher R, Huval B, Manning C D, et al. Semantic compositionality through recursive matrix-vector spaces[C]// Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. 2012:1201-1211.
14. Socher, R., Perelygin, A., Wu, J. Y., Chuang, J., Manning, C. D., & Ng, A. Y., et al. (2013). Recursive deep models for semantic compositionality over a sentiment treebank. EMNLP 2013. page 1631--1642
15. Diederik P Kingma, Max Welling (2013). Auto-Encoding Variational Bayes. ICLR 2014
16. Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014). pp. 2672–2680.
17. https://www.cs.uic.edu/~liub/FBS
推荐阅读书籍列表:
此外,经常有同学问学习机器学习或者深度学习,还推荐哪些书阅读更好。如下列表中给出的书目是当下很受学生们欢迎的这方面的教材。(特别感谢目前就读于台北科技大学管理学院的博士生晋骁同学给出的建议)。
1.Ian Goodfellow 《深度学习》(花书)
2.Aston Zhang 《动手学深度学习》
3.周志华 《机器学习》(西瓜书)
4.李航 《统计学习方法》
5.Francois Chollet 《Python 深度学习》
6.Eric Matthes 《Python编程 从入门到实践》