第0课-【一张图讲完强化学习原理】30分钟了解强化学习名词脉络

Part1-【一张图讲完强化学习原理】 30分钟了解名词脉络

第1课-基本概念

Part1-State, action, policy等

Part2-Reward, return, MDP等

第2课-贝尔曼公式

Part1-例子说明return的重要性 

Part2-State value的定义 

Part3-贝尔曼公式的详细推导 

Part4-公式向量形式与求解 

Part5-Action value的定义

第3课-贝尔曼最优公式

Part1-例子-如何改进策略 

Part2-最优策略和公式推导 

Part3-公式求解以及最优性 

Part4-最优策略的有趣性质

第4课-值迭代与策略迭代

Part1-值迭代算法 

Part2-策略迭代算法 

Part3-截断策略迭代算法

第5课-蒙特卡洛方法

Part1-通过例子介绍蒙特卡洛 

Part2-MC Basic 算法介绍

Part3-MC Basic 算法例子 

Part4-MC Exploring Starts算法 

Part5-MC Epsilon-Greedy算法介绍 

Part6-MC Epsilon-Greedy算法例子

第6课-随机近似与随机梯度下降

Part1-通过例子介绍Iterative mean estimation

Part2-Robbins-Monro算法介绍与例子 

Part3-Robbins-Monro算法收敛性及应用 

Part4-随机梯度下降算法介绍 

Part5-随机梯度下降例子与收敛性 

Part6-随机梯度下降有趣的性质 

Part7-随机梯度下降对比BGD,MBGD,SGD

第7课-时序差分方法

Part1-例子 

Part2-TD算法介绍 

Part3-TD算法收敛性、与MC的比较 

Part4-Sarsa 

Part5-Expected Sarsa和n-step Sarsa 

Part6-Q-learning介绍、on-policy vs off-policy 

Part7-Q-learning伪代码与例子 

Part8-TD算法的统一形式和总结

第8课-值函数近似

Part1-例子-曲线拟合 

Part2-原理-目标函数介绍 

Part3-原理-优化算法和函数选择 

Part4-原理-示例与分析 

Part5-Sarsa和Q-learning 

Part6-DQN-基本原理

Part7-DQN-Experience replay 

Part8-DQN-代码与例子

第9课-策略梯度方法

Part1-该方法的基本思路 

Part2-该方法的目标函数1-Average value 

Part3-该方法的目标函数2-Average reward 

Part4-目标函数的梯度计算 

Part5-梯度上升算法和REINFORCE

第10课-Actor-Critic方法

Part1-最简单的Actor-Critic(QAC) 

Part2-Advantage Actor-Critic(A2C) 

Part3-重要性采样和Off-policy Actor-Critic 

Part4-Deterministic Actor-Critic(DPG)

Part5-再见

期末考试