【一张图讲完强化学习原理】30分钟了解强化学习名词脉络

Part1-【一张图讲完强化学习原理】30分钟了解强化学习名词脉络

第1课-基本概念

Part1-State, action, policy等

Part2-Reward, return, MDP等

课后测验

第2课-贝尔曼公式

Part1-例子说明return的重要性

Part2-State value的定义

Part3-贝尔曼公式的详细推导

Part4-公式向量形式与求解

Part5-Action value的定义

课后测验

第3课-贝尔曼最优公式

Part1-例子-如何改进策略

Part2-最优策略和公式推导

Part3-公式求解以及最优性

Part4-最优策略的有趣性质

课后测验

第4课-值迭代与策略迭代

Part1-值迭代算法

Part2-策略迭代算法

Part3-截断策略迭代算法

课后测验

第5课-蒙特卡洛方法

Part1-通过例子介绍蒙特卡洛

Part2-MC Basic 算法介绍

Part3-MC Basic 算法例子

Part4-MC Exploring Starts算法

Part5-MC Epsilon-Greedy算法介绍

Part6-MC Epsilon-Greedy算法例子

课后测验

第6课-随机近似与随机梯度下降

Part1-通过例子介绍Iterative mean estimation

Part2-Robbins-Monro算法介绍与例子

Part3-Robbins-Monro算法收敛性及应用

Part4-随机梯度下降算法介绍

Part5-随机梯度下降例子与收敛性

Part6-随机梯度下降有趣的性质

Part7-随机梯度下降对比BGD,MBGD,SGD

课后测验

第7课-时序差分方法

Part1-例子

Part2-TD算法介绍

Part3-TD算法收敛性、与MC的比较

Part4-Sarsa

Part5-Expected Sarsa和n-step Sarsa

Part6-Q-learning介绍、on-policy vs off-policy

Part7-Q-learning伪代码与例子

Part8-TD算法的统一形式和总结

课后测验

第8课-值函数近似

Part1-例子-曲线拟合

Part2-原理-目标函数介绍

Part3-原理-优化算法和函数选择

Part4-原理-示例与分析

Part5-Sarsa和Q-learning

Part6-DQN-基本原理

Part7-DQN-Experience replay

Part8-DQN-代码与例子

课后测验

第9课-策略梯度方法

Part1-该方法的基本思路

Part2-该方法的目标函数1-Average value

Part3-该方法的目标函数2-Average reward

Part4-目标函数的梯度计算

Part5-梯度上升算法和REINFORCE

课后测验

第10课-Actor-Critic方法

Part1-最简单的Actor-Critic(QAC)

Part2-Advantage Actor-Critic(A2C)

Part3-重要性采样和Off-policy Actor-Critic

Part4-Deterministic Actor-Critic(DPG)

Part5-再见

课后测验