博文
- 【RL系列】马尔可夫决策过程——Jack’s Car Rental
- 热度 1
- 我发现互联网上几乎关于Jack's Car Rental问题的学习资料极少，这里做一个总结，以供查阅。 本篇请结合课本Reinforcement Learning: An Introduction学习。Jack's Car Rental是一个经典的应用马尔可夫决策过程的问题，翻译过来，我们就直接叫它“租车问题”吧。租车问题的描述如下： Jack’s Car Rental Jack m ...
- 【RL系列】马尔可夫决策过程——状态价值评价与动作价值评价
- 请先阅读上两篇文章： 【RL系列】马尔可夫决策过程中状态价值函数的一般形式 【RL系列】马尔可夫决策过程与动态编程 状态价值函数，顾名思义，就是用于状态价值评价（SVE）的。典型的问题有“格子世界（GridWorld）”游戏（什么是格子世界？可以参考： Dynamic programming inPython ），高尔夫 ...
- 【RL系列】马尔可夫决策过程中状态价值函数的一般形式
- 请先阅读上一篇文章： 【RL系列】马尔可夫决策过程与动态编程 在上一篇文章里，主要讨论了马尔可夫决策过程模型的来源和基本思想，并以MAB问题为例简单的介绍了动态编程的基本方法。虽然上一篇文章中的马尔可夫决策过程模型实现起来比较简单，但我认为其存在两个小问题： 数学表达上不够简洁 状态价值评价型问题 ...
- 【RL系列】马尔可夫决策过程与动态编程笔记
- 推荐阅读顺序： Reinforcement Learning: An Introduction (Drfit) 有限马尔可夫决策过程 动态编程笔记 Dynamic programming inPython 本篇 马尔可夫决策过程 马尔可夫决策（MDP）过程为强化学习（RL）提供了理论基础，而动态编程（DP）为马尔可夫决策过程提供了 ...
- 【RL系列】Multi-Armed Bandit笔记——Softmax选择策略
- 本篇主要是对 Reinforcement Learning: An Introduction(2017) 中的2.8部分做一个简单的补充，重点就放在我是如何理解Softmax策略，以及从Softmax到Gradient中间的过程。Softmax与Gradient策略与epsilon-greedy，UCB策略一样都是强化学习中非常重要的动作选择策略。但Softmax和Gradient并非是毫不关联的，两种策略目的一 ...
- 【RL系列】Multi-Armed Bandit问题笔记——UCB策略实现
- 热度 1
- 本篇主要是为了记录UCB策略在解决Multi-Armed Bandit问题时的实现方法，涉及理论部分较少，所以请先阅读 Reinforcement Learning: An Introduction (Drfit)的2.7。为了更深入一点了解UCB策略，可以随后阅读下面这篇文章： 【RL系列】Multi-Armed Bandit笔记补充（二）—— UCB策略 UCB策略 ...
- 【RL系列】Multi-Armed Bandit笔记补充（二）—— UCB策略
- 热度 1
- 本篇的主题是对Upper Conference Bound(UCB)策略进行一个理论上的解释补充，主要探讨UCB方法的由来与相关公式的推导，这一部分书中并未给出详细的过程与分析。 UCB是一种动作选择策略，主要用来解决epsilon-greedy在选择时的低效率问题。对于解释UCB的使用机理上，我认为下面这篇文章写的还不错，深入浅出，只不过在公 ...
- 【RL系列】Multi-Armed Bandit 笔记补充（一）
- 在此之前，请先阅读上一篇文章： 【RL系列】Multi-Armed Bandit笔记 本篇的主题就如标题所示，只是上一篇文章的补充，主要关注两道来自于 Reinforcement Learning: An Introduction 的课后习题。 第一题为 Exercise 2.5 (programming) ，主要讨论了Recency-Weighted Average算法相较于Sample Aver ...
- 【RL系列】Multi-Armed Bandit问题笔记
- 这是我学习Reinforcement Learning的一篇记录总结，参考了这本介绍RL比较经典的 Reinforcement Learning: An Introduction (Drfit) 。这本书的正文部分对理论的分析与解释做的非常详细，并且也给出了对结论详尽的解析，但是把问题的解决和实现都留到到了课后题，所以本篇文章主要侧重与对Multi-Armed Band ...
- 一个电磁学中常用的积分的计算
- 热度 1
- 原式为： \iint_{x^2 + y^2R^2} \frac{1}{a}\hat{a}dS\\ 可以化简为： \int_{0}^{R} \int_{0}^{2\pi} \frac{L - rcos\theta}{L^{2} + r^{2} - 2Lrcos\theta} r drd\theta\ \hat{x}\\ 将式子分为两部分求解： \frac{1}{\frac{L}{r} + \frac{r}{L} - 2cos\t ...
