qlearning算法

A. 强化学习是什么 意思

强化学习(reinforcement learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。但在传统的机器学习分类中没有提到过强化学习，而在连接主义学习中，把学习算法分为三种类型，即非监督学习(unsupervised learning)、监督学习(supervised leaning)和强化学习。

B. 强化学习到底是什么

也叫增强学习，reinforcement learning。分为value-base跟policy-base。主题思想是根据历史经验来更多的选择活得回报更多的动作，而减少被惩罚的动作。
常见的value-base算法有：Q-learning
常见的policy-base算法有：策略梯度算法
由于深度学习的火热，先强化学习都是跟深度学习结合起来，比如deep Q learning，Actor-Critic network等。
[1]Barto A G. Reinforcement learning[J]. A Bradford Book, 1998, volume 15(7):665-685.
[2]Wang J X, Kurth-Nelson Z, Kumaran D, et al. Prefrontal cortex as a meta-reinforcement learning system[J]. Nature Neuroscience, 2018, 21(6).

C. q-learning收敛

神自问自答呢 我也想问这个问题 现在刚刚开始研究Q-Learning算法，对于收敛的定义不是很明朗

D. 图计算引擎Neo4j和Graphscope有什么区别

Neo4j是单机系统，主要做图数据库。GraphScope是由阿里巴巴达摩院智能计算实验室研发的图计算平台，是全球首个一站式超大规模分布式图计算平台，并且还入选了中 国科学技术协会“科创中 国”平台。Graphscope的代码在github.com/alibaba/graphscope上开源。SSSP算法上,GraphScope单机模式下平均要比Neo4j快176.38倍，最快在datagen-9.2_zf数据集上快了292.2倍。

E. 强化学习的基本模型和原理

强化学习是从动物学习、参数扰动自适应控制等理论发展而来，其基本原理是：
如果Agent的某个行为策略导致环境正的奖赏(强化信号)，那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。
强化学习把学习看作试探评价过程，Agent选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给Agent，Agent根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。
强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是Agent对所产生动作的好坏作一种评价(通常为标量信号)，而不是告诉Agent如何去产生正确的动作。由于外部环境提供了很少的信息，Agent必须靠自身的经历进行学习。通过这种方式，Agent在行动一一评价的环境中获得知识，改进行动方案以适应环境。
强化学习系统学习的目标是动态地调整参数，以达到强化信号最大。若已知r/A梯度信息，则可直接可以使用监督学习算法。因为强化信号r与Agent产生的动作A没有明确的函数形式描述，所以梯度信息r/A无法得到。因此，在强化学习系统中，需要某种随机单元，使用这种随机单元，Agent在可能动作空间中进行搜索并发现正确的动作。

F. 什么是强化学习

强化学习（RL）是一个序列决策问题。
例如：撩妹的过程就是一个优化问题。你的每一时刻的行为会对你最终撩妹是否成功，以多大的收益成功都会有影响。那么，你就会考虑，每一步采取什么行为才能（最优）撩妹！这可以看作一个RL问题。你肯定迫不及待的想知道怎么去求解了！
action：你的行为
state：你观察到的妹子的状态
reward：妹子的反应：开心or不开心
所以，一个RL的基本模型已经建立。