qlearning演算法

A. 強化學習是什麼 意思

強化學習(reinforcement learning)，又稱再勵學習、評價學習，是一種重要的機器學習方法，在智能控制機器人及分析預測等領域有許多應用。但在傳統的機器學習分類中沒有提到過強化學習，而在連接主義學習中，把學習演算法分為三種類型，即非監督學習(unsupervised learning)、監督學習(supervised leaning)和強化學習。

B. 強化學習到底是什麼

也叫增強學習，reinforcement learning。分為value-base跟policy-base。主題思想是根據歷史經驗來更多的選擇活得回報更多的動作，而減少被懲罰的動作。
常見的value-base演算法有：Q-learning
常見的policy-base演算法有：策略梯度演算法
由於深度學習的火熱，先強化學習都是跟深度學習結合起來，比如deep Q learning，Actor-Critic network等。
[1]Barto A G. Reinforcement learning[J]. A Bradford Book, 1998, volume 15(7):665-685.
[2]Wang J X, Kurth-Nelson Z, Kumaran D, et al. Prefrontal cortex as a meta-reinforcement learning system[J]. Nature Neuroscience, 2018, 21(6).

C. q-learning收斂

神自問自答呢 我也想問這個問題 現在剛剛開始研究Q-Learning演算法，對於收斂的定義不是很明朗

D. 圖計算引擎Neo4j和Graphscope有什麼區別

Neo4j是單機系統，主要做圖資料庫。GraphScope是由阿里巴巴達摩院智能計算實驗室研發的圖計算平台，是全球首個一站式超大規模分布式圖計算平台，並且還入選了中 國科學技術協會「科創中 國」平台。Graphscope的代碼在github.com/alibaba/graphscope上開源。SSSP演算法上,GraphScope單機模式下平均要比Neo4j快176.38倍，最快在datagen-9.2_zf數據集上快了292.2倍。

E. 強化學習的基本模型和原理

強化學習是從動物學習、參數擾動自適應控制等理論發展而來，其基本原理是：
如果Agent的某個行為策略導致環境正的獎賞(強化信號)，那麼Agent以後產生這個行為策略的趨勢便會加強。Agent的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大。
強化學習把學習看作試探評價過程，Agent選擇一個動作用於環境，環境接受該動作後狀態發生變化，同時產生一個強化信號(獎或懲)反饋給Agent，Agent根據強化信號和環境當前狀態再選擇下一個動作，選擇的原則是使受到正強化(獎)的概率增大。選擇的動作不僅影響立即強化值，而且影響環境下一時刻的狀態及最終的強化值。
強化學習不同於連接主義學習中的監督學習，主要表現在教師信號上，強化學習中由環境提供的強化信號是Agent對所產生動作的好壞作一種評價(通常為標量信號)，而不是告訴Agent如何去產生正確的動作。由於外部環境提供了很少的信息，Agent必須靠自身的經歷進行學習。通過這種方式，Agent在行動一一評價的環境中獲得知識，改進行動方案以適應環境。
強化學習系統學習的目標是動態地調整參數，以達到強化信號最大。若已知r/A梯度信息，則可直接可以使用監督學習演算法。因為強化信號r與Agent產生的動作A沒有明確的函數形式描述，所以梯度信息r/A無法得到。因此，在強化學習系統中，需要某種隨機單元，使用這種隨機單元，Agent在可能動作空間中進行搜索並發現正確的動作。

F. 什麼是強化學習

強化學習（RL）是一個序列決策問題。
例如：撩妹的過程就是一個優化問題。你的每一時刻的行為會對你最終撩妹是否成功，以多大的收益成功都會有影響。那麼，你就會考慮，每一步採取什麼行為才能（最優）撩妹！這可以看作一個RL問題。你肯定迫不及待的想知道怎麼去求解了！
action：你的行為
state：你觀察到的妹子的狀態
reward：妹子的反應：開心or不開心
所以，一個RL的基本模型已經建立。