python人工神經網路
❶ python深度學習框架學哪個
Python 深度學習生態系統在這幾年中的演變實屬驚艷。pylearn2，已經不再被積極地開發或者維護，大量的深度學習庫開始接替它的位置。這些庫每一個都各有千秋。我們已經在 indico 的產品或者開發中使用了以下列表中的大部分的技術，但是對於剩下一些我們沒有使用的，我將會借鑒他人的經驗來幫助給出 Python 深度學習生態系統的清晰的、詳盡的理解。
確切地說，我們將會關註：
Theano
Lasagne
Blocks
TensorFlow
Keras
MXNet
PyTorch
下面是對這 7 大 Python 深度學習框架的描述以及優缺點的介紹。
Theano
描述：Theano 是一個 Python 庫，允許你定義、優化並且有效地評估涉及到多維數組的數學表達式。它與 GPUs 一起工作並且在符號微分方面表現優秀。
概述：Theano 是數值計算的主力，它支持了許多我們列表當中的其他的深度學習框架。Theano 由 Frédéric Bastien 創建，這是蒙特利爾大學機器學習研究所(MILA)背後的一個非常優秀的研究團隊。它的 API 水平較低，並且為了寫出效率高的 Theano，你需要對隱藏在其他框架幕後的演算法相當的熟悉。如果你有著豐富的學術機器學習知識，正在尋找你的模型的精細的控制方法，或者想要實現一個新奇的或者不同尋常的模型，Theano 是你的首選庫。總而言之，為了靈活性，Theano 犧牲了易用性。
優點：
靈活
正確使用時的高性能
缺點：
較高的學習難度
低水平的 API
編譯復雜的符號圖可能很慢
Lasagne
描述：在 Theano 上建立和訓練神經網路的輕量級庫
概述：因為 Theano 致力於成為符號數學中最先且最好的庫，Lasagne 提供了在 Theano 頂部的抽象，這使得它更適合於深度學習。它主要由當前 DeepMind 研究科學家 Sander Dieleman 編寫並維護。Lasagne 並非是根據符號變數之間的函數關系來指定網路模型，而是允許用戶在層級思考，為用戶提供了例如「Conv2DLayer」和「DropoutLayer」的構建塊。Lasagne 在犧牲了很少的靈活性的同時，提供了豐富的公共組件來幫助圖層定義、圖層初始化、模型正則化、模型監控和模型訓練。
優點：
仍舊非常靈活
比 Theano 更高級的抽象
文檔和代碼中包含了各種 Pasta Puns
缺點：
社區小
Blocks
描述：用於構建和訓練神經網路的 Theano 框架
概述：與 Lasagne 類似，Blocks 是在 Theano 頂部添加一個抽象層使深度學習模型比編寫原始的 Theano 更清晰、更簡單、定義更加標准化。它是由蒙特利爾大學機器學習研究所(MILA)編寫，其中一些人為搭建 Theano 和第一個神經網路定義的高級介面(已經淘汰的 PyLearn2)貢獻了自己的一份力量。比起 Lasagne，Blocks 靈活一點，代價是入門台階較高，想要高效的使用它有不小的難度。除此之外，Blocks 對遞歸神經網路架構(recurrent neural network architectures)有很好的支持，所以如果你有興趣探索這種類型的模型，它值得一看。除了 TensorFlow，對於許多我們已經部署在 indico 產品中的 API，Blocks 是其首選庫。
優點：
仍舊非常靈活
比 Theano 更高級的抽象
易於測試
缺點：
較高的學習難度
更小的社區
TensorFlow
描述：用於數值計算的使用數據流圖的開源軟體庫
概述：TensorFlow 是較低級別的符號庫(比如 Theano)和較高級別的網路規范庫(比如 Blocks 和 Lasagne)的混合。即使它是 Python 深度學習庫集合的最新成員，在 Google Brain 團隊支持下，它可能已經是最大的活躍社區了。它支持在多 GPUs 上運行深度學習模型，為高效的數據流水線提供使用程序，並具有用於模型的檢查，可視化和序列化的內置模塊。最近，TensorFlow 團隊決定支持 Keras(我們列表中下一個深度學習庫)。雖然 TensorFlow 有著自己的缺點，但是社區似乎同意這一決定，社區的龐大規模和項目背後巨大的動力意味著學習 TensorFlow 是一次安全的賭注。因此，TensorFlow 是我們今天在 indico 選擇的深度學習庫。
優點：
由軟體巨頭 Google 支持
非常大的社區
低級和高級介面網路訓練
比基於 Theano 配置更快的模型編譯
完全地多 GPU 支持
缺點：
雖然 Tensorflow 正在追趕，但是最初在許多基準上比基於 Theano 的慢。
RNN 支持仍不如 Theano
Keras
描述：Python 的深度學習庫。支持 Convnets、遞歸神經網路等。在 Theano 或者 TensorFlow 上運行。
概述：Keras 也許是水平最高，對用戶最友好的庫了。由 Francis Chollet(Google Brain 團隊中的另一個成員)編寫和維護。它允許用戶選擇其所構建的模型是在 Theano 上或是在 TensorFlow 上的符號圖上執行。Keras 的用戶界面受啟發於 Torch，所以如果你以前有過使用 Lua 語言的機器學習經驗，Keras 絕對值得一看。由於部分非常優秀的文檔和其相對易用性，Keras 的社區非常大並且非常活躍。最近，TensorFlow 團隊宣布計劃與 Keras 一起支持內置，所以很快 Keras 將是 TensorFlow 項目的一個分組。
優點：
可供選擇的 Theano 或者 TensorFlow 後端
直觀、高級別的埠
更易學習
缺點：
不太靈活，比其他選擇更規范
MXNet
描述：MXNet 是一個旨在提高效率和靈活性的深度學習框架。
概述：MXNet 是亞馬遜(Amazon)選擇的深度學習庫，並且也許是最優秀的庫。它擁有類似於 Theano 和 TensorFlow 的數據流圖，為多 GPU 配置提供了良好的配置，有著類似於 Lasagne 和 Blocks 更高級別的模型構建塊，並且可以在你可以想像的任何硬體上運行(包括手機)。對 Python 的支持只是其冰山一角—MXNet 同樣提供了對 R、Julia、C++、Scala、Matlab，和 Javascript 的介面。如果你正在尋找最佳的性能，選擇 MXNet 吧，但是你必須願意處理與之相對的一些 MXNet 的怪癖。
優點：
速度的標桿
非常靈活
缺點：
最小的社區
比 Theano 更困難的學習難度
PyTorch
描述：Python 中的張量(Tensors)和動態神經網路，有著強大的 GPU 加速。
概述：剛剛放出一段時間，PyTorch 就已經是我們 Python 深度學習框架列表中的一個新的成員了。它是從 Lua 的 Torch 庫到 Python 的鬆散埠，由於它由 Facebook 的 人工智慧研究團隊(Artificial Intelligence Research team (FAIR))支持且因為它用於處理動態計算圖(Theano，TensorFlow 或者其他衍生品沒有的特性，編譯者註：現在 TensorFlow 好像支持動態計算圖)，它變得非常的有名。PyTorch 在 Python 深度學習生態系統將扮演怎樣的角色還不得而知，但所有的跡象都表明，PyTorch 是我們列表中其他框架的一個非常棒的選擇。
優點:
來自 Facebook 組織的支持
完全地對動態圖的支持
高級和低級 API 的混合
缺點：
比其他選擇，PyTorch 還不太成熟
❷ 人工智慧和python有什麼關系
提到人工智慧就一定會提到Python，有的初學者甚至認為人工智慧和Python是劃等號的，其實Python是一種計算機程序設計語言。是一種動態的、面向對象的腳本語言，開始時是用於編寫自動化腳本(shell)，隨著版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。而人工智慧通俗講就是人為的通過嵌入式技術把程序寫入機器中使其實現智能化。顯然人工智慧和Python是兩個不同的概念。人工智慧和Python的淵源在於。就像我們統計數據或選擇用excel製作表格時，因為在需要用到加減乘除或者、函數等時，只需要套用公司就可以。因為SUM、AVERAGE等這樣的函數運行的背後，是C++/C#等語言已經編寫好了代碼，所以Excel只是工具和展現形式並不是它做計算。同理在學習人工智慧時Python只是用來操作深度學習框架的工具，實際負責運算的主要模塊並不依靠Python，真正起作用的是也是一大堆復雜的C++
/ CUDA程序。
深度學習人工智慧時，自己計算太復雜，還要寫C++代碼操作，這時程序員就想要不搞一套類似復雜的Excel配置表，直接搭建神經網路、填參數、導入數據，一點按鈕就直接開始訓練模型、得出結果。這個方法簡單實用可是神經網路搭建起來太復雜，需要填寫的參數太多，各種五花八門的選項也很難做成直觀的圖形工具。只能用一個類似Python的相對好用的語言，通過簡化的程序代碼來搭建神經網路、填寫參數、導入數據，並調用執行函數進行訓練。通過這種語言來描述模型、傳遞參數、轉換好輸入數據，然後扔到復雜的深度學習框架裡面去計算。那麼為什麼會選擇Python?科學家們很早就喜歡用Python實驗演算法，也善於使用numpy做科學計算，用pyplot畫數據圖。恰好Google內部用Python也非常多，所以採用Python也是必然的。除Python外，實際上TensorFlow框架還支持JavaScript、c++、Java、GO、等語言。按說人工智慧演算法用這些也可以。但是官方說了，除Python之外的語言不一定承諾API穩定性。所以人工智慧和Python就密不可分了。單說人工智慧的核心演算法，那是是完全依賴於C/C++的，因為是計算密集型，需要非常精細的優化，還需要GPU、專用硬體之類的介面，這些都只有C/C++能做到。所以某種意義上其實C/C++才是人工智慧領域最重要的語言。Python是這些庫的API
binding，要開發一個其他語言到C/C++的跨語言介面，Python是最容易的，比其他語言的ffi門檻要低不少，CPython的C
API是雙向融合的，可以直接對外暴露封裝過的Python對象，還可以允許用戶通過繼承這些自定義對象來引入新特性，甚至可以從C代碼當中再調用Python的函數。Python一直都是科學計算和數據分析的重要工具，Python是這些庫的API
binding，要開發一個其他語言到C/C++的跨語言介面，Python是最容易的，比其他語言的ffi門檻要低不少，CPython的C
API是雙向融合的，可以直接對外暴露封裝過的Python對象，還可以允許用戶通過繼承這些自定義對象來引入新特性，甚至可以從C代碼當中再調用Python的函數。都說時勢造英雄，也可以說是人工智慧和Python互相之間成就者對方，人工智慧演算法促進Python的發展，而Python也讓演算法更加簡單。
❸ 從零開始用Python構建神經網路
從零開始用Python構建神經網路
動機：為了更加深入的理解深度學習，我們將使用 python 語言從頭搭建一個神經網路，而不是使用像 Tensorflow 那樣的封裝好的框架。我認為理解神經網路的內部工作原理，對數據科學家來說至關重要。
這篇文章的內容是我的所學，希望也能對你有所幫助。
神經網路是什麼?
介紹神經網路的文章大多數都會將它和大腦進行類比。如果你沒有深入研究過大腦與神經網路的類比，那麼將神經網路解釋為一種將給定輸入映射為期望輸出的數學關系會更容易理解。
神經網路包括以下組成部分
? 一個輸入層，x
? 任意數量的隱藏層
? 一個輸出層，?
? 每層之間有一組權值和偏置，W and b
? 為隱藏層選擇一種激活函數，σ。在教程中我們使用 Sigmoid 激活函數
下圖展示了 2 層神經網路的結構(注意：我們在計算網路層數時通常排除輸入層)
2 層神經網路的結構
用 Python 可以很容易的構建神經網路類
訓練神經網路
這個網路的輸出 ? 為：
你可能會注意到，在上面的等式中，輸出 ? 是 W 和 b 函數。
因此 W 和 b 的值影響預測的准確率. 所以根據輸入數據對 W 和 b 調優的過程就被成為訓練神經網路。
每步訓練迭代包含以下兩個部分:
? 計算預測結果 ?，這一步稱為前向傳播
? 更新 W 和 b,，這一步成為反向傳播
下面的順序圖展示了這個過程：
前向傳播
正如我們在上圖中看到的，前向傳播只是簡單的計算。對於一個基本的 2 層網路來說，它的輸出是這樣的：
我們在 NeuralNetwork 類中增加一個計算前向傳播的函數。為了簡單起見我們假設偏置 b 為0：
但是我們還需要一個方法來評估預測結果的好壞(即預測值和真實值的誤差)。這就要用到損失函數。
損失函數
常用的損失函數有很多種，根據模型的需求來選擇。在本教程中，我們使用誤差平方和作為損失函數。
誤差平方和是求每個預測值和真實值之間的誤差再求和，這個誤差是他們的差值求平方以便我們觀察誤差的絕對值。
訓練的目標是找到一組 W 和 b，使得損失函數最好小，也即預測值和真實值之間的距離最小。
反向傳播
我們已經度量出了預測的誤差(損失)，現在需要找到一種方法來傳播誤差，並以此更新權值和偏置。
為了知道如何適當的調整權值和偏置，我們需要知道損失函數對權值 W 和偏置 b 的導數。
回想微積分中的概念，函數的導數就是函數的斜率。
梯度下降法
如果我們已經求出了導數，我們就可以通過增加或減少導數值來更新權值 W 和偏置 b(參考上圖)。這種方式被稱為梯度下降法。
但是我們不能直接計算損失函數對權值和偏置的導數，因為在損失函數的等式中並沒有顯式的包含他們。因此，我們需要運用鏈式求導發在來幫助計算導數。
鏈式法則用於計算損失函數對 W 和 b 的導數。注意，為了簡單起見。我們只展示了假設網路只有 1 層的偏導數。
這雖然很簡陋，但是我們依然能得到想要的結果—損失函數對權值 W 的導數(斜率)，因此我們可以相應的調整權值。
現在我們將反向傳播演算法的函數添加到 Python 代碼中
為了更深入的理解微積分原理和反向傳播中的鏈式求導法則，我強烈推薦 3Blue1Brown 的如下教程：
Youtube：https://youtu.be/tIeHLnjs5U8
整合並完成一個實例
既然我們已經有了包括前向傳播和反向傳播的完整 Python 代碼，那麼就將其應用到一個例子上看看它是如何工作的吧。
神經網路可以通過學習得到函數的權重。而我們僅靠觀察是不太可能得到函數的權重的。
讓我們訓練神經網路進行 1500 次迭代，看看會發生什麼。 注意觀察下面每次迭代的損失函數，我們可以清楚地看到損失函數單調遞減到最小值。這與我們之前介紹的梯度下降法一致。
讓我們看看經過 1500 次迭代後的神經網路的最終預測結果：
經過 1500 次迭代訓練後的預測結果
我們成功了!我們應用前向和方向傳播演算法成功的訓練了神經網路並且預測結果收斂於真實值。
注意預測值和真實值之間存在細微的誤差是允許的。這樣可以防止模型過擬合並且使得神經網路對於未知數據有著更強的泛化能力。
下一步是什麼?
幸運的是我們的學習之旅還沒有結束，仍然有很多關於神經網路和深度學習的內容需要學習。例如：
? 除了 Sigmoid 以外，還可以用哪些激活函數
? 在訓練網路的時候應用學習率
? 在面對圖像分類任務的時候使用卷積神經網路
我很快會寫更多關於這個主題的內容，敬請期待!
最後的想法
我自己也從零開始寫了很多神經網路的代碼
雖然可以使用諸如 Tensorflow 和 Keras 這樣的深度學習框架方便的搭建深層網路而不需要完全理解其內部工作原理。但是我覺得對於有追求的數據科學家來說，理解內部原理是非常有益的。
這種練習對我自己來說已成成為重要的時間投入，希望也能對你有所幫助
❹ 學python能做什麼
一、常規軟體開發
支持函數式編程和OOP面向對象編程，能夠承擔任何種類軟體的開發工作，因此常規的軟體開發、腳本編寫、網路編程等都屬於標配能力。
二、科學計算
隨著NumPy, SciPy, Matplotlib, Enthought librarys等眾多程序庫的開發，Python越來越適合於做科學計算、繪制高質量的2D和3D圖像。是一門通用的程序設計語言，比Matlab所採用的腳本語言的應用范圍更廣泛，有更多的程序庫的支持。雖然Matlab中的許多高級功能和toolbox目前還是無法替代的，不過在日常的科研開發之中仍然有很多的工作是可以用Python代勞的。
三、人工智慧
在人工智慧大范疇領域內的機器學習、神經網路、深度學習等方面都是主流的編程語言，得到廣泛的支持和應用。
四、WEB開發
基於Python的Web開發框架不要太多，比如耳熟能詳的Django，還有Tornado，Flask。其中的Python+Django架構，應用范圍非常廣，開發速度非常快，學習門檻也很低，能夠幫助你快速搭建起可用的WEB服務。
五、網路爬蟲
也稱網路蜘蛛，是大數據行業獲取數據的核心工具。沒有網路爬蟲自動地、不分晝夜地、高智能地在互聯網上爬取免費的數據，那些大數據相關的公司恐怕要少四分之三。能夠編寫網路爬蟲的編程語言有不少，但Python絕對是其中的主流之一，其Scripy爬蟲框架應用非常廣泛。
六、數據分析
在大量數據的基礎上，結合科學計算、機器學習等技術，對數據進行清洗、去重、規格化和針對性的分析是大數據行業的基石。Python是數據分析的主流語言之一。
❺ 人工智慧需要什麼基礎
人工智慧需要什麼基礎
首先你需要數學基礎：高等數學，線性代數，概率論數理統計和隨機過程，離散數學，數值分析
其次需要演算法的積累：人工神經網路，支持向量機，遺傳演算法等等演算法；當然還有各個領域需要的演算法，比如你要讓機器人自己在位置環境導航和建圖就需要研究SLAM；總之演算法很多需要時間的積累；
然後，需要掌握至少一門編程語言，畢竟演算法的實現還是要編程的；如果深入到硬體的話，一些電類基礎課必不可少；
人工智慧一般要到研究生才會去學，本科也就是蜻蜓點水看看而已，畢竟需要的基礎課過於龐大。
2人工智慧專業課程
從課程體系結構來看，主要分成四大部分：
第一部分是基礎學科部分，主要涉及到數學和物理相關課程；
第二部分是計算機基礎課程，涉及到編程語言、操作系統、演算法設計等課程；
第三部分是人工智慧基礎課程，涉及到人工智慧基礎、機器學習、控制學基礎、神經科學、語言學基礎等內容；
第四部分涉及到人工智慧平台相關知識。
3人工智慧就業情況
人工智慧專業可從事的崗位有：分析類，分析工程師、演算法工程師；研發類，架構工程師、開發工程師、運維工程師；管理類，產品經理、運營經理。
目前國內人工智慧相關崗位的應屆畢業生的起薪基本都在10k—20k之間，畢業三年後人工智慧崗位的技術人員，平均月薪在25k以上，基本實現薪酬翻番，薪資水平、就業滿意度都優於全國平均水平的專業。
❻ python簡單神經網路的實現 求問這兒是怎麼實現syn0均值為0的，以及我在Python3中運行發現l1的shape也不對
np.random.random 返回[0,1)區間的隨機數，2*np.random.random - 1 返回[-1,1)的隨機數，具體可以看網頁鏈接
看這個神經網路結構應該就輸入輸出兩層，l1的shape為np.dot(l0,syn0)，[4*3]，[3*1]的矩陣相乘得到[4*1]的矩陣，y = np.array([[0,1,1,0]]).T，y也是[4*1]的矩陣
❼ python sklearn裡面的多類神經網路演算法的是什麼種類
神經網路可以指向兩種，一個是生物神經網路，一個是人工神經網路。
生物神經網路：一般指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
人工神經網路：是一種應用類似於大腦神經突觸聯接的結構進行信息處理的數學模型。在工程與學術界也常直接簡稱為「神經網路」或類神經網路。
❽ 學人工智慧要學些什麼
、數學基礎。數學基礎知識蘊含著處理智能問題的基本思想與方法，也是理解復雜演算法的必備要素。這一模塊覆蓋了人工智慧必備的數學基礎知識，包括線性代數、概率論、最優化方法等。
2、機器學習。機器學習的作用是從數據中習得學習演算法，進而解決實際的應用問題，是人工智慧的核心內容之一。這一模塊覆蓋了機器學習中的主要方法，包括線性回歸、決策樹、支持向量機、聚類等。
3、人工神經網路。作為機器學習的一個分支，神經網路將認知科學引入機器學習中，以模擬生物神經系統對真實世界的交互反應，並取得了良好的效果。這一模塊覆蓋了神經網路中的基本概念，包括多層神經網路、前饋與反向傳播、自組織神經網路等。
4、深度學習。簡而言之，深度學習就是包含多個中間層的神經網路，數據爆炸和計算力飆升推動了深度學習的崛起。這一模塊覆蓋了深度學習的概念與實現，包括深度前饋網路、深度學習中的正則化、自編碼器等。
5、神經網路實例。在深度學習框架下，一些神經網路已經被用於各種應用場景，並取得了不俗的效果。這一模塊覆蓋了幾種神經網路實例，包括深度信念網路、卷積神經網路、循環神經網路等。
6、深度學習之外的人工智慧。深度學習既有優點也有局限，其他方向的人工智慧研究正是有益的補充。這一模塊覆蓋了與深度學習無關的典型學習方法，包括概率圖模型、集群智能、遷移學習、知識圖譜等。
7、應用場景。除了代替人類執行重復性的勞動，在諸多實際問題的處理中，人工智慧也提供了有意義的嘗試。這一模塊覆蓋了人工智慧技術在幾類實際任務中的應用，包括計算機視覺、語音處理、對話系統等。
❾ 如何通過Python進行深度學習
作者 | Vihar Kurama
編譯 | 荷葉
來源 | 雲棲社區
摘要：深度學習背後的主要原因是人工智慧應該從人腦中汲取靈感。本文就用一個小例子無死角的介紹一下深度學習！
人腦模擬
深度學習背後的主要原因是人工智慧應該從人腦中汲取靈感。此觀點引出了「神經網路」這一術語。人腦中包含數十億個神經元，它們之間有數萬個連接。很多情況下，深度學習演算法和人腦相似，因為人腦和深度學習模型都擁有大量的編譯單元（神經元），這些編譯單元（神經元）在獨立的情況下都不太智能，但是當他們相互作用時就會變得智能。
我認為人們需要了解到深度學習正在使得很多幕後的事物變得更好。深度學習已經應用於谷歌搜索和圖像搜索，你可以通過它搜索像「擁抱」這樣的詞語以獲得相應的圖像。－傑弗里·辛頓
神經元
神經網路的基本構建模塊是人工神經元，它模仿了人類大腦的神經元。這些神經元是簡單、強大的計算單元，擁有加權輸入信號並且使用激活函數產生輸出信號。這些神經元分布在神經網路的幾個層中。
inputs 輸入 outputs 輸出 weights 權值 activation 激活
人工神經網路的工作原理是什麼？
深度學習由人工神經網路構成，該網路模擬了人腦中類似的網路。當數據穿過這個人工網路時，每一層都會處理這個數據的一方面，過濾掉異常值，辨認出熟悉的實體，並產生最終輸出。
輸入層：該層由神經元組成，這些神經元只接收輸入信息並將它傳遞到其他層。輸入層的圖層數應等於數據集里的屬性或要素的數量。輸出層：輸出層具有預測性，其主要取決於你所構建的模型類型。隱含層：隱含層處於輸入層和輸出層之間，以模型類型為基礎。隱含層包含大量的神經元。處於隱含層的神經元會先轉化輸入信息，再將它們傳遞出去。隨著網路受訓練，權重得到更新，從而使其更具前瞻性。
神經元的權重
權重是指兩個神經元之間的連接的強度或幅度。你如果熟悉線性回歸的話，可以將輸入的權重類比為我們在回歸方程中用的系數。權重通常被初始化為小的隨機數值，比如數值0-1。
前饋深度網路
前饋監督神經網路曾是第一個也是最成功的學習演算法。該網路也可被稱為深度網路、多層感知機（MLP）或簡單神經網路，並且闡明了具有單一隱含層的原始架構。每個神經元通過某個權重和另一個神經元相關聯。
該網路處理向前處理輸入信息，激活神經元，最終產生輸出值。在此網路中，這稱為前向傳遞。
inputlayer 輸入層 hidden layer 輸出層 output layer 輸出層
激活函數
激活函數就是求和加權的輸入到神經元的輸出的映射。之所以稱之為激活函數或傳遞函數是因為它控制著激活神經元的初始值和輸出信號的強度。
用數學表示為：
我們有許多激活函數，其中使用最多的是整流線性單元函數、雙曲正切函數和solfPlus函數。
激活函數的速查表如下：
反向傳播
在網路中，我們將預測值與預期輸出值相比較，並使用函數計算其誤差。然後，這個誤差會傳回這個網路，每次傳回一個層，權重也會根絕其導致的誤差值進行更新。這個聰明的數學法是反向傳播演算法。這個步驟會在訓練數據的所有樣本中反復進行，整個訓練數據集的網路更新一輪稱為一個時期。一個網路可受訓練數十、數百或數千個時期。
prediction error 預測誤差
代價函數和梯度下降
代價函數度量了神經網路對給定的訓練輸入和預期輸出「有多好」。該函數可能取決於權重、偏差等屬性。
代價函數是單值的，並不是一個向量，因為它從整體上評估神經網路的性能。在運用梯度下降最優演算法時，權重在每個時期後都會得到增量式地更新。
兼容代價函數
用數學表述為差值平方和：
target 目標值 output 輸出值
權重更新的大小和方向是由在代價梯度的反向上採取步驟計算出的。
其中η 是學習率
其中Δw是包含每個權重系數w的權重更新的向量，其計算方式如下：
target 目標值 output 輸出值
圖表中會考慮到單系數的代價函數
initial weight 初始權重 gradient 梯度 global cost minimum 代價極小值
在導數達到最小誤差值之前，我們會一直計算梯度下降，並且每個步驟都會取決於斜率（梯度）的陡度。
多層感知器（前向傳播）
這類網路由多層神經元組成，通常這些神經元以前饋方式（向前傳播）相互連接。一層中的每個神經元可以直接連接後續層的神經元。在許多應用中，這些網路的單元會採用S型函數或整流線性單元（整流線性激活）函數作為激活函數。
現在想想看要找出處理次數這個問題，給定的賬戶和家庭成員作為輸入
要解決這個問題，首先，我們需要先創建一個前向傳播神經網路。我們的輸入層將是家庭成員和賬戶的數量，隱含層數為1， 輸出層將是處理次數。
將圖中輸入層到輸出層的給定權重作為輸入：家庭成員數為2、賬戶數為3。
現在將通過以下步驟使用前向傳播來計算隱含層（i，j）和輸出層（k）的值。
步驟：
1， 乘法－添加方法。
2， 點積（輸入＊權重）。
3，一次一個數據點的前向傳播。
4， 輸出是該數據點的預測。
i的值將從相連接的神經元所對應的輸入值和權重中計算出來。
i = (2 * 1) + (3* 1) → i = 5
同樣地，j = (2 * -1) + (3 * 1) → j =1
K = (5 * 2) + (1* -1) → k = 9
Python中的多層感知器問題的解決
激活函數的使用
為了使神經網路達到其最大預測能力，我們需要在隱含層應用一個激活函數，以捕捉非線性。我們通過將值代入方程式的方式來在輸入層和輸出層應用激活函數。
這里我們使用整流線性激活（ReLU）:
用Keras開發第一個神經網路
關於Keras：
Keras是一個高級神經網路的應用程序編程介面，由Python編寫，能夠搭建在TensorFlow,CNTK,或Theano上。
使用PIP在設備上安裝Keras,並且運行下列指令。
在keras執行深度學習程序的步驟
1，載入數據；
2，創建模型；
3，編譯模型；
4，擬合模型；
5，評估模型。
開發Keras模型
全連接層用Dense表示。我們可以指定層中神經元的數量作為第一參數，指定初始化方法為第二參數，即初始化參數，並且用激活參數確定激活函數。既然模型已經創建，我們就可以編譯它。我們在底層庫（也稱為後端）用高效數字型檔編譯模型，底層庫可以用Theano或TensorFlow。目前為止，我們已經完成了創建模型和編譯模型，為進行有效計算做好了准備。現在可以在PIMA數據上運行模型了。我們可以在模型上調用擬合函數f（），以在數據上訓練或擬合模型。
我們先從KERAS中的程序開始，
神經網路一直訓練到150個時期，並返回精確值。
❿ 人工智慧需要什麼基礎
首先要掌握必備的數學基礎知識，具體來說包括：
線性代數：如何將研究對象形式化？
概率論：如何描述統計規律？
數理統計：如何以小見大？
最優化理論： 如何找到最優解？
資訊理論：如何定量度量不確定性？
形式邏輯：如何實現抽象推理？
線性代數：如何將研究對象形式化？
事實上，線性代數不僅僅是人工智慧的基礎，更是現代數學和以現代數學作為主要分析方法的眾多學科的基礎。從量子力學到圖像處理都離不開向量和矩陣的使用。而在向量和矩陣背後，線性代數的核心意義在於提供了⼀種看待世界的抽象視角：萬事萬物都可以被抽象成某些特徵的組合，並在由預置規則定義的框架之下以靜態和動態的方式加以觀察。
著重於抽象概念的解釋而非具體的數學公式來看，線性代數要點如下：線性代數的本質在於將具體事物抽象為數學對象，並描述其靜態和動態的特性；向量的實質是 n 維線性空間中的靜止點；線性變換描述了向量或者作為參考系的坐標系的變化，可以用矩陣表示；矩陣的特徵值和特徵向量描述了變化的速度與方向。
總之，線性代數之於人工智慧如同加法之於高等數學，是一個基礎的工具集。
概率論：如何描述統計規律？
除了線性代數之外，概率論也是人工智慧研究中必備的數學基礎。隨著連接主義學派的興起，概率統計已經取代了數理邏輯，成為人工智慧研究的主流工具。在數據爆炸式增長和計算力指數化增強的今天，概率論已經在機器學習中扮演了核心角色。
同線性代數一樣，概率論也代表了一種看待世界的方式，其關注的焦點是無處不在的可能性。頻率學派認為先驗分布是固定的，模型參數要靠最大似然估計計算；貝葉斯學派認為先驗分布是隨機的，模型參數要靠後驗概率最大化計算；正態分布是最重要的一種隨機變數的分布。
數理統計：如何以小見大？
在人工智慧的研究中，數理統計同樣不可或缺。基礎的統計理論有助於對機器學習的演算法和數據挖掘的結果做出解釋，只有做出合理的解讀，數據的價值才能夠體現。數理統計根據觀察或實驗得到的數據來研究隨機現象，並對研究對象的客觀規律做出合理的估計和判斷。
雖然數理統計以概率論為理論基礎，但兩者之間存在方法上的本質區別。概率論作用的前提是隨機變數的分布已知，根據已知的分布來分析隨機變數的特徵與規律；數理統計的研究對象則是未知分布的隨機變數，研究方法是對隨機變數進行獨立重復的觀察，根據得到的觀察結果對原始分布做出推斷。
用一句不嚴謹但直觀的話講：數理統計可以看成是逆向的概率論。數理統計的任務是根據可觀察的樣本反過來推斷總體的性質；推斷的工具是統計量，統計量是樣本的函數，是個隨機變數；參數估計通過隨機抽取的樣本來估計總體分布的未知參數，包括點估計和區間估計；假設檢驗通過隨機抽取的樣本來接受或拒絕關於總體的某個判斷，常用於估計機器學習模型的泛化錯誤率。
最優化理論： 如何找到最優解？
本質上講，人工智慧的目標就是最優化：在復雜環境與多體交互中做出最優決策。幾乎所有的人工智慧問題最後都會歸結為一個優化問題的求解，因而最優化理論同樣是人工智慧必備的基礎知識。最優化理論研究的問題是判定給定目標函數的最大值（最小值）是否存在，並找到令目標函數取到最大值 (最小值) 的數值。如果把給定的目標函數看成一座山脈，最優化的過程就是判斷頂峰的位置並找到到達頂峰路徑的過程。
通常情況下，最優化問題是在無約束情況下求解給定目標函數的最小值；在線性搜索中，確定尋找最小值時的搜索方向需要使用目標函數的一階導數和二階導數；置信域演算法的思想是先確定搜索步長，再確定搜索方向；以人工神經網路為代表的啟發式演算法是另外一類重要的優化方法。
資訊理論：如何定量度量不確定性？
近年來的科學研究不斷證實，不確定性就是客觀世界的本質屬性。換句話說，上帝還真就擲骰子。不確定性的世界只能使用概率模型來描述，這促成了資訊理論的誕生。
資訊理論使用「信息熵」的概念，對單個信源的信息量和通信中傳遞信息的數量與效率等問題做出了解釋，並在世界的不確定性和信息的可測量性之間搭建起一座橋梁。
總之，資訊理論處理的是客觀世界中的不確定性；條件熵和信息增益是分類問題中的重要參數；KL 散度用於描述兩個不同概率分布之間的差異；最大熵原理是分類問題匯總的常用准則。
形式邏輯：如何實現抽象推理？
1956 年召開的達特茅斯會議宣告了人工智慧的誕生。在人工智慧的襁褓期，各位奠基者們，包括約翰·麥卡錫、赫伯特·西蒙、馬文·閔斯基等未來的圖靈獎得主，他們的願景是讓「具備抽象思考能力的程序解釋合成的物質如何能夠擁有人類的心智。」通俗地說，理想的人工智慧應該具有抽象意義上的學習、推理與歸納能力，其通用性將遠遠強於解決國際象棋或是圍棋等具體問題的演算法。
如果將認知過程定義為對符號的邏輯運算，人工智慧的基礎就是形式邏輯；謂詞邏輯是知識表示的主要方法；基於謂詞邏輯系統可以實現具有自動推理能力的人工智慧；不完備性定理向「認知的本質是計算」這一人工智慧的基本理念提出挑戰。