深度學習框架和編譯器的關系學習

㈠ 什麼叫做深度學習框架，其作用是什麼

深度學習框架是一種為了深度學習開發而生的工具，庫和預訓練模型等資源的總和。有了這種框架，看似復雜神秘的深度學習模型開發被大大簡化，成為AI開發者的必用利器。

目前，TensorFlow和PyTorch明顯領先，其他框架勢微。如下圖所示，基於TensorFlow和PyTorch的開源項目，明顯領先其它框架。註：Keras不算完整的AI框架，另外KerasAPI已經成為TF2.0的高層API。

TensorFlow和PyTorch兩種框架未來相當時間內會趨同共存。現在PyTorch的在學術界廣泛採用；而TensorFlow依賴強大的部署能力，是應用首好旅選。未來TensorFlow2.0大大提高易用性（集成Keras，支持動態庫EagerExecution等）; PyTorch也在利用ONNX提高部署能力。TensorFlow和PyTorch會越來越趨同。

TensorFlow和PyTorch已是未來幾年最主流的深度學習框架。圍繞這兩種框飢寬架的軟，硬體，和開發者爛襪亮生態將會迅猛發展，新框架越來越難以成長，其他框架差距越來越大。

㈡ 為什麼需要改變編譯器

答案如下：
1.編譯器是把源程序的每一條語句都編譯成機器語言,並保存成二進制文件,這樣運行時計算機可以直接以機器語言來運行此程序,速度很快;
2.解釋器則是只在執行程序時,才一條一條的解釋成機器語言給計算機來執行,所以運行速度是不如編譯後的程序運行的快的.
3.因為計算機不能直接認識並執行我們寫的語句,它只能認識機器語言(是二進制的形式).
4.編譯是將源程序翻譯成可執行的目標代碼，翻譯與執行是分開的；而解釋是對源程序的翻譯與執行一次性完成，不生成可存儲的目標代碼。這只是表象，二者背後的最大區別是：對解釋執行而言，程序運行時的控制權在解釋器而不在用戶程序；對編譯執行而言，運行時的控制權在用戶程序。
4.編譯器在優化過程中採用了自動或半自動的代碼生成用以替代人工優化。人的精力是有限的，通過（接近無限）的算力去適配每一個應用場景看到的網路，改變編譯器，這是編譯技術比人工路線強的所在。

㈢ 各種編程語言的深度學習庫整理大全！

各種編程語言的深度學習庫整理大全！
python1. Theano是一個python類庫，用數組向量來定義和計算數學表達式。它使得在Python環境下編寫深度學習演算法變得簡單。在它基礎之上還搭建了許多類庫。
1.Keras是一個簡潔、高度模塊化的神經網路庫，它的設計參考了Torch，用Python語言編寫，支持調用GPU和CPU優化後的Theano運算。
2.Pylearn2是一個集成大量深度學習常見模型和訓練演算法的庫，如隨機梯度下降等。它的功能庫都是基於Theano之上。
3.Lasagne是一個搭建和訓練神經網路的輕量級封裝庫，基於Theano。它遵循簡潔化、透明化、模塊化、實用化和專一化的原則。
4.Blocks也是一個基於Theano的幫助搭建神經網路的框架。
2. Caffe是深度學習的框架，它注重於代碼的表達形式、運算速度以及模塊化程度。它是由伯克利視覺和學習中心（Berkeley Vision and Learning Center, BVLC）以及社區成員共同開發。谷歌的DeepDream項目就是基於Caffe框架完成。這個框架是使用BSD許可證的C++庫，並提供了Python調用介面。
3. nolearn囊括了大量的現有神經網路函數庫的封裝和抽象介面、大名鼎鼎的Lasagne以及一些機器學習的常用模塊。
4. Genism也是一個用Python編寫的深度學習小工具，採用高效的演算法來處理大規模文本數據。
5. Chainer在深度學習的理論演算法和實際應用之間架起一座橋梁。它的特點是強大、靈活、直觀，被認為是深度學習的靈活框架。
6. deepnet是基於GPU的深度學習演算法函數庫，使用Python語言開發，實現了前饋神經網路（FNN）、受限玻爾茲曼機（RBM）、深度信念網路（DBN）、自編碼器（AE）、深度玻爾茲曼機（DBM）和卷積神經網路（CNN）等演算法。
7. Hebel也是深度學習和神經網路的一個Python庫，它通過pyCUDA控制支持CUDA的GPU加速。它實現了最重要的幾類神經網路模型，提供了多種激活函數和模型訓練方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一個基於MShadow開發的快速、簡潔的分布式深度學習框架。它是一個輕量級、易擴展的C++/CUDA神經網路工具箱，提供友好的Python/Matlab介面來進行訓練和預測。
9. DeepPy是基於NumPy的深度學習框架。
10. DeepLearning是一個用C++和Python共同開發的深度學習函數庫。
11. Neon是Nervana System 的深度學習框架，使用Python開發。
Matlab
1. ConvNet 卷積神經網路是一類深度學習分類演算法，它可以從原始數據中自主學習有用的特徵，通過調節權重值來實現。
2. DeepLearnToolBox是用於深度學習的Matlab/Octave工具箱，它包含深度信念網路（DBN）、棧式自編碼器（stacked AE）、卷積神經網路（CNN）等演算法。
3. cuda-convet是一套卷積神經網路（CNN）代碼，也適用於前饋神經網路，使用C++/CUDA進行運算。它能對任意深度的多層神經網路建模。只要是有向無環圖的網路結構都可以。訓練過程採用反向傳播演算法（BP演算法）。
4. MatConvNet是一個面向計算機視覺應用的卷積神經網路（CNN）Matlab工具箱。它簡單高效，能夠運行和學習最先進的機器學習演算法。
CPP
1. eblearn是開源的機器學習C++封裝庫，由Yann LeCun主導的紐約大學機器學習實驗室開發。它用基於能量的模型實現卷積神經網路，並提供可視化交互界面（GUI）、示例以及示範教程。
2. SINGA是Apache軟體基金會支持的一個項目，它的設計目標是在現有系統上提供通用的分布式模型訓練演算法。
3. NVIDIA DIGITS是用於開發、訓練和可視化深度神經網路的一套新系統。它把深度學習的強大功能用瀏覽器界面呈現出來，使得數據科學家和研究員可以實時地可視化神經網路行為，快速地設計出最適合數據的深度神經網路。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷積神經網路的一個統一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科學計算函數庫。它主要用於產品中，也就是說函數的設計需求是運算速度快、存儲空間最省。
2. Deeplearning4j 是第一款商業級別的開源分布式深度學習類庫，用Java和Scala編寫。它的設計目的是為了在商業環境下使用，而不是作為一款研究工具。
3. Encog是一個機器學習的高級框架，涵蓋支持向量機、人工神經網路、遺傳編程、貝葉斯網路、隱馬可夫模型等，也支持遺傳演算法。
JavaScript
1. Convnet.js 由JavaScript編寫，是一個完全在瀏覽器內完成訓練深度學習模型（主要是神經網路）的封裝庫。不需要其它軟體，不需要編譯器，不需要安裝包，不需要GPU，甚至不費吹灰之力。
Lua
1. Torch是一款廣泛適用於各種機器學習演算法的科學計算框架。它使用容易，用快速的腳本語言LuaJit開發，底層是C/CUDA實現。Torch基於Lua編程語言。
Julia
1. Mocha是Julia的深度學習框架，受C++框架Caffe的啟發。Mocha中通用隨機梯度求解程序和通用模塊的高效實現，可以用來訓練深度/淺層（卷積）神經網路，可以通過（棧式）自編碼器配合非監督式預訓練（可選）完成。它的優勢特性包括模塊化結構、提供上層介面，可能還有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一種面向對象的編程語言，面向對大規模數值和圖形應用感興趣的廣大研究員、實驗員和工程師們。它擁有機器學習的函數庫，其中包含豐富的深度學習庫。
Haskell
1. DNNGraph是Haskell用於深度神經網路模型生成的領域特定語言（DSL）。
.NET
1. Accord.NET 是完全用C#編寫的.NET機器學習框架，包括音頻和圖像處理的類庫。它是產品級的完整框架，用於計算機視覺、計算機音頻、信號處理和統計應用領域。
R
1. darch包可以用來生成多層神經網路（深度結構）。訓練的方法包括了對比散度的預訓練和眾所周知的訓練演算法（如反向傳播法或共軛梯度法）的細調。
2. deepnet實現了許多深度學習框架和神經網路演算法，包括反向傳播(BP)、受限玻爾茲曼機(RBM)、深度信念網路(DBP)、深度自編碼器(Deep autoencoder)等等。

㈣ 什麼叫做深度學習框架，其作用是什麼

目前是人工智慧的時代，國內外像Google、微軟、FaceBook、網路和華為等巨頭公司紛紛投入較大的資源進行深度學習框架的研發和應用的拓展。表1列出了github上流行的深度學習框架的星數。

表1 github上流行的深度學習框架的星數

下面有側重地介紹一下上表中列出的一些深度學習框架。

(一)TensorFlow

TensorFlow是用C++語言開發的，支持C、Java、Python等多種語言的調用，目前主流的方式通常會使用Python語言來驅動應用。這一特點也是其能夠廣受歡迎的原因。利用C++語言開發可以保證其運行效率，Python作為上層應用語言，可以為研究人員節省大量的開發時間。

TensorFlow相對於其他框架有如下特點。

1、靈活

TensorFlow與CNTK、MXNET、Theano同屬於符號計算構架，允許用戶在不需要使用低級語言(如在Caffe中)實現的情況下，開發出新的復雜層類型。基於圖運算是其基本特點，通過圖上的節點變數可以控制訓練中各個環搏兆節的變數，尤其在需要對底層操作時，TensorFlow要比其他框架更容易。當然它也有缺點，靈活的操作會增加使用復雜度，從而在一定程度上增加了學習成本。

2、便捷、通用

作為主流的框架，TensorFlow生成的模型，具有便捷、通用的特點，可以滿足更多使用者的需求。TensorFlow可以適用於Mac、Linux、Windows系統上開發。其編譯好的模型幾乎適用於當今所有的平台系統，並提滿巧慧足「開箱即用」的模型使用理念，使模型應用起來更簡單。

3、成熟

由於TensorFlow被使用的情況最多，所以其框架的成熟度絕對是第一的。在Google的白皮書上寫道，Google內部有大量的產品幾乎都用到了TensorFlow，如搜索排序、語音識別、谷歌相冊和自然語言處理等。有這么多在該框架上的成功案例，先不說能夠提供多少經驗技巧，至少可以確保學習者在研究的道路上，遇到挫折時不會懷疑是框架的問題。

4、超強的運算性能

雖然TensorFlow在大型計算機集群的並行處理中，運算性能僅略低於CNTK，但是，其在個人機器使用場景下，會根據機器的配置自動選擇CPU或GPU來運算，這方面做得更加友好與智能化。

(二)Caffe

當年深度學習的老大。最初是一個強大的圖像分類框架，是最容易測試評估性能的標准深度學習框架，並且提供很多預訓練模型，尤其該模型的復用價值在其他框架的學習中都會出現，大大提升了現有模型的訓練時間。但是現在的Caffe似乎停滯不前，沒有更新。盡管Caffe又重新崛起，從架構上看更像是TensorFlow，而且與原來的Caffe也不在一個工程里，可以獨立成一個框架來看待，與原Caffe關系不大。

(三)CNTK

CNTK是一個微軟開發的深度學習軟體包，以速度快著稱，有其獨有的神經網路配置語言Brain Script，大大降低了學習門檻。有微軟作為後盾，CNTK成為了最具有潛力與Tensor Flow爭奪天下的框架。但目前其成熟度要比TensorFlow差太多，即便是發行的版本也會有大大小小的bug。與其他框架一樣，CNTK具有文檔資料不足的特點。但其與Visual Studio的天生耦合，以及其特定的MS編程風格，使得熟悉Visual Studio工具的小夥伴們從代碼角度極基寬租易上手。另外，CNTK目前還不支持Mac操作系統。

關於深度學習的基礎問題可以看下這個網頁的視頻教程，網頁鏈接，希望我的回答能幫到你。

㈤ 簡述深度學習的基本方法。

深度學習，需要怎麼做到？
最佳答案
1、深度學習，首先要學會給自己定定目標（大、小、長、短），這樣學習會有一個方向；然後要學會梳理自身學習情況，以課本為基礎，結合自己做的筆記、試卷、掌握的薄弱環節、存在的問題等，合理的分配時間，有針對性、具體的去一點一點的去攻克、落實。

2、可以學習掌握速讀記憶的能力，提高學習復習效率。速讀記憶是一種高效的學習、復習方法，其訓練原理就在於激活「腦、眼」潛能，培養形成眼腦直映式的閱讀、學習方式。速讀記憶的練習見《精英特全腦速讀記憶訓練》，用軟體練習，每天一個多小時，一個月的時間，可以把閱讀速度提高5、6倍，記憶力、注意力、思維、理解力等也會得到相應的提高，最終提高學習、復習效率，取得好成績。如果你的閱讀、學習效率低的話，可以好好的去練習一下。

3、要學會整合知識點。把需要學習的信息、掌握的知識分類，做成思維導圖或知識點卡片，會讓你的大腦、思維條理清醒，方便記憶、溫習、掌握。同時，要學會把新知識和已學知識聯系起來，不斷糅合、完善你的知識體系。這樣能夠促進理解，加深記憶。

4、做題的時候要學會反思、歸類、整理出對應的解題思路。遇到錯的題（粗心做錯也好、不會做也罷），最好能把這些錯題收集起來，每個科目都建立一個獨立的錯題集（錯題集要歸類），當我們進行考前復習的時候，它們是重點復習對象，保證不再同樣的問題上再出錯、再丟分。