深度学习框架和编译器的关系学习

㈠ 什么叫做深度学习框架，其作用是什么

深度学习框架是一种为了深度学习开发而生的工具，库和预训练模型等资源的总和。有了这种框架，看似复杂神秘的深度学习模型开发被大大简化，成为AI开发者的必用利器。

目前，TensorFlow和PyTorch明显领先，其他框架势微。如下图所示，基于TensorFlow和PyTorch的开源项目，明显领先其它框架。注：Keras不算完整的AI框架，另外KerasAPI已经成为TF2.0的高层API。

TensorFlow和PyTorch两种框架未来相当时间内会趋同共存。现在PyTorch的在学术界广泛采用；而TensorFlow依赖强大的部署能力，是应用首好旅选。未来TensorFlow2.0大大提高易用性（集成Keras，支持动态库EagerExecution等）; PyTorch也在利用ONNX提高部署能力。TensorFlow和PyTorch会越来越趋同。

TensorFlow和PyTorch已是未来几年最主流的深度学习框架。围绕这两种框饥宽架的软，硬件，和开发者烂袜亮生态将会迅猛发展，新框架越来越难以成长，其他框架差距越来越大。

㈡ 为什么需要改变编译器

答案如下：
1.编译器是把源程序的每一条语句都编译成机器语言,并保存成二进制文件,这样运行时计算机可以直接以机器语言来运行此程序,速度很快;
2.解释器则是只在执行程序时,才一条一条的解释成机器语言给计算机来执行,所以运行速度是不如编译后的程序运行的快的.
3.因为计算机不能直接认识并执行我们写的语句,它只能认识机器语言(是二进制的形式).
4.编译是将源程序翻译成可执行的目标代码，翻译与执行是分开的；而解释是对源程序的翻译与执行一次性完成，不生成可存储的目标代码。这只是表象，二者背后的最大区别是：对解释执行而言，程序运行时的控制权在解释器而不在用户程序；对编译执行而言，运行时的控制权在用户程序。
4.编译器在优化过程中采用了自动或半自动的代码生成用以替代人工优化。人的精力是有限的，通过（接近无限）的算力去适配每一个应用场景看到的网络，改变编译器，这是编译技术比人工路线强的所在。

㈢ 各种编程语言的深度学习库整理大全！

各种编程语言的深度学习库整理大全！
python1. Theano是一个python类库，用数组向量来定义和计算数学表达式。它使得在Python环境下编写深度学习算法变得简单。在它基础之上还搭建了许多类库。
1.Keras是一个简洁、高度模块化的神经网络库，它的设计参考了Torch，用Python语言编写，支持调用GPU和CPU优化后的Theano运算。
2.Pylearn2是一个集成大量深度学习常见模型和训练算法的库，如随机梯度下降等。它的功能库都是基于Theano之上。
3.Lasagne是一个搭建和训练神经网络的轻量级封装库，基于Theano。它遵循简洁化、透明化、模块化、实用化和专一化的原则。
4.Blocks也是一个基于Theano的帮助搭建神经网络的框架。
2. Caffe是深度学习的框架，它注重于代码的表达形式、运算速度以及模块化程度。它是由伯克利视觉和学习中心（Berkeley Vision and Learning Center, BVLC）以及社区成员共同开发。谷歌的DeepDream项目就是基于Caffe框架完成。这个框架是使用BSD许可证的C++库，并提供了Python调用接口。
3. nolearn囊括了大量的现有神经网络函数库的封装和抽象接口、大名鼎鼎的Lasagne以及一些机器学习的常用模块。
4. Genism也是一个用Python编写的深度学习小工具，采用高效的算法来处理大规模文本数据。
5. Chainer在深度学习的理论算法和实际应用之间架起一座桥梁。它的特点是强大、灵活、直观，被认为是深度学习的灵活框架。
6. deepnet是基于GPU的深度学习算法函数库，使用Python语言开发，实现了前馈神经网络（FNN）、受限玻尔兹曼机（RBM）、深度信念网络（DBN）、自编码器（AE）、深度玻尔兹曼机（DBM）和卷积神经网络（CNN）等算法。
7. Hebel也是深度学习和神经网络的一个Python库，它通过pyCUDA控制支持CUDA的GPU加速。它实现了最重要的几类神经网络模型，提供了多种激活函数和模型训练方法，例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一个基于MShadow开发的快速、简洁的分布式深度学习框架。它是一个轻量级、易扩展的C++/CUDA神经网络工具箱，提供友好的Python/Matlab接口来进行训练和预测。
9. DeepPy是基于NumPy的深度学习框架。
10. DeepLearning是一个用C++和Python共同开发的深度学习函数库。
11. Neon是Nervana System 的深度学习框架，使用Python开发。
Matlab
1. ConvNet 卷积神经网络是一类深度学习分类算法，它可以从原始数据中自主学习有用的特征，通过调节权重值来实现。
2. DeepLearnToolBox是用于深度学习的Matlab/Octave工具箱，它包含深度信念网络（DBN）、栈式自编码器（stacked AE）、卷积神经网络（CNN）等算法。
3. cuda-convet是一套卷积神经网络（CNN）代码，也适用于前馈神经网络，使用C++/CUDA进行运算。它能对任意深度的多层神经网络建模。只要是有向无环图的网络结构都可以。训练过程采用反向传播算法（BP算法）。
4. MatConvNet是一个面向计算机视觉应用的卷积神经网络（CNN）Matlab工具箱。它简单高效，能够运行和学习最先进的机器学习算法。
CPP
1. eblearn是开源的机器学习C++封装库，由Yann LeCun主导的纽约大学机器学习实验室开发。它用基于能量的模型实现卷积神经网络，并提供可视化交互界面（GUI）、示例以及示范教程。
2. SINGA是Apache软件基金会支持的一个项目，它的设计目标是在现有系统上提供通用的分布式模型训练算法。
3. NVIDIA DIGITS是用于开发、训练和可视化深度神经网络的一套新系统。它把深度学习的强大功能用浏览器界面呈现出来，使得数据科学家和研究员可以实时地可视化神经网络行为，快速地设计出最适合数据的深度神经网络。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷积神经网络的一个统一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科学计算函数库。它主要用于产品中，也就是说函数的设计需求是运算速度快、存储空间最省。
2. Deeplearning4j 是第一款商业级别的开源分布式深度学习类库，用Java和Scala编写。它的设计目的是为了在商业环境下使用，而不是作为一款研究工具。
3. Encog是一个机器学习的高级框架，涵盖支持向量机、人工神经网络、遗传编程、贝叶斯网络、隐马可夫模型等，也支持遗传算法。
JavaScript
1. Convnet.js 由JavaScript编写，是一个完全在浏览器内完成训练深度学习模型（主要是神经网络）的封装库。不需要其它软件，不需要编译器，不需要安装包，不需要GPU，甚至不费吹灰之力。
Lua
1. Torch是一款广泛适用于各种机器学习算法的科学计算框架。它使用容易，用快速的脚本语言LuaJit开发，底层是C/CUDA实现。Torch基于Lua编程语言。
Julia
1. Mocha是Julia的深度学习框架，受C++框架Caffe的启发。Mocha中通用随机梯度求解程序和通用模块的高效实现，可以用来训练深度/浅层（卷积）神经网络，可以通过（栈式）自编码器配合非监督式预训练（可选）完成。它的优势特性包括模块化结构、提供上层接口，可能还有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一种面向对象的编程语言，面向对大规模数值和图形应用感兴趣的广大研究员、实验员和工程师们。它拥有机器学习的函数库，其中包含丰富的深度学习库。
Haskell
1. DNNGraph是Haskell用于深度神经网络模型生成的领域特定语言（DSL）。
.NET
1. Accord.NET 是完全用C#编写的.NET机器学习框架，包括音频和图像处理的类库。它是产品级的完整框架，用于计算机视觉、计算机音频、信号处理和统计应用领域。
R
1. darch包可以用来生成多层神经网络（深度结构）。训练的方法包括了对比散度的预训练和众所周知的训练算法（如反向传播法或共轭梯度法）的细调。
2. deepnet实现了许多深度学习框架和神经网络算法，包括反向传播(BP)、受限玻尔兹曼机(RBM)、深度信念网络(DBP)、深度自编码器(Deep autoencoder)等等。

㈣ 什么叫做深度学习框架，其作用是什么

目前是人工智能的时代，国内外像Google、微软、FaceBook、网络和华为等巨头公司纷纷投入较大的资源进行深度学习框架的研发和应用的拓展。表1列出了github上流行的深度学习框架的星数。

表1 github上流行的深度学习框架的星数

下面有侧重地介绍一下上表中列出的一些深度学习框架。

(一)TensorFlow

TensorFlow是用C++语言开发的，支持C、Java、Python等多种语言的调用，目前主流的方式通常会使用Python语言来驱动应用。这一特点也是其能够广受欢迎的原因。利用C++语言开发可以保证其运行效率，Python作为上层应用语言，可以为研究人员节省大量的开发时间。

TensorFlow相对于其他框架有如下特点。

1、灵活

TensorFlow与CNTK、MXNET、Theano同属于符号计算构架，允许用户在不需要使用低级语言(如在Caffe中)实现的情况下，开发出新的复杂层类型。基于图运算是其基本特点，通过图上的节点变量可以控制训练中各个环搏兆节的变量，尤其在需要对底层操作时，TensorFlow要比其他框架更容易。当然它也有缺点，灵活的操作会增加使用复杂度，从而在一定程度上增加了学习成本。

2、便捷、通用

作为主流的框架，TensorFlow生成的模型，具有便捷、通用的特点，可以满足更多使用者的需求。TensorFlow可以适用于Mac、Linux、Windows系统上开发。其编译好的模型几乎适用于当今所有的平台系统，并提满巧慧足“开箱即用”的模型使用理念，使模型应用起来更简单。

3、成熟

由于TensorFlow被使用的情况最多，所以其框架的成熟度绝对是第一的。在Google的白皮书上写道，Google内部有大量的产品几乎都用到了TensorFlow，如搜索排序、语音识别、谷歌相册和自然语言处理等。有这么多在该框架上的成功案例，先不说能够提供多少经验技巧，至少可以确保学习者在研究的道路上，遇到挫折时不会怀疑是框架的问题。

4、超强的运算性能

虽然TensorFlow在大型计算机集群的并行处理中，运算性能仅略低于CNTK，但是，其在个人机器使用场景下，会根据机器的配置自动选择CPU或GPU来运算，这方面做得更加友好与智能化。

(二)Caffe

当年深度学习的老大。最初是一个强大的图像分类框架，是最容易测试评估性能的标准深度学习框架，并且提供很多预训练模型，尤其该模型的复用价值在其他框架的学习中都会出现，大大提升了现有模型的训练时间。但是现在的Caffe似乎停滞不前，没有更新。尽管Caffe又重新崛起，从架构上看更像是TensorFlow，而且与原来的Caffe也不在一个工程里，可以独立成一个框架来看待，与原Caffe关系不大。

(三)CNTK

CNTK是一个微软开发的深度学习软件包，以速度快着称，有其独有的神经网络配置语言Brain Script，大大降低了学习门槛。有微软作为后盾，CNTK成为了最具有潜力与Tensor Flow争夺天下的框架。但目前其成熟度要比TensorFlow差太多，即便是发行的版本也会有大大小小的bug。与其他框架一样，CNTK具有文档资料不足的特点。但其与Visual Studio的天生耦合，以及其特定的MS编程风格，使得熟悉Visual Studio工具的小伙伴们从代码角度极基宽租易上手。另外，CNTK目前还不支持Mac操作系统。

关于深度学习的基础问题可以看下这个网页的视频教程，网页链接，希望我的回答能帮到你。

㈤ 简述深度学习的基本方法。

深度学习，需要怎么做到？
最佳答案
1、深度学习，首先要学会给自己定定目标（大、小、长、短），这样学习会有一个方向；然后要学会梳理自身学习情况，以课本为基础，结合自己做的笔记、试卷、掌握的薄弱环节、存在的问题等，合理的分配时间，有针对性、具体的去一点一点的去攻克、落实。

2、可以学习掌握速读记忆的能力，提高学习复习效率。速读记忆是一种高效的学习、复习方法，其训练原理就在于激活“脑、眼”潜能，培养形成眼脑直映式的阅读、学习方式。速读记忆的练习见《精英特全脑速读记忆训练》，用软件练习，每天一个多小时，一个月的时间，可以把阅读速度提高5、6倍，记忆力、注意力、思维、理解力等也会得到相应的提高，最终提高学习、复习效率，取得好成绩。如果你的阅读、学习效率低的话，可以好好的去练习一下。

3、要学会整合知识点。把需要学习的信息、掌握的知识分类，做成思维导图或知识点卡片，会让你的大脑、思维条理清醒，方便记忆、温习、掌握。同时，要学会把新知识和已学知识联系起来，不断糅合、完善你的知识体系。这样能够促进理解，加深记忆。

4、做题的时候要学会反思、归类、整理出对应的解题思路。遇到错的题（粗心做错也好、不会做也罢），最好能把这些错题收集起来，每个科目都建立一个独立的错题集（错题集要归类），当我们进行考前复习的时候，它们是重点复习对象，保证不再同样的问题上再出错、再丢分。