迁移学习算法

Ⅰ 迁移学习与fine-tuning有什么区别

迁移学习，我觉得更像一种思想吧，不是算法，当然这只是我的个人看法，还希望题主能在这里找到满意的回答。

Ⅱ 机器学习的研究内容有哪些

近年来，有很多新型的机器学习技术受到人们的广泛关注，也在解决实际问题中，提供了有效的方案。这里，我们简单介绍一下深度学习、强化学习、对抗学习、对偶学习、迁移学习、分布式学习、以及元学习，让大家可以明确机器学习的方向都有哪些，这样再选择自己感兴趣或擅长的研究方向，我觉得这是非常理智的做法。
▌深度学习
不同于传统的机器学习方法，深度学习是一类端到端的学习方法。基于多层的非线性神经网络，深度学习可以从原始数据直接学习，自动抽取特征并逐层抽象，最终实现回归、分类或排序等目的。在深度学习的驱动下，人们在计算机视觉、语音处理、自然语言方面相继取得了突破，达到或甚至超过了人类水平。深度学习的成功主要归功于三大因素——大数据、大模型、大计算，因此这三个方向都是当前研究的热点。
在过去的几十年中，很多不同的深度神经网络结构被提出，比如，卷积神经网络，被广泛应用于计算机视觉，如图像分类、物体识别、图像分割、视频分析等等；循环神经网络，能够对变长的序列数据进行处理，被广泛应用于自然语言理解、语音处理等；编解码模型（Encoder-Decoder）是深度学习中常见的一个框架，多用于图像或序列生成，例如比较热的机器翻译、文本摘要、图像描述（image captioning）问题。
▌强化学习
2016 年 3 月，DeepMInd 设计的基于深度卷积神经网络和强化学习的 AlphaGo 以 4:1 击败顶尖职业棋手李世乭，成为第一个不借助让子而击败围棋职业九段棋手的电脑程序。此次比赛成为AI历史上里程碑式的事件，也让强化学习成为机器学习领域的一个热点研究方向。
强化学习是机器学习的一个子领域，研究智能体如何在动态系统或者环境中以“试错”的方式进行学习，通过与系统或环境进行交互获得的奖赏指导行为，从而最大化累积奖赏或长期回报。由于其一般性，该问题在许多其他学科中也进行了研究，例如博弈论、控制理论、运筹学、信息论、多智能体系统、群体智能、统计学和遗传算法。
▌迁移学习
迁移学习的目的是把为其他任务（称其为源任务）训练好的模型迁移到新的学习任务（称其为目标任务）中，帮助新任务解决训练样本不足等技术挑战。之所以可以这样做，是因为很多学习任务之间存在相关性（比如都是图像识别任务），因此从一个任务中总结出来的知识（模型参数）可以对解决另外一个任务有所帮助。迁移学习目前是机器学习的研究热点之一，还有很大的发展空间。
▌对抗学习
传统的深度生成模型存在一个潜在问题：由于最大化概率似然，模型更倾向于生成偏极端的数据，影响生成的效果。对抗学习利用对抗性行为（比如产生对抗样本或者对抗模型）来加强模型的稳定性，提高数据生成的效果。近些年来，利用对抗学习思想进行无监督学习的生成对抗网络（GAN）被成功应用到图像、语音、文本等领域，成为了无监督学习的重要技术之一。
▌对偶学习
对偶学习是一种新的学习范式，其基本思想是利用机器学习任务之间的对偶属性获得更有效的反馈/正则化，引导、加强学习过程，从而降低深度学习对大规模人工标注数据的依赖。对偶学习的思想已经被应用到机器学习很多问题里，包括机器翻译、图像风格转换、问题回答和生成、图像分类和生成、文本分类和生成、图像转文本和文本转图像等等。
▌分布式学习
分布式技术是机器学习技术的加速器，能够显着提高机器学习的训练效率、进一步增大其应用范围。当“分布式”遇到“机器学习”，不应只局限在对串行算法进行多机并行以及底层实现方面的技术，我们更应该基于对机器学习的完整理解，将分布式和机器学习更加紧密地结合在一起。
▌元学习
元学习（meta learning）是近年来机器学习领域的一个新的研究热点。字面上来理解，元学习就是学会如何学习，重点是对学习本身的理解和适应，而不仅仅是完成某个特定的学习任务。也就是说，一个元学习器需要能够评估自己的学习方法，并根据特定的学习任务对自己的学习方法进行调整。

Ⅲ 究竟什么是机器学习 深度学习和人工智能

目前，业界有一种错误的较为普遍的意识，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这种意识的产生主要是因为，当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法，并且媒体对深度学习进行了大肆夸大的报道。

深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点。起码目前存在以下问题：

1. 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；

2. 有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；

3. 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子，给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，而现在的深度学习方法显然不是对人脑的模拟。

深度学习大佬 Yoshua Bengio 在 Quora 上回答一个类似的问题时，有一段话讲得特别好，这里引用一下，以回答上述问题：

Science is NOT a battle, it is a collaboration. We all build on each other's ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!

这段话的大致意思是，科学不是战争而是合作，任何学科的发展从来都不是一条路走到黑，而是同行之间互相学习、互相借鉴、博采众长、相得益彰，站在巨人的肩膀上不断前行。机器学习的研究也是一样，你死我活那是邪教，开放包容才是正道。

结合机器学习2000年以来的发展，再来看Bengio的这段话，深有感触。进入21世纪，纵观机器学习发展历程，研究热点可以简单总结为2000-2006年的流形学习、2006年-2011年的稀疏学习、2012年至今的深度学习。未来哪种机器学习算法会成为热点呢？深度学习三大巨头之一吴恩达曾表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。但最终机器学习的下一个热点是什么，谁又能说得准呢。

编辑于 2017-12-27

29918 条评论

分享

收藏感谢收起

阿里云云栖社区

用户标识1

已认证的官方帐号

39 人赞同了该回答

人工智能并不是一个新的术语，它已经有几十年的历史了，大约从80年代初开始，计算机科学家们开始设计可以学习和模仿人类行为的算法。

在算法方面，最重要的算法是神经网络，由于过拟合而不是很成功（模型太强大，但数据不足）。尽管如此，在一些更具体的任务中，使用数据来适应功能的想法已经取得了显着的成功，并且这也构成了当今机器学习的基础。

在模仿方面，人工智能专注于图像识别，语音识别和自然语言处理。人工智能专家们花费了大量的时间来创建诸如边缘检测，颜色配置文件，N-gram，语法树等。不过，这些进步还不足以达到我们的需求。

传统的机器学习：

机器学习（ML）技术在预测中发挥了重要的作用，ML经历了多代的发展，形成了具有丰富的模型结构，例如：

1.线性回归。

2.逻辑回归。

3.决策树。

4.支持向量机。

5.贝叶斯模型。

6.正则化模型。

7.模型集成（ensemble）。

8.神经网络。

这些预测模型中的每一个都基于特定的算法结构，参数都是可调的。训练预测模型涉及以下步骤：

1. 选择一个模型结构（例如逻辑回归，随机森林等）。

2. 用训练数据（输入和输出）输入模型。

3. 学习算法将输出最优模型（即具有使训练错误最小化的特定参数的模型）。

每种模式都有自己的特点，在一些任务中表现不错，但在其他方面表现不佳。但总的来说，我们可以把它们分成低功耗（简单）模型和高功耗（复杂）模型。选择不同的模型是一个非常棘手的问题。

由于以下原因，使用低功率/简单模型是优于使用高功率/复杂模型：

• 在我们拥有强大的处理能力之前，训练高功率模型将需要很长的时间。

• 在我们拥有大量数据之前，训练高功率模型会导致过度拟合问题（因为高功率模型具有丰富的参数并且可以适应广泛的数据形状，所以我们最终可能训练一个适合于特定到当前的训练数据，而不是推广到足以对未来的数据做好预测）。

然而，选择一个低功率的模型会遇到所谓的“欠拟合”的问题，模型结构太简单，如果它复杂，就无法适应训练数据。（想象一下，基础数据有一个二次方关系：y = 5 * x ^ 2;你无法适应线性回归：y = a * x + b，不管我们选择什么样的a和b。

为了缓解“不适合的问题”，数据科学家通常会运用他们的“领域知识”来提出“输入特征”，这与输出关系更为直接。（例如，返回二次关系y = 5 * square（x），如果创建了一个特征z = x ^ 2，则可以拟合线性回归：y = a * z + b，通过选择a = 5和b = 0）。

机器学习的主要障碍是特征工程这个步骤，这需要领域专家在进入训练过程之前就要找到非常重要的特征。特征工程步骤是要靠手动完成的，而且需要大量领域专业知识，因此它成为当今大多数机器学习任务的主要瓶颈。

换句话说，如果我们没有足够的处理能力和足够的数据，那么我们必须使用低功耗/更简单的模型，这就需要我们花费大量的时间和精力来创建合适的输入特征。这是大多数数据科学家今天花时间去做的地方。

神经网络的回归：

在大数据时代，云计算和大规模并行处理基础架构的共同发展，使得机器处理能力在二十一世纪初得到了极大的提升。我们不再局限于低功耗/简单的模型。例如，当今最流行的两种主流机器学习模型是随机森林和梯度提升树。尽管如此，两者都非常强大，并且提供了非线性模型拟合的训练数据，但数据科学家仍然需要仔细地创建特征以获得良好的性能。

与此同时，计算机科学家重新使用神经网络的许多层来完成这些人类模仿的任务。这给DNN（深度神经网络）带来了新的生机，并在图像分类和语音识别任务方面提供了重大突破。DNN的主要区别在于，你可以将原始信号（例如RGB像素值）直接输入DNN，而不需要创建任何域特定的输入功能。通过多层神经元（这就是为什么它被称为“深度”神经网络），DNN可以“自动”通过每一层产生适当的特征，最后提供一个非常好的预测。这极大地消除了寻找“特征工程”的麻烦，这是数据科学家们最喜欢看到的。

DNN也演变成许多不同的网络拓扑结构，所以有CNN（卷积神经网络），RNN（递归神经网络），LSTM（长期短期记忆），GAN（生成敌对网络），转移学习，注意模型（attention model）所有的这些被统称为深度学习（Deep Learning），它正在引起整个机器学习界的关注。

强化学习：

另一个关键组成部分是关于如何模仿一个人（或动物）的学习，设想感知/行为/奖励循环的非常自然的动物行为。一个人或者一个动物首先会通过感知他或者她所处的状态来了解环境。在此基础上，他或者她会选择一个“动作”，将他或者她带到另一个“状态”。那么他或她将获得“奖励”，循环重复，直到他或她消失。这种学习方式（称为强化学习）与传统监督机器学习的曲线拟合方法有很大不同。尤其是，强化学习学习得非常快，因为每一个新的反馈（例如执行一个行动并获得奖励）都被立即发送到影响随后的决定。

强化学习也提供了预测和优化的平滑整合，因为它在采取不同的行动时保持当前状态的信念和可能的转换概率，然后做出决定哪些行动可以导致最佳结果。

深度学习+强化学习= AI

与经典的ML技术相比，DL提供了一个更强大的预测模型，通常可以产生良好的预测结果。与经典优化模型相比，强化学习提供了更快的学习机制，并且更适应环境的变化。

机器学习 vs 深度学习

在深度探讨machine learning和data science的联系之前，这里简要地讨论一下machine learning 和deep learning。machine learning是一套算法，来训练数据集做预测或者采取行动以使得系统最优化。举例来说，supervised classification algorithms被用来根据历史数据将想要贷款的客户分成预期好的和预期差的(good or bad prospects)。对于给定的任务(比如监督聚类)，需要的技术多种多样：naive Bayes、SVM、neural nets、ensembles、association rules、decision trees、logistic regression，或者是很多技术的组合。所有这些都是数据科学的子集。当这些算法自动化后，比如无人驾驶飞机或者无人驾驶汽车，这就叫AI了，或者说的具体一点，deep learning。如果采集的数据来自传感器并且通过互联网传播，那么这就是机器学习或数据科学或深度学习应用于物联网了。

有些人对深度学习有不同的定义，他们认为深度学习是更深层次的神经网络(一种机器学习的技术)。AI(Artificial Intelligence)是创建于20世纪60年代的计算机科学的一个子领域，是关于解决那些对人类来讲非常容易但是对计算机而言很难的任务。值得一提的是，所谓的strong AI可能可以做所有人类可以做的事情(可能除了纯粹的物理问题)。这是相当广泛的，包括各种各样的事情，比如做计划，在世界上到处溜达，识别物体和声音，说话，翻译，社交或者商业交易，还有创造性工作(比如写诗画画)等等。

NLP(Natural language processing)只是AI要处理的语言部分，尤其是写。

Machine learning是这样的一种情况：给出一些可以被以离散形式描述的AI问题(比如从一系列动作中选出对的那个)，然后给定一堆外部世界的信息，在不需要程序员手动写程序的情况下选出那个“正确的”行为。通常情况需要借助外界的一些过程来判断这个动作对不对。在数学上，这就是函数：你给一些输入，然后你想要他处理一下得到正确的输出，所以整个问题就简化为用一些自动的方式建立这种数学函数模型。和AI区分一下：如果我写了一段特别机智的程序有着人类的行为，那这就可以是AI，但是除非它的参量都是自动从数据中学会的，否则就不是机器学习。

Deep learning是当下非常流行的机器学习的一种。它包含一种特殊的数学模型，可以想成是一种特定类型的简单块的组合(或者说是块的功能的组合)，这些块可以进行调整来更好的预测最终结果。

Ⅳ 如何在迁移学习网络中修改某层

防止负迁移

对于迁移学习而言，选择数据的最主要的动机是为了防止负迁移，如果训练数据源的信息不仅没有用，反而会对目标域上的工作适得其反，便会产生负迁移。负迁移的典型例子是情绪分析：如果我们训练一个模型来预测图书评论的情绪分析，我们可以期待模型在书评这个域做的很好。然而，如果将这个模型迁移到电子产品的评论中，结果就是负迁移，我们模型学习到的术语与书籍情绪有关，而对于电子产品的评论则意义不大。

在从一个源到一个目标域的适应性的经典场景中， 我们唯一可以做的是创建一个能够解开这些从意义上转变的模型。然而，在两个非常不同的域之间进行适应仍然会频繁地失败或者模型表现非常差劲。

在现实世界中，我们通常可以访问多个数据源。在这种情况下，我们可以做的一件事是对我们的目标域最有帮助的数据进行训练。 然而，我们尚不清楚如何确定源数据对目标域的有用性的最佳方法。 现有工作通常依赖于源和目标域之间的相似度度量。在这种情况下，一件我们可以做的事情就是对我们的目标域最有帮助的数据进行训练。然而，确定源数据对目标域的有用性的最佳方法是雾里看花。 现有工作通常依赖于源和目标域之间的相似性度量。

Ⅳ 如何进行促进学生对小学数学学习的迁移应用

一、 创设情境激发迁移意识
一种学习对另一种学习的影响，就叫学习的迁移。从认知心理学的观点看，无论在接受学习新知识或解决新问题的过程中，凡是有已形成的相关的认知结构就会产生知识、乃至方法的迁移 。而这些需要老师有意识地加以引导才会实现 。教学北师大版四年级下册的《小数的意义》一课时，我先创设一个生活情境：有一天淘气跟着妈妈到菜市场买菜，他发现一斤肉9.90元，一斤白菜2.20元，一斤地瓜2.35元。（投放到大屏幕上） 指名说说这些价格是几元几角几分，学生很快就能说出答案，因为这是从学生的生活经验中迁移过来的。接着让学生说说淘气妈妈买了这三样东西一共需要多少钱，为什么这样算?学生也基本上能比较快地算出，也懂得相同数位进行相加减的道理，因为这是从学生的知识经验中迁移过来的。最后让学生说说每个数里面的数位名称，学生一时语塞，老师顺势引导，这是本节课要学的内容，相信同学们联系以前学过的圆角分的知识会很快学会的。出示题目：1元=（ ）角 ，1元=（ ）分 1角=（ ）元 1分=（ ）元。本题由易及难，引导学生发现数的规律，新知与旧知是紧密联系在一起的，从而轻而易举地理解一角就是十分之一元，也就是0.1元，一分是一百分之一元，就是0.01元。最后回到前面的情境中，9.90元第一个9表示9元，是整数部分，第二个9表示的是9角，在小数点右边第一位，是十分之九元，0.9元，这一位叫做十分位，表示把一个数平均分成十分，取其中的几份，就是零点几，接着让学生说说2.35元每一个数位名称及数位上数字表示的意义，然后追问小数点右边第三位是什么位，表示什么，学生很快就能说出答案。这样再让学生打开书本自学小数数位顺序表，教学效果达到事半功倍的作用。一学年来我从情境创设中不断让学生体会学习迁移的重要性，激发他们主动寻找迁移的知识点和生长点。
二、引导自主学习培养迁移能力
小学数学新的课程标准要求教师切实转变教学观念，使数学课堂成为学生自主学习的乐园，让学生主动参与到数学活动中，自己去获取、巩固和深化知识，扎扎实实激发学生创新意识，培养学生创新思维和创新能力，而迁移能力就是一种创新能力。
教学中以导为主，以讲为辅
着名心理学家皮亚杰说过：儿童学习的最根本途径应该是活动，活动是认识发展的直接源泉。所以教学中我充分调动学生的眼口手脑等多种感官参与活动。例如教学四年级下册《文具店》（小数乘法）一课时，我让学生们在课堂上吆喝起来，卖铅笔啦，一把0.3元，尺子一把0.4元，转笔刀一个0.6元，同学们纷纷表示要买，我让学生自主选择要什么，买多少，需要付多少钱，算对了直接写上答案找老师领物品（模型），学生兴致勃勃，计算正确率特别高。本节课学生虽然初步接触小数乘法，但深谙整数乘法的意义，再加上有趣的数学活动，学生对求几个相同的小数用乘法计算理解得非常透彻。
鼓励质疑，调动主体意识
问题是学生主动学习的最初源泉，是点燃学生思维的火花，是学生保持探索的动力，正如古人云：学起于思，思源于疑。教学中，我根据学生的认知规律以及心理特征巧妙制造悬念，诱发学生学习兴趣，大胆质疑，积极讨论，充分地调动学习主动性，从而更深刻地认识到自己是学习的主体。例如我在教学四年级下册《谁打电话的时间长》（除数是小数的除法）时，我先问学生两个人在打电话，一个打到安海，一个打到贵州，通话时间一样长，谁的电话费多？让学生了解长途电话比短途电话贵得多这个事实。接下来抛出问题：小红和小华一起去公共电话亭打电话，小红打国内电话，每分钟0.7元，她花了8.54元，小华打国际电话，每分钟7.2元，他花了45元，你们知道谁打电话的时间长？先让学生猜测并谈谈理由，有的说小红打的时间长，因为她的电话费便宜，有的说小华打的时间长，因为他花的钱多。真是公说公有理婆说婆有理，最后还是得用事实数据来证明——计算。怎么算？请两个同学（中等生）在黑板上算，其他同学做在本子上，之后继续讨论。板演的两种答案分别是：8.54÷0.7=1.22（分） 45÷7.2=0.625（分）￣；8.54÷0.7=12.2（分）45÷7.2=6.25（分）谁的答案才是正确的呢？学生一脸疑惑，我因势利导，说：大家想一想怎样验证谁的答案才是正确的呢?整数除法的验算方法派上用场了，学生马上把这种方法迁移过来，“用商乘以除数看是否等于被除数”学生脱口而出，接下来又是一番的计算，找到正确答案，可是这又跟商的小数点要跟被除数的小数点对齐互相矛盾（观察除法竖式），学生的思维在这里又产生碰撞，又一阵叽叽喳喳，这时我提醒学生翻开书本看看智慧爷爷解决问题的方法，学生恍然大悟，把除数先化成整数，再把被除数扩大相同的倍数，这是上学期刚学过的商不变性质，学习迁移在这里起到拨乱反正的作用。至此学生对于除数是小数的除法的计算方法牢记在心，后面的课堂练习进行得非常顺利。可见让学生大胆质疑，才能对问题进行主动探索，在探索中求同存异，充分体现学生学习的主体性。
3.合作交流，激发创新思维
俗话说:“三个臭皮匠，顶个诸葛亮。”小学数学新课程标准也明确指出：自主探索、合作交流是学生学习数学的重要方式。在合作交流中，学生在充分发挥群体磨合后的智慧集思广益，有利于学生积极主动参与活动，又能沟通信息开阔思路，培养学生倾听能力和协作精神，他们在相互学习中常常突破常规，拓展思路找到多种解决问题的方法并最终同意思想，得到最佳答案。例如教学《电视广告》（小数混合运算）时，我采用了小组合作的学习方式，在出示题目后，我让学生在小组中（前后四人）讨论分析题意寻找解题方法，鼓励解题多样化，这样根据小组汇报的情况来看，学生有分步计算的，也有列综合算式的；有先求每天的广告费，再算出每秒的费用，有先算两周共播出的秒数再算每秒的费用。接着让学生继续在小组中讨论各种算法的合理性及其局限性，从而比较出它们的联系及区别，最终得到计算连除的简便方法。接下来让把整数混合运算的计算法则及定律迁移到小数混合运算中来。
三、巧用变式训练，防止负迁移的产生
变式是通过变更对象的非本质特征的表现形式，变更观察事物的角度或方法，以突出对象的本质特征。在教学中灵活地运用变式训练，可以从不同角度丰富学生对数学知识本质的理解，有效地防止负迁移的产生。教《谁打电话的时间长》（除数是小数的小数除法）一课，在课堂巩固联系中，我设置了以下几道题：A填空56÷7=560÷（ ） 0.78÷0.2=（ ）÷2 0.7÷0.25=（ ）÷25 4.06÷0.58=（ ）÷（ ） 32÷0.08=（ ）÷（ ），设计这道题的目的在于检查学生对商不变规律的掌握程度；B判断对错0.63÷0.7=9 3.06÷4.5=0.6……26 0.4÷0.5=0.08 设计这道题主要目的是让学生分析错误的原因，避免在练习中出现类似的错误。C列竖式计算6.21÷0.3= 0.012÷0.25= 7÷0.35= 防止在小数转化成整数的过程中出错，防止除数转化成整数，被除数也直接变为整数；D解决实际问题（应用题），培养学生运用知识解决实际问题的能力。变式训练有着很高的教学价值，是一种有效的教学途径，能有效地防止负迁移的产生。
总之，在新课程标准的指导下，我们作为一线教师应该灵活运用学习迁移，充分调动学生学习的自主能动性，引导学生积极主动参与，从被动“学会”到主动“会学”，让学生通过数学学习培养创新能力，发展智力水平，实现由“教”到“学”的有效转变。

Ⅵ 人工智能，机器学习，神经网络，深度神经网络之间的关系是什么

这些概念大家经常碰到，可能会有一些混淆，我这里解释下。

人工智能，顾名思义ArtificialIntelligence，缩写是大家熟知的AI。是让计算机具备人类拥有的能力——感知、学习、记忆、推理、决策等。细分的话，机器感知包括机器视觉、NLP，学习有模式识别、机器学习、增强学习、迁移学习等，记忆如知识表示，决策包括规划、数据挖掘、专家系统等。上述划分可能会有一定逻辑上的重叠，但更利于大家理解。

其中，机器学习（MachineLearning，ML）逐渐成为热门学科，主要目的是设计和分析一些学习算法，让计算机从数据中获得一些决策函数，从而可以帮助人们解决一些特定任务，提高效率。它的研究领域涉及了概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。

神经网络，主要指人工神经网络（ArtificialNeural Network，ANN），是机器学习算法中比较接近生物神经网络特性的数学模型。通过模拟人类神经网络的结构和功能，由大量“神经元”构成了一个复杂的神经网络，模拟神经元的刺激和抑制的过程，最终完成复杂运算。

深度神经网络，大家可以理解为更加复杂的神经网络，随着深度学习的快速发展，它已经超越了传统的多层感知机神经网络，而拥有对空间结构进行处理（卷积神经网络）和时间序列进行处理（递归神经网络）的能力。

所以上面的四种概念中，人工智能是最宽泛的概念，机器学习是其中最重要的学科，神经网络是机器学习的一种方式，而深度神经网络是神经网络的加强版。记住这个即可。

Ⅶ 过度学习对学习迁移有何影响

深度学习在一些传统方法难以处理的领域有了很大的进展。这种成功是由于改变了传统机器学习的几个出发点，使其在应用于非结构化数据时性能很好。如今深度学习模型可以玩游戏，检测癌症，和人类交谈，自动驾驶。

深度学习变得强大的同时也需要很大的代价。进行深度学习需要大量的数据、昂贵的硬件、甚至更昂贵的精英工程人才。

在Cloudera Fast Forward实验室，我们对能解决这些问题的创新特别兴奋。我们最新的研究报告深入探讨了多任务学习，一种允许机器学习模型同时从多个任务中学习的方法。其中的一个好处就是可以减少训练数据需求。

在本文中，我们将讲述迁移学习，这是一种可以将知识从一项任务迁移到另一项任务的相关技术。迁移学习允许你从相关问题中转移知识而不是针对问题开发一个完全定制的解决方案，这能帮助你更轻松地解决特定问题。通过迁移这些知识，你可以减少很多开支，接下来看一下该方法如何有效地解决上述问题。

为什么深度学习不同于其他方法

迁移学习不是一种新技术，也不是专门针对深度学习的，但考虑到最近深度学习的进展，它是一种令人兴奋的新技术。首先，有必要说明深度学习与传统机器学习的不同之处。

深度学习是在较低的抽象层次上进行的

机器学习是机器自动学习函数权重的一种方式。

这个特定的架构是如何选择的?这是多年来各种深度学习专家的研究和实验的结果。在这个复杂的结构中有2500万个权重，如果没有对模型的每个组件的广泛了解，从头优化这些权重几乎是不可能的。幸运的是，通过迁移学习，可以重用复杂的结构和优化的权重，大大降低了深入学习的门槛。

结论

迁移学习是一种知识（权重）共享技术，它减少了构建深度学习模型所需的训练数据、计算能力和工程人才的数量。而且，由于深度学习能够比传统机器学习提供显着的改进，因此迁移学习是一个必不可少的工具。

Ⅷ 怎样利用迁移规律进行科学的训练与教学

迁移是一种学习对另一种学习的影响.在《数学课程标准》中指出：“数学教学活动必须建立在学生的认知发展水平和已有的知识经验的基础上.” “教师应帮助他们掌握基本的数学知识与技能、数学思想和方法,获得广泛的数学活动经验.”学生已有的知识经验对新知的学习有着正迁移或负迁移,从义务教育的目标着眼,我们所期望的是一种学习对另一种学习的促进影响（正迁移）.学习的正迁移量越大,说明学生通过学习所产生的适应新的学习情境或解决问题的能力越强,教学效果就越好. 数学是一门逻辑性较强的学科,它的知识系统性强,前面的知识是后面知识的基础,后面的知识是前面知识的延伸和发展.作为教师就要挖掘和沟通种种联系,指导学生把已知迁移到未知中去,把新知识同化到旧知识中来,让学生从已获得的判断中进行推理,再获得新的判断,从而扩展学生的知识结构. 一．分析学生认知结构,组建新知识“固定点” 认知结构就是学生头脑里的知识结构.固定点,就是认知结构中处于较高抽象、概括水平的起固定作用的观念.学习中,如果学生原有的认知结构里没有适当的起固定作用的观念可以用来同化新知识,那么,学生的学习就是机械的学习.更确切地说,如果认知结构中只有一些肤浅的不完全适合的观念可以用来同化新知识,那么就将出现并列结合的同化.其结果,新知识不能有效地被固定在认知结构中,从而引起不稳定的和含糊的定义,并导致迅速的遗忘.有时在学生的认知结构中,已有起固定作用的观念,但自身不能充分利用,结果也会出现机械学习.因此,教师在准备每一节课时,在认真钻研教材的基础上,通过谈话、测试、作业分析等,了解学生的认知结构,认真分析学生学习新知识所需“固定点”的情况,然后一方面可以采取课前适时地回授,唤起学生回忆,实现知识的正迁移；另一方面,可在新课的检查学习阶段,有针对性地介绍一些与学习材料相关联的引导性材料,充当新旧知识的认知桥梁,使学习目标变得清楚明了. 如教学“除数是小数的除法”时,“商不变的性质”、“小数点位置的移动引起小数大小的变化”、“除数是整数的除法的计算方法”是学生认知结构中起组建新知的“固定点”.课上可先让学生计算除数是整数的除法,帮助学生复习整数除法的计算步骤和试商方法,着重理解“除到被除数的哪一位,就在那一位上写商”这句话的含义,从而可以使学生在学习新知识时更好地理解“商的小数点要和被除数的小数点对齐”的道理,促进学习的迁移.还可以根据如何处理小数点设计一组复习题,为引导学生被除数是小数的除法转化为除数是整数的除法做好知识上和技能上的准备. 二．研究教材知识体系,牢牢把握“迁移点” 迁移点,就是知识之间的连接点和新旧知识的生长点. 如果新的学习任务不能同认知结构中原有的观念清晰的分辨,那么新获得的意义的最初可分离强度就很低,而且这种很低的分离强度很快就会丧失.也就是说,学生在学习时,只有清晰的分辨新旧观念的联系,才能增强分离强度,从而使新知识纳入到旧知识中去,形成新的认知结构.因此教师在备课时,不仅要研究好每一课的新知识与原有知识的联系,还要善于从教材整体角度出发,充分考虑每个单元、每个例题在教材中所占的地位,尤其是在后续知识中的位置,以便有的放矢的“超前”教育. 例如,学习了“长方体和正方体的体积”以后,及时引导学生将长方体和正方体的体积进一步概括成“底面积×高”,这种“超前孕伏”不仅可以减轻学生记忆负担,又可为学习圆柱体体积计算做好迁移的准备.又如实际问题教学中,一步和两步实际问题,正叙与逆推问题均有这种“迁移点”存在.可见,在教学中,抓住知识的内在联系,适当点拨,对旧知识深入理解不仅为迁移奠定了知识基础,更创造了学习后续知识的思维条件,从而起到了事半功倍的效果. 三．改进教学方法,促进学生主动迁移 传统的迁移理论“概括说”指出,迁移与教学方法有着密切的联系,即同样的教材、内容,由于教学方法的不同,教学效果大为悬殊,迁移的效应也大不相同.因此,在教学中,我通过以下教学方法,强化学生迁移意识,促进学生主动迁移. 1、联系生活背景,促进主动迁移. 荷兰数学教育家弗莱登塔尔提出“数学现实”的教学原则,即数学来源于现实,扎根于现实,应用于现实.学生认识事物的规律是以周围世界的形象的表象为支柱的.教学中,教师有目的的创设情境,借助生活中的有关实际经验,来培植出迁移的知识基础和思维条件. 如教学“小数加减法”时,安排学生课前去超市调查各种商品价格,课上利用搜集的数据编题,组织小组合作探究,探寻小数加减法的计算方法.又如学习“和差”问题时,课上拿7个苹果,要分给两位同学,其中一位要多分到一个,请同学们动手分一分.学生分的时候有各种分法.教师从中找到与“和差”问题直接关系的方法,给予引导和提倡,“可以先将要多给的一个拿出来,给一位同学,而后再平均分成两份.多拿1个的学生得到的是两部分,一部分是先得到的1个,另一部分是两个人各得到的同样的那一份.”当学生可以很快自如的按要求叙述分配方法时,再出示“和差”问题,学生就已经具备了迁移的思维条件,可以借助生活中已有的有关实际经验为媒介进行迁移,无需教师再下多少功夫了.J 结合学生的生活经验和已有知识,使数学与学生生活贴近,这样学生不仅进入数学的角色,增进对数学的理解和应用数学的信心,还在迁移中掌握了学习数学的方法,提高了数学能力. 2、发现知识的共同规律,促进主动迁移. 学生学习新知识时,引导学生充分观察、讨论,发现新旧知识的共性,展开主动的探索活动,促进学生主动迁移,以达到从已知到未知的目的.如教学“三位数乘法”时,与“两位数乘法”比较,计算方法基本相同,知识扩展到用第二个因数百位上的数去和第一个因数去乘.教学时就可以抓住它们之间的共同规律,先复习两位数乘法的算理和算法,然后在百位上加一个数字,即314×22→314×222,让学生将两式对比,指出计算上的异同,且边计算边找规律,最后总结出三位数乘法的方法. 3、运用知识的沟通转化,促进主动迁移. 数学知识之间有着紧密的内在联系,许多新知识在一定条件下可以转化为旧知识去认识和理解.如教学“长正方形的面积”时,当学生已经掌握长方形面积的计算方法后,可以利用课件演示让学生进行长方形面积的计算,即长方形宽3米不变,长由6米依次变为5米、4米、3米,当长方形的长、宽都是3米时,问：“长宽相等,这是什么图形?你已经计算出了它的面积,想一想,正方形的面积应该怎样计算?”如此,学生可以顺利地实现由长方形面积到正方形面积的主动迁移. 这种以旧知识的转化达到沟通新知的方法,能使学生容易理解新知识的联系与发展,又容易调动起学生学习情趣和探索新知识的积极情感. 此外,教学活动中的各种练习,是学生应用知识的一种重要形式,这种知识的应用,同知识、能力的迁移也有着密切的关系.有些心理学家把知识的应用看作是知识的再迁移.所以,在练习的设计时要有针对性、阶梯性、启发性、渗透性,练习要多样化,并加强“变式”、“反例”、“对比”训练,可防止思想僵化,也能有效地促进迁移. 总之,在小学数学教学中,有效运用迁移规律,既符合了学生学习的心理特点和认知规律,有助于形成完整的认知结构,又发展了学生的能力,培养了迁移意识和习惯,全面提高了学生的数学素质。

Ⅸ 该不该坚持学习Machine Learning

Machine Learning的前景怎么样？

Machine Learning作为统计学的一个分支，最近好像特别吃香，请大神们解疑，Machine Learning具体是干什么的，前景什么样？

正好刚回答过类似的问题，直接引用下吧

Machine Learning现在是一个很火的研究方向。机器学习是研究计算机怎么模拟人类的学习行为，并且能组织已有的知识构架使之不断完善的性能的学科。 是人工智能的核心，是使计算机具有智能的根本途径。与其说是统计学的分支，不如说是统计学，计算机科学，信息科学的交叉分科。其涉及的知识面很广，涵盖了工智能、哲学、信息论、生物学、认知科学、计算复杂性等众多领域的专业知识。现在存在的一些计算器系统是没有学习的能力的（或者是有的已有了特别局限的学习能力？），因而是不能满足生产的需求的。随意随着科技的发展，machine Learning肯定会得到长足的发展的。只是，machine Learning也有许多发展方向，不是每个方向都发展的起来。

附上这篇文章的链接吧：

数据挖掘和深度学习（deep learning）哪个更有发展前景？

我再补充下Machine Learning的研究目标吧：

认知模型——即是3M认知模型，是人类对真实世界进行认知的过程模型。认知是个系统的过程，其中包含感知，记忆，判断与学习。因而完成这个认知过程，是个一及其艰难和浩大的工程。

通用学习算法——像是大家熟知deep Learning就是Machine Learning中的一种比较深的算法。 其实很多ML算法都是非逻辑性的，输入的信息数据通过数学模型而得出一个新的工具，其实可以说是建立一个人工识别号的数据库。

构造学习系统的方法（面向任务的）——其实就是研究如何通过环境向系统的学习环节提供某些信息。

先说这么多吧，有空的话做个图解释下ML的方法论，觉得还是解释比较抽象，多多包涵吧。

Machine Learning是一门多领域的交叉学科，除了像最常见的统计学、逼近论、算法复杂度分析理论等，也包括一些与生物领域的科学相关的问题，比如说最常见的人工神经网络中的各类神经元与链接方式都是仿照人脑进行操作的、以及遗传算法中模拟基因突变的过程等。

机器学习主要就是研究计算机如何模型或实现像人一样的思维方式去学习知识，通过对新问题的反馈机制，修改或优化自己已经学习到的知识。其是人工智能的核心，也就是说，人工智能非常依赖机器学习的好坏与优良程度。

机器学习的方法以及其效果的好坏对于人类未来的发展至关重要，如果效果很高的话，至少可以替代人工做的一些重复的体力劳动，并可以根据特殊情况进行一定的反映。因此，就前景而言还是很好的，尤其是在现在这个大数据时代，越来越多的人类行为相关数据被记录在案，为机器学习提供了基础内容。此外，机器学习所产生的一些成果，已经应用于许多领域，包括数据挖掘、自然语言处理等等。

虽然机器学习已经取得了一定的突破，但是还是没有达到人工智能的程度，因此有许多问题是需要研究和发展的，因此，未来的发展也是充满机遇与挑战的。Machine Learning是个不错的领域，如果想要进入的话，建议多学习一些基础思想和编程。

机器学习已经越来越平民化了(democratizing)，数学和算法并非一定要很深厚功力，大多通用算法都是现成的，比如微软Azure Machine Learning平台已经有很多打包的示例，如用来分析customer churn的示例等。至于operationalization（不知道怎么翻译），现在也没这么难了。

我觉得如果只是应用机器学习来处理现实问题，最难的还是怎么把通用算法和自己公司的现实问题联系起来，比如怎么定feature，用哪种model，另外怎么评价最终效果等等。难的是深入理解企业的实际业务，而非技术和算法。

个人认为趋势是随着machine learning平台的成熟以及通用场景的算法普及，data scientist这个称号会逐渐平民化甚至消失，最后你搭个回归模型之类的就像使用Excel处理一些数据这样简单。一个PM或者销售经理可以自己做这事而不需要养一个专门的职位。

机器学习的应用在工业界需求很高，有过工作经验的人可以很轻松的找到工作，供给远远小于需求，而且需求越来越大。

但是招 New Grad (PhD 可以考虑) 相对较少。原因很多，简单来说，就是 New Grad 往往工程经验不够，学术能力也不够。工业界的现状不复杂：大公司搞机器学习的组大、人多、要求高，PhD 是进入的门槛；小公司人少，每个人都要独当一面，因此必须要有过搭建实际机器学习系统的经验。因此如果两边都没有优势的话，自然找工作比较吃力。

因此，对于有志于做这个方向的同学来说，建议找工作时调整心态，第一份工作尽量找到工作职责与机器学习相关的组，而不必追求一步到位。人生的职业生涯很长，做好3到5年的职业生涯规划，积累实际工作经验，不断学习与强化自己。人与人的差距并不会在第一份工作中体现，而是在前几年逐渐显现出来。

机器学习早期发展是遵循实用主义糙快猛的路线。基本步骤就是靠直觉构造一个优化目标，然后解这个优化问题。数学工具基本上线性代数和凸优化也就够用了。再深一点涉及博弈论，随机过程，微分方程，测度论，实分析，泛函分析，李群等。

这个学科发展很快，长期处于理论跟不上实践。当前的发展势头，已经到了一个工科那点数学不太够用了的阶段。很需要一批数学大牛来披荆斩棘一下。很多这个领域的人认为过多的数学没必要，其实是因为这些人数学菜。我就看到过用代数几何的方法(resolution of singularity, blow-up)漂亮的解singular model的问题。可惜很少人follow。 总之很多问题是到了需要引入高级数学工具才能漂亮解决的地步了。比如各种不变性和等价性需要黎曼几何，各种ill pose singular问题需要代数几何。

结局就是：还是好好去学数学吧。。。。。。

提几个可能的有关机器学习当中的深度学习发展方向，同时也就是尚待解决的问题：

1.让深度学习自动调超参。

最近看到有人在一个AI群里推广自己的一篇论文《Deep Q-Networks for Accelerating the Training of Deep Neural Networks》，大致是用强化学习的方法训练一个控制器来自动控制学习率以及在一个batch中各个类的样本占比。虽然它那篇论文问题很大，训练出来的控制器极其不通用，只能用在它原本的任务上，但是感觉很容易解决掉，这个另说。想象一下，如果能够训练出一个通用的控制器，对于各类任务都能够自动调整超参（或者只在某个子领域比如图像分类做到通用也好），那我们就再也不用自称调参狗了，同时也可以解放出更多的时间用于设计模型、验证架构，想必深度学习的发展步伐会得到极大加速。

2.自动学习网络架构。

其实说起来这个问题也可以归入自动调超参，但是感觉应该还是有很大的不同。说起来无非就是两个方面，一是加法二是减法。加法方面可以参考《Net2Net: Accelerating Learning via Knowledge Transfer》，这篇是让CNN自动根据需要自动拓展架构，包括横向的增加filter和纵向的增加layer。减法方面可以参考各类Network Compression（网络压缩）的论文中的所谓Network Pruning（网络剪枝），比如《Deep Compression - Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding》，虽然这些论文出发点不在于自动学习网络架构而在于压缩网络规模，而且它们往往是在训练收敛之后才对网络进行裁剪而非边训练边裁剪，但是感觉只需要再跨一步就可以了。我个人觉得，自动学习网络架构需要解决的最根本问题就是“应该在什么时机进行架构变动”以及“应该怎么变”，第二个问题感觉上述论文算是回答得可以了，但是第一个问题似乎还有很多可以探索的地方。对于第一个问题，似乎强化学习就很适合解决，因为显然可以把它看成一个控制问题。

3.迁移学习。

众所周知，深度学习的直接训练依赖大量数据，而transfer和finetune能够有效利用数据量大的外部任务训练出来特征来迁移到数据量小的目标任务上，使得目标任务对于数据量的要求大大减小。现在的问题在于，迁移学习的思想现在大家其实都在用，很多论文中都可以看到finetune的做法，但是对于两个任务之间需要“多像”才能够迁移这么一个问题还没有一个很好的回答。即使我们不奢求能够给出一个严格的数学理论，至少，如果有人能够做一个非常系统的对比实验，总结出一些规律，使得我们有信心说在如何如何这样一个边界内的任务都是基本上可以transfer的，那将会是一个很大的进步。这个问题也可以这么看，如今我们应该有信心说两个图像分类任务可以transfer，但是这个边界太过狭窄，我个人期待的就是能够有一套理论或者方法论使得这个边界大大拓展，然后在这个边界内我们可以像对两个图像分类任务一样自信满满地用迁移学习。

4.无监督／半监督学习。

像LeCun等大佬其实一直在鼓吹这方面，但似乎还没有搞出像当年CNN（AlexNet）、最近强化学习（阿法狗）这样级别的大新闻来。我理解在这个问题上的努力方向应该是确定“何种representation最有用”。具体来说，就是找到一个指标，然后用深度网络优化这个指标，使得满足这个指标的data representation能够具有非常好的特性。再具体一些，下面举三个实际例子：

autoencoder以重构损失作为指标来学习一个representation。

之前听一个讲座，演讲人介绍他的论文《Why Deep Learning Works: A Manifold Disentanglement Perspective》IEEE Xplore Abstract，其中定义了三个指标来描述深度网络每一层中data representation的“蜷曲程度”，并发现，越高层的数据蜷曲度越低，换言之，越平展。那么无监督学习是否能够直接以这个蜷曲度作为损失函数来学习一个representation呢？

这篇论文《Context Encoders: Feature Learning by Inpainting》提出通过预测周边上下文像素来无监督学习视觉特征，感觉很像word2vec从一维变成二维。

除了上述的重构损失、蜷曲度、预测上下文精度，还有没有别的指标学习出来的representation更好呢？个人认为这些问题就是推动无监督／半监督学习进展的关键所在。

5.基于外部存储（external memory）的模型。

如果说RNN、LSTM这样的模型属于internal memory / long-term memory的话，那么以神经图灵机（Neural Turing Machine）、记忆网络（Memory Network）为代表的模型就应该称为external memory / really long-term memory了。不过这两个模型刚出来的时候还太过naive，只能做一些很无聊的task，比如序列复制和排序以及非常简单的QA，但是现在已经开始看到它们被用到更加实际的问题上面，例如One-shot Learning：《One-shot Learning with Memory-Augmented Neural Networks》。往大了说，如果未来要实现强AI，这种外部存储的机制肯定是必不可少的。现在的问题在于，神经图灵机和记忆网络用的外部存储虽然比LSTM那样简单的一个hidden state向量更进一步，但也其实就是很简单的一片矩阵，没有任何结构和层次可言，换言之，就是还不够复杂。所以我猜想接下来可能external memory会和知识图谱（Knowledge Graph）结合起来或至少是向知识图谱类似的做法靠拢，因为知识图谱更加结构化。

咳咳，路过，进来小小的装一下。本人现在大三，所以说在这个话题上可能并没有什么话语权，不过因为最近再跟老师搞项目，正好是这方面的，戳进来分享一下感受吧。

第一是：机器学习前景很好。这是真的，最近看了很多论文，有关数据挖掘数据分析类别的，里面用到的百分之八九十都是机器学习，这可能也是人工智能发展的最大需求吧，人工智能无非是模仿人类，而人类最开始也是对世界充满了无知，通过学习才慢慢认知这个世界的，个人感觉这就是为什么机器学习会被提出来吧，像真的实现人工智能就要从根源开始模仿人类，也就是从学习这个技能上入手。

说完了这个想说的是为什么前景好呢，上面说过的用途和提出愿景好是一方面，另一方面是因为这方面人才还比较少，其实这也是一种发展前景吧。就像前几年计算机刚刚火起来的时候那些最早接触计算机的人突然就变得很出名，然后社会上一大部分人都涌入到这个领域中，这是一个道理。机器学习现在还处在起步阶段，下一阶段怎么发展决定于人们对他的研究深度和重视程度。就目前人工智能不断得到重视来看，应该还是很有发展前景的，说不好会成为继计算机时代后的又一个新的时代。

以上观点仅仅是个人观点，我觉得至少在短时间内这个研究方向只会更火不会被冷，就像大数据一样，同样也有人在不断质疑大数据的发展，不过目前发展的还是很好的不是吗？

---------------------------------

2016 机器学习之路：一年从无到有掌握机器学习

译者：闻菲

今天是2016年9月12日AI WORLD 2016世界人工智能大会倒计时 36天启航期5折抢票倒计时 7 天

【导读】程序员 Per Harald Borgen 在 Medium 刊文，介绍了他在一年的时间里，从入门到掌握机器学习的历程。Borgen 表示，即使没有博士学位和高深的数学造诣也能掌握机器学习。这一点相信对不少人都挺有吸引力和启发。不过，博士学位或许真的并非必须，但要掌握机器学习，学再多的数学也不会嫌多。下面就来看 Borgen 不脱产，从菜鸟变熟手提升业绩的故事。

第一步：Hacker News 和 Udactiy

Borgen 对机器学习的兴趣始于 2014 年。跟很多人一样，他最初是看到 Hacker News 的帖子，单纯觉得教计算机学东西很酷。那时候他还只是个业余的编码爱好者，连程序员都谈不上。

于是，Borgen 开始了他的机器学习之路。首先，到 Uadcity 看监督学习的视频，然后阅读所有能找到的、跟机器学习有关的读物。

Borgen 总结说，“这给了我一点概念上的理解，不过没有实践技巧。”

同时，他也十分坦承，Udacity 的 MOOC 他并没有上完——只要是 MOOC，他几乎都没有坚持上完过。这一点，无论怎么说，至少让篇文章的置信度倍增。

第二步：挂掉 Coursera 机器学习课

2015 年初，Borgen 为了成为正式的开发人员，参加了 Founders and Coders（FAC）在伦敦的训练营。在 FAC，他和同学一起，每周二晚上会看 Coursera 上机器学习课程的视频。

不用说，大名鼎鼎的吴恩达的机器学习课。Borgen 表示课很赞，学了很多，然而他个人觉得这门课不适合新手。至少他自己，就需要反复看视频才能掌握里面讲的概念——当然，这是 Borgen 的个人感受。不过，Borgen 在 FAC 学的同学也一个个掉队，最终他自己也挂掉了。

Borgen 总结说，他当时应该学一门用机器学习库编代码的课，而不是从零开始建算法，至少应该用他已经知道的编程语言写算法。

一句话，“对新手来说，一边学语言一遍写机器学习算法代码难度是很高的”。这句话有一定的参考价值。

Borgen 的建议是，可以选择 Udacity 的《机器学习入门》（Intro to Machine Learning），更容易入门，上来就能实践，在提升经验值的过程中，学习的趣味性也会增多。

【经验】从简单的实践学起，之后再学困难的、偏理论的东西。

第三步：一周学会机器学习

Borgen 在 FAC 做的最后一件事情，就是“一周学会机器学习”。他的目标是，一周以后能够实用机器学习解决实际问题，而他也成功做到了这一点。

具体的经验 Borgen 写在了另一篇文章里。有兴趣进一步了解，可以访问：

简单说，在一周的时间里，Borgen 做了以下几件事情：

学会了 Scikit Learn

在真实世界数据库跑了一次机器学习

从零（用 python ）写了一个线性回归算法

做了一点儿 NLP

【经验】腾出一周时间来全身心地沉浸到机器学习里面去，效果惊人。

第四步：挂掉神经网络

成功在一周的时间里拿下机器学习给了 Borgen 自信。因此，在他结束 FAC 回到挪威时，他计划进行第二次挑战——一周内学会神经网络。

然而，事实是残酷的。离开 FAC 那种 沉浸式学习环境后，要一天写 10 小时的代码可不容易。

【教训】找一个合适的环境做这种事情。

不过，Borgen 到底还是学上了神经网络。去年 7 月份的时候，他写完了一个网络的代码。虽然很粗糙，但完成比完美重要，对吧？

下半年，Borgen 换了一份新工作，这在某种程度上影响了他的机器学习学习进展。这一阶段他主要做的是实现神经网络，他把大学时学的线性代数重新看了一遍。年底时，Borgen 写了篇总结：

《学习如何编写神经网络代码》

也是在这篇文章里，Borgen 记录了他从零开始写代码的过程。这篇文章在 Medium 上点赞的数量接近 600。

第四步：在 Kaggle 竞赛中实践

2015 年圣诞节，Borgen 参加了 Kaggle 竞赛。当然，实践的效果是显着的，他得到了通过算法和数据实际迭代实验的经验，也学会了在做机器学习项目时要相信自己的逻辑，“如果调参或特征工程从逻辑上看有用，那么一般都会有用”。

第五步：在工作中建立学习的习惯

2016 年初，Borgen 想将他在去年年底获得的动力持续到工作中，便询问经理是否能在上班时学新的东西——经理答应了。虽然 Borgen 在文中没有多写，实际上，从这个经历中也能学到东西：

勇于提出需求，它们才有机会得到满足——当然，你的需求需要合理。

于是，Borgen 就在上班时也能学机器学习啦（拿钱做想做的事情！）。在 2016 年积累了相关经验以后，Borgen 的第一站是 Uadcity 的深度学习课程。然而，事实证明，对于现在的他来说，Udacity 的这门课已经太浅。不过，课后的 Ipython Notebook 作业却太难。Debug 浇灭了他的大部分兴趣。又一次地，一门 MOOC 被他放弃。

但随后，Borgen 发现了斯坦福的 CS224D，这门课让他获益匪浅。Borgen 总结斯坦福 CS224D 的好处是：

尽管难，但做题从来没有 debug；

课程提供答案，便于加深理解。

尽管 Borgen 仍然没有把这门课上完，但他推荐有兴趣的人去学。

另外，Borgen 在学这门课的过程中，为了完成题目，请了一位家教，时薪 40 美元，这位家教帮他发现了很多问题。因此，他得到了这么一条经验。

【经验】花 50 美元/时的金额聘请机器学习家教，绝对值得。（如果你有机器学习经验，你可以获得时薪 50 美元的打工机会。）

学以致用，提高销售额

Borgen 在工作中实践机器学习，他搭建了一个系统，节省了公司销售部门同事的很多时间。相关代码：

以上就是 Borgen 在实际工作中一年掌握机器学习的历程。不管带不带感，至少十分真实。Borgen 在文章末尾写道：“如果我做得到，你也做得到。”

尤其是工作中的程序员，你不想试试吗？

Ⅹ 关于深度学习的问题都有哪些

很多人对于深度学习有很多的问题，其实这说明深度学习的关注度还是很高的。深度学习是为人工智能服务的，因此深度学习这种算法越来越受大家的关注。在这篇文章中我们就给大家解答一下关于深度学习的问题，希望这篇文章能够给大家带来帮助。
1.为什么构建深度学习模型需要使用GPU？
在深度学习中，深度学习模型有两个主要的操作，也就是前向传递和后向传递。前向传递将输入数据通过神经网络后生成输出；后向传递根据前向传递得到的误差来更新神经网络的权重。在矩阵中，我们知道计算矩阵就是第一个数组的行与第二个数组的列元素分别相乘。因此，在神经网络中，我们可以将第一个矩阵视为神经网络的输入，第二个矩阵可以视为网络的权重。这似乎是一个简单的任务。但是数据有很多，如果我们用传统的方法，训练这种系统需要几年的时间。如果使用神经网络的计算密集部分由多个矩阵乘法组成。那么如何才能更快？我们可以简单地通过同时执行所有操作，而不是一个接一个地执行。这就是为什么我们要使用GPU而不是CPU来训练神经网络的原因。
2.何时应用神经网络？
首先，深度学习模型需要清晰且丰富的数据来训练。对于图像处理等复杂问题使用深度学习需要很谨慎。深度学习算法属于表示学习算法。这些算法将复杂问题分解为更简单的形式以便理解。对于传统的算法来说，这将更困难。硬件要求对于运行深度神经网络模型也至关重要。神经网络很久以前就被发现了，但近年来得以成功实现，硬件资源更加强大也是其主要原因。
3.是否需要大量数据来训练深度学习模型？
其实我们确实需要大量的数据来训练深度学习模型，但也可以通过迁移学习来克服数据量不大这一障碍。即使数据量不大，针对特定任务进行训练的深度学习模型也可以重用于同一个域中的不同问题，这种技术被称为迁移学习。
相信大家看了这篇文章以后对深度学习有所理解了吧？大家在学习深度学习的时候一定要意识到一件事情，那就是深度学习是机器学习的分支，想学好人工智能一定不能忽视了对深度学习的掌握和熟知。