机器学习预测算法
A. 机器学习中的各种算法适用于哪些预测
1.决策树(Decision Trees)：
决策树是一个决策支持工具，它使用树形图或决策模型以及序列可能性。包括各种偶然事件的后果、资源成本、功效。下图展示的是它的大概原理：
从业务决策的角度来看，大部分情况下决策树是评估作出正确的决定的概率最不需要问是/否问题的办法。它能让你以一个结构化的和系统化的方式来处理这个问题，然后得出一个合乎逻辑的结论。
2.朴素贝叶斯分类(Naive Bayesian classification)：
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。
它的现实使用例子有：
将一封电子邮件标记(或者不标记)为垃圾邮件
将一篇新的文章归类到科技、政治或者运动
检查一段文本表达的是积极情绪还是消极情绪
脸部识别软件
3.最小二乘法(Ordinary Least Squares Regression)：
如果你懂统计学的话，你可能以前听说过线性回归。最小二乘法是一种计算线性回归的方法。你可以把线性回归当做在一系列的点中画一条合适的直线的任务。有很多种方法可以实现这个，“最小二乘法”是这样做的 —你画一条线，然后为每个数据点测量点与线之间的垂直距离，并将这些全部相加，最终得到的拟合线将在这个相加的总距离上尽
B. 机器学习中需要掌握的算法有哪些
在学习机器学习中，我们需要掌握很多算法，通过这些算法我们能够更快捷地利用机器学习解决更多的问题，让人工智能实现更多的功能，从而让人工智能变得更智能。因此，本文为大家介绍一下机器学习中需要掌握的算法，希望这篇文章能够帮助大家更深入地理解机器学习。
首先我们为大家介绍的是支持向量机学习算法。其实支持向量机算法简称SVM，一般来说，支持向量机算法是用于分类或回归问题的监督机器学习算法。SVM从数据集学习，这样SVM就可以对任何新数据进行分类。此外，它的工作原理是通过查找将数据分类到不同的类中。我们用它来将训练数据集分成几类。而且，有许多这样的线性超平面，SVM试图最大化各种类之间的距离，这被称为边际最大化。而支持向量机算法那分为两类，第一就是线性SVM。在线性SVM中，训练数据必须通过超平面分离分类器。第二就是非线性SVM，在非线性SVM中，不可能使用超平面分离训练数据。
然后我们给大家介绍一下Apriori机器学习算法，需要告诉大家的是，这是一种无监督的机器学习算法。我们用来从给定的数据集生成关联规则。关联规则意味着如果发生项目A，则项目B也以一定概率发生，生成的大多数关联规则都是IF_THEN格式。Apriori机器学习算法工作的基本原理就是如果项目集频繁出现，则项目集的所有子集也经常出现。
接着我们给大家介绍一下决策树机器学习算法。其实决策树是图形表示，它利用分支方法来举例说明决策的所有可能结果。在决策树中，内部节点表示对属性的测试。因为树的每个分支代表测试的结果，并且叶节点表示特定的类标签，即在计算所有属性后做出的决定。此外，我们必须通过从根节点到叶节点的路径来表示分类。
而随机森林机器学习算法也是一个重要的算法，它是首选的机器学习算法。我们使用套袋方法创建一堆具有随机数据子集的决策树。我们必须在数据集的随机样本上多次训练模型，因为我们需要从随机森林算法中获得良好的预测性能。此外，在这种集成学习方法中，我们必须组合所有决策树的输出，做出最后的预测。此外，我们通过轮询每个决策树的结果来推导出最终预测。
在这篇文章中我们给大家介绍了关于机器学习的算法，具体包括随机森林机器学习算法、决策树算法、apriori算法、支持向量机算法。相信大家看了这篇文章以后对机器学习有个更全面的认识，最后祝愿大家都学有所成、学成归来。
C. 机器学习有几种算法
1. 线性回归
工作原理：该算法可以按其权重可视化。但问题是，当你无法真正衡量它时，必须通过观察其高度和宽度来做一些猜测。通过这种可视化的分析，可以获取一个结果。
2. 逻辑回归
根据一组独立变量，估计离散值。它通过将数据匹配到logit函数来帮助预测事件。
3. 决策树
利用监督学习算法对问题进行分类。决策树是一种支持工具，它使用树状图来决定决策或可能的后果、机会事件结果、资源成本和实用程序。根据独立变量，将其划分为两个或多个同构集。
4. 支持向量机(SVM)
基本原理(以二维数据为例)：如果训练数据是分布在二维平面上的点，它们按照其分类聚集在不同的区域。基于分类边界的分类算法的目标是，通过训练，找到这些分类之间的边界(直线的――称为线性划分，曲线的――称为非线性划分)。对于多维数据(如N维)，可以将它们视为N维空间中的点，而分类边界就是N维空间中的面，称为超面(超面比N维空间少一维)。线性分类器使用超平面类型的边界，非线性分类器使用超曲面。
5. 朴素贝叶斯
朴素贝叶斯认为每个特征都是独立于另一个特征的。即使在计算结果的概率时，它也会考虑每一个单独的关系。
它不仅易于使用，而且能有效地使用大量的数据集，甚至超过了高度复杂的分类系统。
6. KNN(K -最近邻)
该算法适用于分类和回归问题。在数据科学行业中，它更常用来解决分类问题。
这个简单的算法能够存储所有可用的案例，并通过对其k近邻的多数投票来对任何新事件进行分类。然后将事件分配给与之匹配最多的类。一个距离函数执行这个测量过程。
7. k – 均值
这种无监督算法用于解决聚类问题。数据集以这样一种方式列在一个特定数量的集群中：所有数据点都是同质的，并且与其他集群中的数据是异构的。
8. 随机森林
利用多棵决策树对样本进行训练并预测的一种分类器被称为随机森林。为了根据其特性来分类一个新对象，每棵决策树都被排序和分类，然后决策树投票给一个特定的类，那些拥有最多选票的被森林所选择。
9. 降维算法
在存储和分析大量数据时，识别多个模式和变量是具有挑战性的。维数简化算法，如决策树、因子分析、缺失值比、随机森林等，有助于寻找相关数据。
10. 梯度提高和算法
这些算法是在处理大量数据，以作出准确和快速的预测时使用的boosting算法。boosting是一种组合学习算法，它结合了几种基本估计量的预测能力，以提高效力和功率。
综上所述，它将所有弱或平均预测因子组合成一个强预测器。
D. 常用机器学习方法有哪些
机器学习中常用的方法有：
(1) 归纳学习
符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。
函数归纳学习(发现学习)：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。
(2) 演绎学习
(3) 类比学习：典型的类比学习有案例(范例)学习。
(4) 分析学习：典型的分析学习有解释学习、宏操作学习。
(4)机器学习预测算法扩展阅读：
机器学习常见算法：
1、决策树算法
决策树及其变种是一类将输入空间分成不同的区域，每个区域有独立参数的算法。决策树算法充分利用了树形模型，根节点到一个叶子节点是一条分类的路径规则，每个叶子节点象征一个判断类别。先将样本分成不同的子集，再进行分割递推，直至每个子集得到同类型的样本，从根节点开始测试，到子树再到叶子节点，即可得出预测类别。此方法的特点是结构简单、处理数据效率较高。
2、朴素贝叶斯算法
朴素贝叶斯算法是一种分类算法。它不是单一算法，而是一系列算法，它们都有一个共同的原则，即被分类的每个特征都与任何其他特征的值无关。朴素贝叶斯分类器认为这些“特征”中的每一个都独立地贡献概率，而不管特征之间的任何相关性。然而，特征并不总是独立的，这通常被视为朴素贝叶斯算法的缺点。简而言之，朴素贝叶斯算法允许我们使用概率给出一组特征来预测一个类。与其他常见的分类方法相比，朴素贝叶斯算法需要的训练很少。在进行预测之前必须完成的唯一工作是找到特征的个体概率分布的参数，这通常可以快速且确定地完成。这意味着即使对于高维数据点或大量数据点，朴素贝叶斯分类器也可以表现良好。
3、支持向量机算法
基本思想可概括如下：首先，要利用一种变换将空间高维化，当然这种变换是非线性的，然后，在新的复杂空间取最优线性分类表面。由此种方式获得的分类函数在形式上类似于神经网络算法。支持向量机是统计学习领域中一个代表性算法，但它与传统方式的思维方法很不同，输入空间、提高维度从而将问题简短化，使问题归结为线性可分的经典解问题。支持向量机应用于垃圾邮件识别，人脸识别等多种分类问题。
E. 机器学习中常用的方法有什么
机器学习中常用的方法有LR，SVM，集成学习，贝叶斯
F. 有什么机器学习的目标识别的好算法
摘要 1. 线性回归
G. 怎么用机器学习算法预测经度和纬度
首先这个问题不完整，所谓预测经纬度是基于什么背景预测谁的经纬度？不同的背景将产生完全不同的解决方案。
从提问者的描述中可以看到，提问者似乎感兴趣的是如何从对一个数字的预测到一对数组的预测，我尝试从这个抽象的角度进行一些回答，权当抛砖引玉吧。
首先，既然是经纬度二元数据，那自然就可以联想到距离，而在传统机器学习算法中，有相当多的算法都是基于距离的，例如KNN、Kmeans，这些算法通过计算距离完成对样本点的分类或聚类，自然也就得到了样本点的经纬度范围；
其次，如果是个回归的任务，那最笨的办法就是经度和纬度分别进行回归然后得到结果，如果使用了基于损失函数的算法，当然也可以将经度和纬度的回归损失进行叠加进行训练，进而完成训练。
H. 机器学习有哪些算法
1. 线性回归
在统计学和机器学习领域，线性回归可能是最广为人知也最易理解的算法之一。
2. Logistic 回归
Logistic 回归是机器学习从统计学领域借鉴过来的另一种技术。它是二分类问题的首选方法。
3. 线性判别分析
Logistic 回归是一种传统的分类算法，它的使用场景仅限于二分类问题。如果你有两个以上的类，那么线性判别分析算法（LDA）是首选的线性分类技术。
4.分类和回归树
决策树是一类重要的机器学习预测建模算法。
5. 朴素贝叶斯
朴素贝叶斯是一种简单而强大的预测建模算法。
6. K 最近邻算法
K 最近邻（KNN）算法是非常简单而有效的。KNN 的模型表示就是整个训练数据集。
7. 学习向量量化
KNN 算法的一个缺点是，你需要处理整个训练数据集。
8. 支持向量机
支持向量机（SVM）可能是目前最流行、被讨论地最多的机器学习算法之一。
9. 袋装法和随机森林
随机森林是最流行也最强大的机器学习算法之一，它是一种集成机器学习算法。
想要学习了解更多机器学习的知识，推荐CDA数据分析师课程。CDA（Certified Data Analyst），即“CDA 数据分析师”，是在数字经济大背景和人工智能时代趋势下，面向全行业的专业权威国际资格认证，旨在提升全民数字技能，助力企业数字化转型，推动行业数字化发展。点击预约免费试听课。
I. 如何运用机器学习解决复杂系统的预测问题
现实生活中预测通常难做到精准，比如股市，自然灾害， 长久的天气预测。
在市场这种系统里， 有两个关键要素， 一个是个体和个体之间的互相作用（博弈），一个是系统与外部环境（地球资源）之间的相互作用（反馈），因此而形成复杂模式（Pattern）， 这种模式通常很难预测。
而这种类型的系统我们通常定义为复杂系统： 由大量单元互相作用组成的系统， 由于集体行为的非线性（总体不等于个体之和）， 而形成具备无数层级的复杂组织。或者称为涌现性。
复杂科学即研究复杂系统的一套联系不同尺度现象的数学方法。在人类试图理解那些和自身生存最相关的东西时，而经典物理学的还原论（把整体拆成部分）思维的却不适用。物理预测的核心方法是动力学方法, 即人们由实验出发抽象出引起运动改变的原因, 把这些原因量化为变量，用微分方程来描述, 从而取得对整个未来的精确解，如麦克斯韦方程组可以预测从光波的速度到磁线圈转动发电任何的电磁学现象。而你却无法通过了解市场上每个人的特性就很好的预测整个市场走势。
复杂系统难以预测的原理可以从以下几方面理解：
1， 高维诅咒: 构成现实生活的系统往往被大量未知变量决定， 比如生物由无数的细胞组成。 基因，是由无数独立的单元组成的， 市场， 由无数的交易者组成， 这些用物理的描述方法来预测， 就是极高维度空间的运动问题。维度，首先使得再简单的方程形式都十分复杂难解。
此处补充维度的科学定义： 维度是一个系统里可以独立变化的变量个数， 一个有非常多变量的系统，如复杂网络，假如每个变量不是互相独立，也可以是低维系统。 比如一个军营里的方阵，即使人数众多， 也会因为大家都做着一模一样的动作，而只有一个独立变量，成为一维系统。
2， 非线性诅咒：高维度系统的维度之间具有复杂的相互作用，导致我们不能把系统分解为单一维度然后做加法的方法研究。 高维加上非线性我们将得到对初级极为敏感的混沌系统。
非线性的一个重要推论是组织的产生， 因为非线性，1+1可以大于2或小于2， 为组织的产生提供了理论基础。
3， 反馈诅咒： 复杂系统中反馈无处不在， 即使是一个简单的一维系统， 反馈也可以使得系统的特性很丰富， 最典型的反馈是某种记忆效应， 使得系统产生复杂的路径依赖， 此刻你的现实与历史深刻关联，而关联方法导致复杂的模式产生。
反身性是一种由预测产生的特殊反馈， 当你预测股市的价格， 会引起你的交易策略变化从而影响你的预测， 是为反身性。
4， 随机诅咒: 复杂系统往往含有不包含确定规律的随机噪声，加上这些噪声， 系统的行为更加难预测， 而很多时候， 我们也无法区分一个系统里发现的模式是噪声导致还是由于元件之间的相互作用。
这四大诅咒是这些系统难以理解和预测的原因， 而这个时候， 复杂系统和机器学习的方法论可以作为一种非常有力的手段帮我们从复杂性中挖掘模式。
第一种方法叫模型驱动（Model approch）， 即想办法找到事物变化的原因， 用一种降维的思路列出微分方程， 即从非常繁复的要素中化简出最重要的一个或者两个， 从而化繁琐为简单，不管三七二十一先抓住主要矛盾。其中的范例便是非线性动力学。
注： 此处我们有两个基本假设让非线性动力学得到简化，一个是只讨论连续变量，另一个是不考虑系统内的随机性（无噪声项）。
1， 如果一个系统可以化简到一维， 那么你只需要研究其内部存在的反馈性质并描述它即可。 负反馈导致稳定定点产生， 正反馈导致不稳定性。 很多事物多可以抽象为一维系统，包括简单环境下的人口增长问题。
2， 如果一个系统可以化简到二维， 那么你需要研究两个维度间的相互作用，最终可以互为负反馈而稳定下来，互为正反馈而爆发，或者产生此消彼长的周期轨道。 比如恋爱中的男女是个二维系统， 互为负反馈就回到普通朋友， 互为正反馈在爱欲中爆发-比如罗密欧与朱丽叶， 此消彼长那是玩捉迷藏的周期游戏。
3， 如果一个系统是三维的， 则混沌可能产生。 混沌即对初值极为敏感的运动体系。 你一旦偏离既定轨道一点， 即几乎无法回去。
4， 如果一个系统大于三维， 那么你需要用一个复杂网络描述它的运动， 这个时候我们可以得到我们复杂系统的主角- collective phenomena & emergence。 复杂网络的性质主要取决于单体间相互作用的方式， 以及系统与外界交换能量的方法， 这两者又息息相关。 最终我们得到涌现。
复杂网络的动力学往往混沌难以预测，对于高维混沌系统， 第一个方法也只能给出对事物定性的描述， 而我们可以祭出我们的第二种方法: 先不管数据背后错综复杂的动因，而是直接以数据驱动我们的预测。
这其中的哲学内涵即贝叶斯分析框架： 即先不预测， 而是列出所有可能的结果及根据以往知识和经验每种结果发生的可能性（先验概率），之后不停吸收新观测数据， 调整每种可能结果的概率大小（后验概率），将想得到的结果概率最大化（MAP）最终做出决策。
如果你把贝叶斯分析的框架自动化， 让电脑完成， 你就得到机器学习的最基本框架。
机器学习如果可以进入一个问题中， 往往要具备三个条件：
1， 系统中可能存在模式
2， 这种模式不是一般解析手段可以猜测到的。
3， 数据可以获取。
如果三点有一点不符，都很难运用机器学习。
机器学习的一个核心任务即模式识别， 也可以看出它和刚才讲的复杂系统提到的模式的关系。我们讲复杂系统难以通过其成分的分析对整体进行预测，然而由于复杂系统通常存在模式， 我们通常可以模式识别来对系统进行归类， 并预测各种可能的未来结果。比如一个投行女因为工作压力过大而自杀了， 那么在她之前的活动行为数据（比如点击手机的某些app的频率）里是否可能存在某种模式? 这种模式是否可以判定她之后的行为类型？ 并且这个过程可否通过历史数据由计算机学习？如果都可以，这就是一个机器学习问题。
刚才讲的几大诅咒， 高维， 非线性， 复杂反馈，随机性也称为机器学习需要核心面对的几大困难， 由此得到一系列机器学习的核心算法。
机器学习在现实生活中被用于非常多的方面， 最常见的如商务洞察（分类，聚类， 推荐算法）， 智能语音语义服务（时间序列处理，循环网络）， 各种自动鉴别系统如人脸识别，虹膜识别 ，癌症检测（深度卷积网络）， 阿尔法狗，机器人控制（深度强化学习算法）。 而由方法论分， 又可以分成有监督学习， 无监督学习， 和强化学习。
在八月份的巡洋舰科技的《机器学习vs复杂系统特训课》中，我着重讲了几种机器学习的基本方法：
1. 贝叶斯决策的基本思想：
你要让机器做决策， 一个基本的思路是从统计之前数据挖掘已有的模式（pattern）入手， 来掌握新的数据中蕴含的信息。 这个pattern在有监督学习的例子里， 就是把某种数据结构和假设结论关联起来的过程，我们通常用条件概率描述。 那么让机器做决策， 就是通过不停的通过新数据来调整这个数据结构（特征）与假设结果对应的条件概率。通常我们要把我们预先对某领域的知识作为预设（prior），它是一个假设结果在数据收集前的概率密度函数，然后通过收集数据我们得到调整后的假设结果的概率密度函数， 被称为后验概率（posterior），最终的目标是机器得到的概率密度函数与真实情况最匹配， 即 Maximum a posterior(MAP)， 这是机器学习的最终目标。
2， 朴素贝叶斯分类器到贝叶斯网络：
分类，是决策的基础，商业中要根据收集客户的消费特征将客户分类从而精准营销。 金融中你要根据一些交易行为的基本特征将交易者做分类。 从贝叶斯分析的基本思路出发我们可以迅速得到几种分类器。
首当其冲的朴素贝叶斯分类器，它是机器学习一个特别质朴而深刻的模型：当你要根据多个特征而非一个特征对数据进行分类的时候，我们可以假设这些特征相互独立（或者你先假设相互独立），然后利用条件概率乘法法则得到每一个分类的概率， 然后选择概率最大的那个作为机器的判定。
图： 朴素贝叶斯分类器的基本框架， c是类别， A是特征。
如果你要根据做出分类的特征不是互相独立，而是互相具有复杂关联，这也是大部分时候我们面临问题的真相， 我们需要更复杂的工具即贝叶斯网络。 比如你对某些病例的判定， 咳嗽， 发烧， 喉咙肿痛都可以看做扁条体发炎的症候， 而这些症候有些又互为因果， 此时贝叶斯网络是做出此类判定的最好方法。构建一个贝叶斯网络的关键是建立图模型 ， 我们需要把所有特征间的因果联系用箭头连在一起， 最后计算各个分类的概率。
图：贝叶斯网络对MetaStatic Cancer的诊断，此处的特征具有复杂因果联系
贝叶斯分析结合一些更强的假设，可以让我们得到一些经常使用的通用分类器， 如逻辑斯提回归模型，这里我们用到了物理里的熵最大假设得到玻尔兹曼分布， 因此之前简单贝叶斯的各个特征成立概率的乘积就可以转化为指数特征的加权平均。 这是我们日常最常用的分类器之一。 更加神奇的是， 这个东西形式上同单层神经网络。
图： logistic函数，数学形式通玻尔兹曼分布， 物理里熵最大模型的体现
3, 贝叶斯时间序列分析之隐马模型：
贝叶斯时间序列分析被用于挖掘存储于时间中的模式，时间序列值得是一组随时间变化的随机变量，比如玩牌的时候你对手先后撒出的牌即构成一个时间序列。 时间序列模式的预设setting即马尔科夫链， 之前动力学模式里讲到反馈导致复杂历史路径依赖，当这种依赖的最简单模式是下一刻可能出现的状态只与此刻的状态有关而与历史无关， 这时候我们得到马尔科夫链。
马尔科夫链虽然是贝叶斯时间序列分析的基准模型，然而现实生活中遇到的时间序列问题， 通常不能归于马尔科夫链，却可以间接的与马尔科夫链关联起来，这就是隐马过程，所谓含有隐变量的马尔科夫过程。
图： 隐马过程示意
语音识别就是一类特别能利用隐马过程的应用， 在这里语音可以看做一组可观测的时间序列， 而背后的文字是与之关联的马尔科夫链， 我们需要从可观测的量， 按照一定的概率分布反推不可观测的量， 并用马尔科夫链的观点对其建模， 从而解决从语音到文字的反推过程。 当今的语音识别则用到下面紧接讲的深度学习模型。
4， 深度学习
刚刚讲的分类问题， 只能根据我们已知的简单特征对事物进行分类， 但假设我们手里的数据连需要提取的特征都不知道， 我们如何能够对事物进行分类呢？ 比如你要从照片识别人名， 你都不知道选哪个特征和一个人关联起来。 没关系， 此时我们还有一个办法， 就是让机器自发学习特征， 因此祭出深度学习大法。通常在这类问题里， 特征本身构成一个复杂网络，下级的特征比较好确定， 而最高层的特征， 是由底层特征的组合确定的， 连我们人类自己都不能抽象出它们。
深度学习即数据内涵的模式（特征）本身具备上述的多层级结构时候，我们的机器学习方法。 从以毒攻毒的角度看， 此时我们的机器学习机器也需要具有类似的多级结构，这就是大名鼎鼎的多层卷积神经网络。深度学习最大的优势是具有更高级的对“结构”进行自动挖掘的能力，比如它不需要我们给出所有的特征，而是自发去寻找最合适对数据集进行描述的特征。 一个复杂模式-比如“人脸” 事实上可以看做一个简单模式的层级叠加， 从人脸上的轮廓纹理这种底层模式， 到眼睛鼻子这样的中级模式， 直到一个独特个体这样最高级的复杂模式， 你只有能够识别底层模式，才有可能找到中级模式， 而找到中级模式才方便找到高级模式， 我们是不能从像素里一步到达这种复杂模式的。 而是需要学习这种从简单模式到复杂模式的结构， 多层网络的结构应运而生。
图： 从具体特征到抽象特征逐级深入的多级神经网络
6， RNN和神经图灵机
如果时间序列数据里的模式也包含复杂的多层级结构， 这里和我之前说的复杂系统往往由于反馈导致复杂的时间依赖是一致的， 那么要挖掘这种系统里的模式， 我们通常的工具就是超级前卫的循环神经网络RNN，这种工具对处理高维具有复杂反馈的系统有神效， 因为它本身就是一个高维具有复杂时间反馈的动力学系统。
图： 循环神经网络， 过去的信息可以通过循环存储在神经元之间
当一个复杂时间序列的问题里面， 每个时间点的信息都可以对未来以任何方式产生复杂影响， 那么处理这种复杂性的一个办法就是用循环神经网络，让它自发学习这种复杂结构。 比如一个城市里的交通流， 或者人与人之间的对话。
神经图灵机是在多层卷积神经网络或递归网络基础上加上一个较长期的记忆单元， 从而达到处理需要更复杂时间关联的任务， 比如对话机器人。 而神经图灵机最厉害的地方在于他可以通过机器学习传统的梯度下降法反向破译一个程序， 比如你写了一个python程序， 你用很多不同的输入得到很多对应的输出， 你可以把它给神经图灵机训练， 最终本来对程序丝毫无所知的神经图灵机居然可以如同学会了这个程序。
J. 机器学习的方法
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。
机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。
学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。比如，Langley（1996) 定义的机器学习是“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）Tom Mitchell的机器学习(1997)对信息论中的一些概念有详细的解释,其中定义机器学习时提到，“机器学习是对能通过经验自动改进的计算机算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”（Machine learning is programming computers to optimize a performance criterion using example data or past experience.）
尽管如此，为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义， 机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等
机器能否象人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。
机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。