机器学习经典算法

㈠ 经典算法(百面机器学习)

经典算法中，逻辑回归和线性回归在处理任务上有显着差异。逻辑回归，原名"逻辑线性回归"，主要用于分类问题，通过计算输入x条件下y为正样本的概率，以线性方式估计对数几率。与线性回归的回归目标不同，逻辑回归处理的是离散的因变量。尽管如此，两者都采用极大似然估计，但逻辑回归对似然函数进行学习，而线性回归则假设因变量服从正态分布。对于多标签分类，逻辑回归通过softmax回归处理，每个样本对应单一标签，每个标签的概率通过几何分布假设求解。

决策树算法如ID3、C4.5和CART，各有其启发函数。ID3使用信息增益，C4.5则引入信息增益比以避免过拟合；ID3处理离散变量，而C4.5和CART适应连续变量。CART还可用于回归任务。决策树剪枝包括预剪枝和后剪枝，预剪枝在树生长过程中进行，后剪枝在生长后通过评估剪枝前后的性能。通过计算节点的错误率，决定是否进行剪枝，以平衡准确性和泛化能力。

㈡ 有哪些常用的机器学习算法

机器学习中常用的方法有：

(1) 归纳学习

符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。

函数归纳学习(发现学习)：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。

(2) 演绎学习

(3) 类比学习：典型的类比学习有案例(范例)学习。

(4) 分析学习：典型的分析学习有解释学习、宏操作学习。

扩宏仔展资料：

机器学习常见算法：

1、决策树算法

决策树及其变种是一类将输入空间分成不同的区域，每个蔽野区域有独立参数的算法。决策树算法充分利用了树形模型，根节点到一个叶子节点是一条分类的路径规则，每个叶子节点象征一个判断类别。先将样本分成不同的子集，再进行分割递推，直至每个子集得到同类型的样本，从根节点开始测试，到子树再到叶子节点，即可得出预测类别。此方法的特点是结构简单、处理数据效率较高。

2、朴素贝叶斯算法

朴素贝叶斯算法是一种分类算法。它不是单一算法，而是一系列算法，它们都有一个共同的原则，即被分类的每个特征都与任何其他特征的值无关。朴素贝叶斯分类器认为这些“特征”中的每一个都独立地贡献概率，而不管特征之间的任何相关性。然而，特征并不总是独立的，这通常被视为朴素贝叶斯算法的缺点。简而言之，朴素贝叶斯算法允许我们使用概率给出一组特征来预测一个类。与其他常见的分类方法相比，朴素贝叶斯算法需要的训练很少。在进行预测之前必须完成的唯一工作是找到特征的个体概率分布的参数，这通常可以快速且确定地完成。这意味着即使对于高维数据点或大量数据点，朴素贝叶斯分类器也可以表现良好。

3、支持向量机算法

基本思想可概括如下：首先，要利用一种变换将空间高维化，当然这种变换是非线性的，然后，在新的复杂空间取最优线性分类表面。由此种方式获得的分类函数在形式上类似于神经网络算法。支持向量机是统计学习领域中一个代表性算法，但它与传统方式的思维方法很不同，输入空间、提高维度从而将问题简短化，使问题归结为线性可分的经典解问题。支持向量机应用于垃圾邮件识别，人脸识别等多种分类宏绝喊问题。