python机器学习经典实例

⑴ python3机器学习实践：集成学习之LightGBM

LightGBM是微软的开源分布式高性能Gradient Boosting框架，使用基于决策树的学习算法。本文将详细介绍此框架的优化，包括速度、内存优化、针对稀疏特征的优化、优化树的生长策略以提高准确率、网络通信优化、并行学习优化以及GPU支持。
速度、内存方面的优化：LightGBM使用基于直方图的算法，将连续特征值存储到离散区间，加快训练速度并减少内存使用量。相比基于预排序的算法，直方图算法在构建直方图后具有更低的时间复杂度。
针对稀疏特征优化：对于稀疏特征，LightGBM只需要O(2 * 非零值的样本个数)的时间复杂度来构造直方图，显着提高了处理效率。
优化树的生长策略：LightGBM以Leaf_wise方式生成树，选择具有最大增益损失的叶子节点进行分裂，使得生成的树在样本较少的情况下具有更高的拟合度。通过参数max_depth限制树的深度，可以防止过度拟合。找到特征的最优分割点，通过将类别划分为2个子集，实现更准确的预测。
网络通信优化：LightGBM使用聚合通信算法如“All rece”、“All gather”和“Rece scatter”，提供优于点对点通信的性能。
并行学习优化：LightGBM提供特征并行、数据并行、投票并行的优化。特征并行通过每个线程拥有完整数据集，避免了分割结果的通信成本。数据并行通过减少通信开销降低计算成本。投票并行通过两阶段投票进一步降低通信成本，使其达到常数级别。
GPU支持：LightGBM支持GPU加速，具体实现请参考英文文档。
LightGBM实例应用包括北京市PM2.5回归预测和成年人收入分类。通过参数选择图和预测数据集结果对比，展示了LightGBM在实际应用中的效果。
下载代码：欢迎Fork，感谢Star！关注微信订阅号pythonfan，获取更多机器学习实例和代码。

⑵ Python 机器学习 K-近邻算法 鸢尾花种类预测

Python中可以使用K近邻算法来预测鸢尾花的种类。以下是关键步骤和要点：

1. KNN算法简介：

   • KNN是一种基于实例的学习，或者说是懒惰学习，其中模型基本上是其训练数据集。
   • 通过测量不同特征值之间的距离进行分类。

2. 鸢尾花数据集：

   • 包含150个样本，每个样本有四个特征：萼片长度、萼片宽度、花瓣长度和花瓣宽度。
   • 目标是根据这四个特征区分三种鸢尾花类型：Setosa、Versicolour和Virginica。

3. KNN算法应用步骤：

   • 数据准备：加载鸢尾花数据集，并划分特征和目标变量。
   • 模型训练：使用scikitlearn中的KNeighborsClassifier类，并指定K值。
   • 距离度量：选择距离度量方法。
   • 预测：对新样本进行预测，通过计算其与训练集中样本的距离，选择K个最近邻，通过多数投票决定其类别。

4. 性能评估：

   • 使用交叉验证等方法评估模型性能。
   • 通过混淆矩阵、准确率、召回率等指标评估预测结果。

5. 示例代码：

   • scikitlearn提供了方便的接口来加载鸢尾花数据集，并应用KNN算法。
   • 示例代码通常包括数据加载、模型训练、预测和性能评估等步骤。

总结：Python中的K近邻算法是一种有效的机器学习模型，特别适用于鸢尾花种类预测等分类问题。通过scikitlearn库，我们可以方便地加载数据集、训练模型、进行预测和评估性能。