森林算法

㈠ 我想知道随机聚类森林算法和随机森林算法有什么不同，希望大家可以帮助我，谢谢。

通常随机森林聚类算法指代的是语义纹元森林，而随机森林算法是通常理解的基于决策树的组合分类器算法

㈡ 随机森林算法是什么

随机森林是一种比较新的机器学习模型。

经典的机器学习模型是神经网络，有半个多世纪的历史了。神经网络预测精确，但是计算量很大。上世纪八十年代Breiman等人发明分类树的算法（Breiman et al. 1984），通过反复二分数据进行分类或回归，计算量大大降低。

2001年Breiman把分类树组合成随机森林（Breiman 2001a），即在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。随机森林在运算量没有显着提高的前提下提高了预测精度。

随机森林对多元共线性不敏感，结果对缺失数据和非平衡的数据比较稳健，可以很好地预测多达几千个解释变量的作用（Breiman 2001b），被誉为当前最好的算法之一（Iverson et al. 2008）。

随机森林优点：

随机森林是一个最近比较火的算法，它有很多的优点：

a、在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。

b、在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林具有很好的抗噪声能力。

c、它能够处理很高维度（feature很多）的数据，并且不用做特征选择，对数据集的适应能力强：既能处理离散型数据，也能处理连续型数据，数据集无需规范化。

㈢ 树和森林生成二叉树算法(请给出数据结构)

这个实现起来蛮简单的，就是一个根节点的第一个孩子就是他的左孩子，第二个孩子就是他第一个孩子的有孩子，第三个孩子就是他第二个孩子的右孩子。每个节点的第一个孩子是自己的左孩子。等有时间再帮你编这个程序。

㈣ c语言数据结构求森林的深度的递归算法

d1代表，如果不是这个第一个左孩子不是空树，它就会一直找下去，直到找到最后，记下左孩子的深度
d2代表，如果不是这个第一个右孩子不是空树，它就会一直找下去，直到找到最后，记下右孩子的深度
当然每次都会返回的左右深度的最大值，因为你要找的是森林的深度。
如果你不明白的话，你可以看一个比较简单的，就是求树的深度，再简单的就是求二叉树的深度，当这些深度你都会求了，森林的自然而然就会了。呵呵呵
不知道对你有没有帮助啊

㈤ 求问随机森林算法的简单实现过程

随机森林（Random forest）指的是利用多棵树对样本进行训练并预测的一种分类器。 并且其输出的类别是由个别树输出的类别的众数而定。在机器学习中有一个地位很重要的包scikit-learn可实现随机森林算法。

原理：（随机森林的分类预测和回归预测sklearn.ensemble.RandomForestRegressor方法）
(1)给定训练集S，测试集T，特征维数F。确定参数：使用到的CART的数量t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m，对于第1-t棵树，i=1-t：
(2)从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练
(3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，如果是分类问题，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例；如果是回归问题，预测输出为当前节点样本集各个样本值的平均值。然后继续训练其他节点。如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征。利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点。继续训练其他节点。
(4)重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点。
(5)重复(2),(3),(4)直到所有CART都被训练过。
随机森林的简单实现过程如下：
一、 开发环境、编译环境：
PyCharm Community Edition 2016.2.3
python2.7.10
二、 所用库及安装方法：
pandas[python自带]
sklearn：命令行pip install sklearn;如果没有安装pip,先使用easy_install pip安装pip；如果在MAC上没有权限，使用sudo pip install sklearn;
三、 代码介绍
1. 使用pandas读取本地excel的训练集和测试集，将属性集赋给X_train和Y_train;将要预测的集合赋给X_test和Y_test;
2. 使用DictVectorizer对数据进行规范化、标准化
3. 生成RandomForestRegressor对象，并将训练集传入fit方法中进行训练
4. 调用predict函数进行预测，并将结果存入y_predict变量中；
5. 使用mean_squared_error、score方法输出MSE、NMSE值对拟合度、稳定度进行分析；输出feature_importance，对影响最终结果的属性进行分析；
6. 详细代码见附录
四、 附录
# coding:utf-8
import pandas as pd
data_train = pd.read_excel('/Users/xiaoliu/Desktop/data_train.xlsx')
X_train = data_train[['CPI', 'GDP', 'PPI', 'AJR', 'BJFJ', 'FBDR', 'PCFD', 'PCFDED', 'BDR']]
y_train = data_train['FJ']

data_test = pd.read_excel('/Users/xiaoliu/Desktop/data_test.xlsx')
X_test = data_test[['CPI', 'GDP', 'PPI', 'AJR', 'BJFJ', 'FBDR', 'PCFD', 'PCFDED', 'BDR']]
y_test = data_test['FJ']

from sklearn.feature_extraction import DictVectorizer

vec = DictVectorizer(sparse=False)
X_train = vec.fit_transform(X_train.to_dict(orient='records'))
X_test = vec.transform(X_test.to_dict(orient='records'))

from sklearn.ensemble import RandomForestRegressor
rf = RandomForestRegressor()
rf.fit(X_train,y_train)
y_predict = rf.predict(X_test)
print 'predict value:',y_predict

from sklearn.metrics import mean_squared_error
print 'MSE:', mean_squared_error(y_test, y_predict)
print 'NMES:',rf.score(X_test, y_test)
print rf.feature_importances_

㈥ 随机森林算法特征的阈值怎么确定

这个并不一定。随机森林是用来对特征的重要程度来排序选择。选择完成后，你可以根据自己的需要选择分类算法

㈦ 孤独森林算法和四分位极差法是什么关系

孤独森林算法和四为四分位及差法，他俩之间是有联系的，也就是孤独森林算法是在四分位极差算法的基础上发展而来的。

㈧ [ 实验目的] 验证树和森林的遍历算法。（c++）

树和森林的遍历

@(数据结构)

不要带着二叉树的遍历来限制了对树的遍历的理解。
树的遍历的定义：以某种方式访问树中的每一个结点，且仅访问一次。
树的遍历主要有先根遍历和后根遍历。

• 先根遍历：若树非空，则先访问根结点，再按照从左到右的顺序遍历根结点的每一棵子树。这个访问顺序与这棵树对应的二叉树的先序遍历顺序相同。

• 后根遍历：若树非空，则按照从左到右的顺序遍历根结点的每一棵子树，之后再访问根结点。其访问顺序与这棵树对应的二叉树的中序遍历顺序相同。



我们看这个森林和二叉树的各种遍历。

森林的先根遍历：A-B-C-D-E-F-G-H-J-I
二叉树森林的先序遍历：A-B-C-D-E-F-G-H-J-I(相同)
完整二叉树的先序遍历：A-B-C-D-E-F-G-H-J-I (相同)

森林的后根遍历：B-C-D-A-F-E-J-H-I-G
二叉树森林的后序遍历：D-C-B-A-F-E-J-I-H-G
完整二叉树的后序遍历：D-C-B-F-J-I-H-G-E-A(不同于二叉树森林的后序遍历)
二叉树森林的中序遍历：B-C-D-A-F-E-J-H-I-G(与森林的后根遍历相同)
完整二叉树的中序遍历：B-C-D-A-F-E-J-H-I-G(与森林的后根遍历相同，自然也与二叉树森林的中序遍历相同)

以上。

阅读全文

㈨ 数据结构与算法，森林是树的集合，那这个即集合里可不可以有只有一个结点的树

可以的，这是特殊情况。只有一个结点的二叉树没有子树，
故它的结点的度及树的度都为零。