回归算法程序
A. 请教多元线性回归C++算法或程序
多元线性回归C++程序：
Dim a() As String, b() As String
Private Sub Command1_Click()
Dim temp1 As String
Dim i As Integer, k As Integer
temp1 = Text1.Text
a = Split(temp1, ",")
lenolds = Len("->")
For i = 0 To UBound(a)
s = a(i)
j = InStr(s, "->")
Do While j > 0
ReDim Preserve b(i, k)
b(i, k) = Val(Left(s, j + lenolds))
s = Left(s, j - 1) + "->" + Mid(s, j + lenolds + 1)
k = k + 1
j = InStr(s, "->")
Loop
ReDim Preserve b(i, k)
b(i, k) = s
Next i
For i = 0 To UBound(a)
For j = 0 To k
Text2.Text = Text2.Text + b(i, j)
Next j
Next i
End Sub
B. 用java实现二元线性回归算法运用到了什么知识
import java.lang.Math;
import java.util.Random;
/**
* 冒泡排序
* 该程序先随机生成一个长度为10,并且数值在10-210之间的数组
* 然后通过冒泡的方法对生成的数组进行排序并侍迟蔽从控制台输出。
*
*/
public class SortTest {
/**
* 升序标志
*/
public static final int SHENGXU=1;
/**
* 降序标志
*/
public static final int JIANGXU=2;
/**
* 主函数
* @param args
*/
public static void main(String args[]) {
SortTest.execSort(JIANGXU);
}
/**
* 交换值，交换数组的两个值
* @param array 操作的数组
* @param i 第一个
* @param j 第二个
*/
private static void jiaohuan(int[] array,int i, int j)
{
int tmp = array[i];
array[i] = array[j];
array[j] = tmp;
}
/**
*
* @param method
* 1为升序，2为降序
*/
public static void execSort(int method) {
int[] array = null;
array = initArray(10, 210, 10);
int[] orderarray = maopao(array,method);
for (int i = 0; i < orderarray.length; i++) {
System.out.println(orderarray[i]);
}
}
/**
* 取随机数据，初始化一个数组
*
* @param min
* 随机数的最小值
* @param max
* 最大值
* @param size
* 取老州得随机数的数量
* @return
*/
public static int[] initArray(int min, int max, int size) {
int[] init = new int[size];
for (int i = 0; i < size; i++) {
init[i] = min + (int) (Math.random() * (max - min + 1));
System.out.println(i + "-------" + init[i]);
}
return init;
}
/旦岩**冒泡排序方法
* 原理：从最后一个开始将小的或大的逐渐冒出
* @param array
* @param method
* @return
*/
public static int[] maopao(int[] array,int method)
{
for(int i=0;i<array.length;i++)
{
for (int j=array.length -1 ;j>i;j--)
{
if (method==2)
{
if (array[i] < array[j])
jiaohuan(array,i,j);
}else if (method==1)
if (array[i] > array[j])
jiaohuan(array,i,j);
}
}
return array;
}
}
C. C语言 多元线性回归算法
从键盘输入abcd,
float x,y,z,M;
M=a*x+b*y+c*x+d
输出M
你要的是这个意思吗？
D. GBDT与XGBoost
之前介绍过 梯度下降法与牛顿法 ，GBDT与XGBoost就与这两种方法有关。
GBDT泛指所有梯度提升树算法，包括XGBoost，它也是GBDT的一种变种，为了区分它们，GBDT一般特指“Greedy Function Approximation：A Gradient Boosting Machine”里提出的算法，只用了一阶导数信息。
算法流程如下：
算法流程图也可以如下图：
GBDT常用损失函数
分类算法：
分类算法中CART树也是采用回归树
(1) 指数损失函数：
负梯度计算和叶子节点的最佳负梯度拟合与Adaboost相似。
(2) 对数损失函数：
二元分类：
多元分类：
回归算法：
(1)均方差：
(2)绝对损失：
负梯度误差为：
(3)Huber损失：
均方差和绝对损失的折中，对远离中心的异常点，采用绝对损失，而中心附近的点采用均方差。界限一般用分位数点度量。损失函数如下：
负梯度误差：
(4) 分位数损失：分位数回归的损失函数，表达式为
θ为分位数，需要我们在回归前指定。对应的负梯度误差为：
Huber损失和分位数损失，减少异常点对损失函数的影响。
问题：GBDT如何减少异常点的影响？
GBDT优点：
GBDT缺点：
Adaboost与GBDT：
RF与GBDT：
RF优点：
RF缺点：
XGBoost目标函数及归一化公式
归一化解释
XGBoost参数定义
XGBoost第t次迭代： 训练第t棵子树，损失函数最小求参数，计算过程如下
假设分到j这个叶子节点上的样本只有一个。那么，w* j 如下：
回归树的学习策略
XGBoost的打分函数
树节点分裂方法
寻找分为点可以使用Weighted Quantile Sketch—分布式加权直方图算法
稀疏值处理
关键的改进是只访问非缺失的条目I k 。 所提出的算法将不存在的值视为缺失值并且学习处理缺失值的最佳方向。稀疏感知算法运行速度比初始版本快50倍
XGBoost的其它特性
Shrinkage and Column Subsampling
Shrinkage and Column Subsampling均是为了防止过拟合
XGBoost的系统设计
Column Block
xgboost的并行不是tree粒度的并行，而是特征粒度上。
缓存感知访问（Cache-aware Access）
XGBoost的优点
XGBoost与GBDT对比
问题：XGBoost为什么使用CART树而不是用普通的决策树呢？
XGBoost参数说明
回归树 生成算法如下，使用最小二乘偏差（LSD）。
分类树 算法流程如下，使用GINI指数
GINI 指数：
分类中，假设 K 个类，样本属于第 k 类的概率为 p k ，概率分布的基尼指数为：
样本集合 D 的基尼指数为：
C k 为数据集D中属于第k类的样本子集，| * |表示样本集中样本的个数。
数据集 D 根据特征 A 在某一取值 a 上进行分割，得到 D 1 、D 2 两部分，则在特征 A 下集合 D 的基尼指数为：
停止条件：
剪枝
决策树防止过拟合方法：
代价复杂度剪枝 Cost-Complexity Pruning(CCP) 方法对CART剪枝，算法流程如下：
其中 C(T)为误差（例如基尼指数），|T| 为 T 的叶节点个数，alpha 为非负参数，用来权衡训练数据的拟合程度和模型的复杂度。
剪枝例子如下：
例如 t 1 节点，R(t)即剪枝后误差，数据所占比例16/16，节点误差率 = 该节点较少类别的数/该节点类别总数 = 8/16
R(Tt)为剪枝前误差，即叶子节点误差之和，以该节点为根节点的4叶子节点均只有一个类别的样本，该节点较少类别的数/该节点类别总数 = 0，所以R(Tt) = 0
参考