最优树算法

A. 最优二叉树算法的构造算法

从上述算法中可以看出，F实际上是森林，该算法的思想是不断地进行森林F中的二叉树的“合并”，最终得到哈夫曼树。
在构造哈夫曼树时，可以设置一个结构数组HuffNode保存哈夫曼树中各结点的信息，根据二叉树的性质可知，具有n个叶子结点的哈夫曼树共有2n－1个结点，所以数组HuffNode的大小设置为2n－1，数组元素的结构形式如下： weight lchild rchild parent 其中，weight域保存结点的权值，lchild和rchild域分别保存该结点的左、右孩子结点在数组HuffNode中的序号，从而建立起结点之间的关系。为了判定一个结点是否已加入到要建立的哈夫曼树中，可通过parent域的值来确定。初始时parent的值为－1，当结点加入到树中时，该结点parent的值为其双亲结点在数组HuffNode中的序号，就不会是－1了。
构造哈夫曼树时，首先将由n个字符形成的n个叶结点存放到数组HuffNode的前n个分量中，然后根据前面介绍的哈夫曼方法的基本思想，不断将两个小子树合并为一个较大的子树，每次构成的新子树的根结点顺序放到HuffNode数组中的前n个分量的后面。
下面给出哈夫曼树的构造算法。
const maxvalue= 10000; {定义最大权值}
maxleat=30; {定义哈夫曼树中叶子结点个数}
maxnode=maxleaf*2-1;
type HnodeType=record
weight: integer;
parent: integer;
lchild: integer;
rchild: integer;
end;
HuffArr:array[0..maxnode] of HnodeType;
var ……
procere CreatHaffmanTree(var HuffNode: HuffArr); {哈夫曼树的构造算法}
var i,j,m1,m2,x1,x2,n: integer;
begin
readln(n); {输入叶子结点个数}
for i:=0 to 2*n-1 do {数组HuffNode[ ]初始化}
begin
HuffNode[i].weight=0;
HuffNode[i].parent=-1;
HuffNode[i].lchild=-1;
HuffNode[i].rchild=-1;
end;
for i:=0 to n-1 do read(HuffNode[i].weight); {输入n个叶子结点的权值}
for i:=0 to n-1 do {构造哈夫曼树}
begin
m1:=MAXVALUE; m2:=MAXVALUE;
x1:=0; x2:=0;
for j:=0 to n i-1 do
if (HuffNode[j].weight
begin m2:=m1; x2:=x1;
m1:=HuffNode[j].weight; x1:=j;
end
else if (HuffNode[j].weight
begin m2:=HuffNode[j].weight; x2:=j; end;
{将找出的两棵子树合并为一棵子树}
HuffNode[x1].parent:=n i; HuffNode[x2].parent:=n i;
HuffNode[n i].weight:= HuffNode[x1].weight HuffNode[x2].weight;
HuffNode[n i].lchild:=x1; HuffNode[n i].rchild:=x2;
end;
end;

B. 用huffman算法求带权为2，3，5，7，8的最优2元树，要求画出中间过程

7/8应该一起作为同一父的叶这样才是最优，权为55

把最小的两个数2、3放在最下面作为左右叶子节点，得出他们的父节点权值5，然后它和剩余里最小的数5做成左右兄弟节点，得出父节点10，以此类推啊，10和7得出17，17和8，得到跟节点25完成。

例如：

先将所有的权值选出最小的两个值，为1，4，这两个的和为5，那么再从5，9，25，36，49中选出两个最小的，为5和9，然后再从14，25，36，49中选出两个最小的，为14，25，依次进行下去。那么就可以得到最优二叉树为：（） / () 49 / () 36 / () 25 / () 9 / 1 4

(2)最优树算法扩展阅读：

所谓树的带权路径长度，就是树中所有的叶结点的权值乘上其到根结点的路径长度（若根结点为0层，叶结点到根结点的路径长度为叶结点的层数）。

树的路径长度是从树根到每一结点的路径长度之和，记为WPL=（W1*L1+W2*L2+W3*L3+...+Wn*Ln），N个权值Wi（i=1,2,...n）构成一棵有N个叶结点的二叉树，相应的叶结点的路径长度为Li（i=1,2,...n）。可以证明哈夫曼树的WPL是最小的。

C. 最优二叉树算法基本概念

最优二叉树，也被称为哈夫曼树，是一种特殊的二叉树结构，其目标是在一组带权的叶节点中，构建出具有最小带权路径长度的树。带权路径长度，是对二叉树路径长度概念的扩展，它指的是从根节点到所有叶节点的路径长度之和，每个路径长度与对应节点的权值相乘。记为：WPL = Wk·Lk，其中Wk表示第k个叶节点的权值，Lk是其路径长度。

举个例子，如图所示的二叉树，其带权路径长度WPL计算为2×2+4×2+5×2+3×2=28。对于一组特定的叶节点，例如权值为1，3，5，7，可以构建出多种不同形态的带权二叉树，每种树的带权路径长度都会有所不同。如图中的5种二叉树，它们的带权路径长度分别是：

• (a) WPL = 1×2+3×2+5×2+7×2 = 32


• (b) WPL = 1×3+3×3+5×2+7×1 = 29


• (c) WPL = 1×2+3×3+5×3+7×1 = 33


• (d) WPL = 7×3+5×3+3×2+1×1 = 43


• (e) WPL = 7×1+5×2+3×3+1×3 = 29

最优二叉树算法的任务就是，在给定的带权叶节点集合中，找出这样一个二叉树，它的带权路径长度是最小的，即它是最优的二叉树。这样的算法在数据压缩、编码等领域中有着广泛应用。

D. 最优二叉树算法的判定问题中的应用

在本章的引入部分，两个例子都是判定问题，这两个判定问题都可以通过构造哈夫曼树来优化判定，以达到总的判定次数最少。
再如，要编制一个将百分制转换为五级分制的程序。显然，此程序很简单，只要利用条件语句便可完成。
程序段
if a<60 then b:=’bad’
else if a<70 then b:=’pass’
else if a<80 then b:=’general’
else if a<90 then b:=’good’
else b:=’excellent’;
如果上述程序需反复使用，而且每次的输入量很大，则应考虑上述程序的质量问题，即其操作所需要的时间。因为在实际中，学生的成绩在五个等级上的分布是不均匀的，假设其分布规律如表4所示： 分数 0-59 60－69 70－79 80－89 90－100 比例数 0.05 0.15 0.40 0.30 0.10 表4 分数段的分布频率
则80%以上的数据需进行三次或三次以上的比较才能得出结果。假定以5，15，40，30和10为权构造一棵有五个叶子结点的哈夫曼树，它可使大部分的数据经过较少的比较次数得出结果。但由于每个判定框都有两次比较，将这两次比较分开，得到新的判定树，按此判定树可写出相应的程序。请您自己画出此判定树。
假设有10000个输入数据，若上程序段的判定过程进行操作，则总共需进行31500次比较；而若新判定树的判定过程进行操作，则总共仅需进行22000次比较。

E. 联邦学习（三）| 树算法（XGBoost）

联邦学习（三）已经深入探讨了线性回归和逻辑回归，现在我们将转向更复杂的树算法——XGBoost的联邦学习实现， SecureBoost。这一方法无需第三方参与，适用于双方协作的场景。

首先，理解XGBoost的核心是其梯度提升树的目标函数，基于二阶泰勒展开，目标是寻找结构最优的树。最优树的评分可以通过公式计算，其中一阶导和二阶导涉及正则项和损失函数。在联邦学习中，关键在于计算节点分裂的收益，这在SecureBoost中通过同态加密进行保密。

SecureBoost流程分为几个步骤：首先，主动方计算一阶和二阶导数，并对结果进行同态加密，只发送给被动方。被动方根据自身特征进行分桶，并对加密的[公式]和[公式]求和。接着，通过加密信息找到最大分裂增益和对应的节点划分信息。推理阶段则依赖于训练过程中的加密记录，查询各个参与方的决策树。

总结来说，SecureBoost在联邦学习中巧妙地运用了加密技术，保护了数据隐私，使得XGBoost的树算法能在多方协作下进行训练和预测，确保了模型的构建在尊重数据隐私的同时保持高效。想了解更多细节，可以参考相关文献和【隐私计算】专栏。