特征选择算法matlab

㈠ 求用互信息做特征选择的matlab代码(MI)，万分感谢

％说明：
％追赶方法应用于三对角矩阵求解线性方程组的方法，并不适用于其他类型的矩阵。
％三对角矩阵的定义，构成要素。方程Ax
=
D
％B?的对角线元素（为1?n），对角元素为-1（2?N），C
+1对角线元素（1?N-1）。
％A
=
[2
-1
0
0
％-1
2
-1
0
％0
-1
2
-1
％0
0
-1
2]
=
[2
2
2
2]一个=
[0
-1
-1
-1];
=
[-1
-1
-1];
=
[1
0
0;
0];
N
=长度（b）条;
U0
=
0;
Y0
=
0;
％“追”的过程
L（1
）=
b

㈡ 求怎样使用MATLAB编写图像检索程序

有图像检索的算法，可以实现难度不太大，你可以参考《图像低层特征提取与检索技术》还有《基于内容的图像检索技术》，可先用matlab软件仿真，图像检索的基本原理就是：

（1） 从图像数据库中通过特征选择算法提取主要的显着特征（颜色、边缘、直方图）作为图像的索引；
（2） 根据提取的特征建立特征和图像数据库之间的映射关系；
（3） 检索算法的设计，可以通过待检索图像和图像数据库中的图像特征之间的相似性和距离进行；
（4） 找出相似性和距离最近的图像作为检索结果；
还有你如果是取图像中的部分图像作为检索内容，这个难度就有些大了，不如就整张检索容易实现，因为你要检索局部内容就需要在图像库中的每幅图像中的局部提取特征。

希望能帮到你！
看我回答的如此真诚，最好给我多加点分吧

㈢ 有懂CFS这个特征选择算法的吗能不能给讲一下这个算法的步骤因为不太明白最终的这个特征子集是怎么得出来

其实特征子集是用搜索算法选出来的，cfs只是一个评价算法来的，先用搜索算法选出特征子集，然后用cfs评分（如果属性之间关联度低，属性与类别关联度高，那么评分就高）

㈣ 如何用matlab实现特征选择

[V,D]=eig(A) (A)为矩阵

求出V为特征向量，D为特征值。

具体要怎么选择，我也不知道你的选择要求是什么，不知道你要选择出什么样的特征值。所以，自己写一些程序对D进行挑选吧。

㈤ 怎么评价matlab算法的准确性，代码怎么写

给出一组测试数据，看看能分类正确多少。这组测试数据的选取是有技巧的，你可以选择和其他相似文献同样的测试数据以比较你的算法和其他研究者的算法。

㈥ CFS的特征选择算法

基于关联规则的特征选择算法（correlation-based feature selection），是一种经典的过滤器模式的特征选择方法。源自论文“correlation-based feature selection for discrete and numeric class machine learning”，启发地对单一特征 对应于每个分类的作用进行评价，从而得到最终的特征子集。特别地，特征必须是离散的随机变量，如果是数值型变量，需要首先执行指导的离散化方法来进行离散化特征。

㈦ 特征处理有哪些方法

、常用方法
1、时间戳处理
时间戳通常需要分离成多个维度比如年、月、日、小时、分钟、秒钟。但在很多的应用中，大量的信息是不需要的，因此我们在呈现时间的时候，试着保证你所提供的所有数据是你的模型所需要的，并且别忘了时区，加入你的数据源来自不同的地理数据源，别忘了利用时区将数据标准化。
2、离散型变量处理
举一个简单的例子，由{红，黄，蓝}组成的离散型变量，最常用的方式是吧每个变量值转换成二元属性，即从{0，1}取一个值，也就是常说的独热编码(one-hot code)。
3、分箱/分区
有时候，将连续型变量转换成类别呈现更有意义，同时能够使算法减少噪声的干扰，通过将一定范围内的数值划分成确定的块。举个例子，我们要预测具有哪些特征的人会购买我们网店的商品，用户的年龄是一个连续的变量，我们可以将年龄分为15以下、15-24、25-34、35-44、45及以上。而且，不是将这些类别分成2个点，你可以使用标量值，因为相近的年龄表现出相似的属性。
只有了解变量的领域知识的基础，确定属性能够划分成简洁的范围时分区才有意义，即所有的数值落入一个分区时能够呈现出共同的特征。在实际的运用中，当你不想让你的模型总是尝试区分值之间是否太近时，分区能够避免出现过拟合。例如，如果你感兴趣的是将一个城市作为总体，这时你可以将所有落入该城市的维度整合成一个整体。分箱也能减小小错误的影响，通过将一个给定值划入到最近的块中。如果划分范围的数量和所有可能值相近，或对你来说准确率很重要的话，此时分箱就不合适了。
4、交叉特征
交叉特征算是特征工程中非常重要的方法之一，它将两个或更多的类别属性组合成一个。当组合的特征要比单个特征更好时，这是一项非常有用的技术。数学上来说，是对类别特征的所有值进行交叉相乘。
假如拥有一个特征A,A有两个可能值{A1，A2}。拥有一个特征B，存在{B1，B2}等可能值。然后，A&B之间的交叉特征如下：{（A1，B1），（A1，B2），（A2，B1），（A2，B2）}，并且你可以给这些组合特征取任何名字。但是需要明白每个组合特征其实代表着A和B各自信息协同作用。
5、特征选择
为了得到更好的模型，使用某些算法自动的选出原始特征的子集。这个过程，你不会构建或修改你拥有的特征，但是会通过修建特征来达到减少噪声和冗余。
特征选择算法可能会用到评分方法来排名和选择特征，比如相关性或其他确定特征重要性的方法，更进一步的方法可能需要通过试错，来搜素出特征子集。
还有通过构建辅助模型的方法，逐步回归就是模型构造过程中自动执行特征选择算法的一个实例，还有像Lasso回归和岭回归等正则化方法也被归入到特征选择，通过加入额外的约束或者惩罚项加到已有模型(损失函数)上，以防止过拟合并提高泛化能力。
6、特征缩放
有时候，你可能会注意到某些特征比其他特征拥有高得多的跨度值。举个例子，将一个人的收入和他的年龄进行比较，更具体的例子，如某些模型(像岭回归)要求你必须将特征值缩放到相同的范围值内。通过特征缩放可以避免某些特征获得大小非常悬殊的权重值。
7、特征提取
特征提取涉及到从原始属性中自动生成一些新的特征集的一系列算法，降维算法就属于这一类。特征提取是一个自动将观测值降维到一个足够建模的小数据集的过程。

㈧ 语料库 matlab 互信息特征选择

语料库不清楚，但是特征选择还是比较清楚的，既然是特征选择，你要搞清楚你的语料库的数据怎么样才算一维特征，比如一个数据矩阵，一列代表一个特征，一行表示一个样本点。

互信息特征选择的方法也很多，要是不想搞清楚具体怎么做的话，起码要先搞清楚MATLAB程序的结构，究竟是让你输入一个什么样的数据（程序一般会告诉你一行数据是表示一维特征还是一个样本点），还有就是注意MATLAB程序说明中有没有对数据的要求，比如规定只接受离散数据

㈨ 有哪些特征选择的工程方法，机器学习中

引用谷歌上的一篇论文《The ML Test Score》来回答，在这篇论文里，谷歌总结了非常具体的机器学习系统相关工程实践准则，其中就包含了特征与数据测试。

特征期望值编写到schema中：很多特征的分布情况或数值期望是有一些先验知识可以去校验的。比如一般人身高都在0-3米的范围内、英语中最常见的词是”the”、整体的词频一般服从幂律分布等。我们可以把这些先验领域知识，或是从训练集中计算出的数学期望值编写在数据schema文件中，后续对于新的输入数据，构建完特征后的模型训练数据以及最终上线使用模型时都能进行自动化的检查，避免因为数据不符合预期而导致的错误预测情况。

确保所有的特征都是有用的：在之前的机器学习技术债论文中也有提到研发人员总是倾向于不断往系统中添加新的特征，尤其在上线时间比较紧迫的情况下，缺少细致的特征选择和有效性验证工作。这会导致特征数量越来越多，构建训练集需要花费的时间也越来越长，后续的维护成本也会更高。所以跟业务代码一样，没有帮助的特征也要及时清理，轻装前行。文中给出的方法基本是常见的特征选择法，比如计算特征相关度，使用单独或小批量特征来跑模型看是否有预测能力等。

去除性价比低的特征：计算添加任何一个特征都需要消耗资源，包括生成和训练模型开销，模型预测开销，甚至还要考虑到对上游数据的依赖，额外的库函数引入，特征本身的不稳定性等等。对于任何一个特征的添加，都要综合考虑这些开销与它能带来的性能提升来决定是否引入。如果只是非常有限的效果提升，我们应该果断放弃那些过于复杂的特征。

特征必须遵循业务规范需求：不同的项目对机器学习系统可以使用的数据可能有不同的规范需求，比如可能有些业务禁止我们使用从用户数据中推演出来的特征。所以我们也需要从代码工程层面把这些规范需求进行实现，以避免训练与线上特征出现不一致或违反了业务规范等问题。

数据流水线必须有完善的隐私控制：与上一条类似，机器学习系统从数据源获取用户相关隐私数据时已经通过了相应的控制校验，后续在系统内部流水线做处理时我们也要时刻注意对隐私数据的访问控制。比如各种中间数据集，数据字典的存放与访问控制，上游系统的用户数据删除能够级联更新到机器学习系统的整个链路中，诸如此类需要特别注意的问题。

能够快速开发新特征：一个新特征从提出到实现，测试，上线的整个流程所需要花费的时间决定了整个机器系统迭代演进，响应外部变化的速度。要实现这一点，良好的工程结构、不同模块的抽象设计都是非常重要的。文中没有给具体的例子，不过我们可以借鉴sklearn中pipeline模块设计的思想，以及类似FeatureHub这样的开源系统的实现来不断优化完善特征工程实践。

为特征工程代码写相应的测试：在实验探索阶段，我们经常会写完一个特征之后，粗略地取样一些数据，大致验证通过后就认为这个特征基本没有问题了。但这其中可能就隐藏了不少bug，而且不像业务代码中的错误，要发现这些bug极其困难。所以必须养成良好的习惯，在特征开发阶段就写好相应的测试代码，确保特征的正确性，后续应对各种系统变更也都能很快通过测试来进行快速验证。

以上。希望对题主有帮助。