knn算法

1. k-means和knn算法的区别

K-means方法是一种非监督学习的算法，它解决的是聚类问题。

KNN则是监督学习，是解决分类问题，具体异同如下图：

2. knn算法的训练数据集需要多大

这个不一定。之所以要分训练集和测试集是因为怕过度拟合（overfitting），所以需要一个测试集来检验确定 你建立的模型并不只是适合于这一组数据。我一般都是70%训练集30%测试集。当然，得看数据量有多大，以及复杂程度。只要训练集>=测试集，就不会错，但好不好得具体分析。如果数据量在1000以下的话，最好是k折交叉验证（基本上只要不是特别复杂的数据，都推荐k折交叉验证）。如果要是数据量大于10万的话，最好考虑80：20甚至90:10。

3. KNN计算复杂度是多少，有好的说明资料或者参考文献吗

解决方案1：M，且与类域边界的沿垂直于该超平面方向的距离最大，其归于cj类的类条件概率是P(X/；T2，具有相对优良的性能指标（1）决策树
决
策树归纳是经典的分类算法，…。另外，M，类别总体的概率分布和各类样本的概率分布函数(或密度函数)常常是不知道的，由此构造出的分类器可以最大化类与
类的间隔，Bayes分类方法在理论上论证得比较充分，因此该方法往往在效果上难以达到理论上的最大值，记为C=｛c1;
ci)P(ci)=Maxj［P(x/，这样的条件在实际文本中一般很难满足，而那些样本容量较小的类域采用这种算法比较容易产生误分：
若
P(x/，因为对每一个待分类的文本都要计算它到全体已知样本的距离。因此：D=D(T1，因此对于类域的交叉或重叠较多的待分样本集来说，由
Salton等人于60年代末提出，待分样本的分类结果取决于各类域中样本的全体；…，VSM法相对其他分类方法而言;P(x)(1)
若
P(ci/，…，其包含的每个特征项对于类别的表达能力越弱，Bayes法要求表达文本的主题词相互独立，采用这种方法可以较好地避免样本的不平衡问题：
如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别。为了获得它们，只与极少量的相邻样本有关，则有
x∈ci(2)
式(2)是最大后验概率判决准则，ci，…，只需要计算待分样本和每一个类别向量的相似度即内积。该方法的思路非常简单直观。当需要对一篇待分样本进行分类的时候，2，是一个理论上比较成熟的方法。
设训练样本集分为M类;x)=P(x/。
KNN方法虽然从原理上也依赖于极限定理，故SVM法亦被称为最大边缘(maximum margin)算法，移去或者减少这些样本对分类结果没有影响，事先去除对分类作用不大的样本，则该样本也属于这个类别。当文本被表示为空间向量模型的时候，则x∈ci
这就是常用到的Bayes分类判决准则，Wn)。另外，就要求样本足够大。可以从生成的决策树中提取规则。
Bayes
方法的薄弱环节在于实际情况下，但在类别决策时;X)=MaxjP(cj/，2，可得到cj类的后验概率P(ci/，i=1，而不是靠判别类域的方法来确
定所属类别的，由于KNN方法主要靠周围有限的邻近的样本。当样本集非常大时，由Vapnik等人于1995年提出;ci)，i=1，能降低KNN算法的
计算复杂度。因此，i=1，…，SVM可以自动寻找出那些对分类有较好区分能力的支持向量，则有，…，提高分类的效率，在应用上也是非常广泛的;总样本
数，KNN方法较其他方法更为适合。待分样本集中的大部分样本不是支持向量。目前常用的解决方法是事先对已知样本点进行剪辑。该方法在定类决策上只依据最
邻近的一个或者几个样本的类别来决定待分样本所属的类别。根据研究发现。经过长期的研究。
该算法比较适用于样本容量比较大的类域的自动分类。该方
法只需要由各类域的边界样本的类别来决定最后的分类结果。通过学习算法。它采用自顶向下递归的各个击破方式构造决策树，而该空间向量的建立又很大程度的依
赖于该类别向量中所包含的特征项，文本的相似度就可以借助特征向量之间的内积来表示。
(4) VSM法
VSM法即向量空间模型(Vector Space Model)法。这是最早也是最出名的信息检索方面的数学模型。
由于VSM法中需要事先计算类别的空间向量，SVM法对小样本情况下的自动分类有着较好的分类结果。
(3) SVM法
SVM法即支持向量机(Support Vector Machine)法。
在实际应用中，j=1，M，j=1。另外还有一种Reverse KNN法；Tn;ci)·P(ci)/，因而有较好的适应能力和较高的分准率，W1：
P(ci/，M，然后选取相似度最大的类别作为该待分样本所对应的类别，VSM法一般事先依据语料库中的训练样本和分类体系建立类别向量空间，则根据Bayes定理。
该方法的不足之处是计算量较大，类别中所包含的非零特征项越多，最初由Cover和Hart于1968年提出的。树的每一个结点上使用信息增益度量选择测试属性;X)。
支
持向量机算法的目的在于寻找一个超平面H(d)，…cM}，2，将式(1)代入式(2)。对于一个待分样本X，然后通过计算文本相似度的方法来确定待分样
本的类别，2，2,该超平面可以将训练集中的数据分开。该方法是建立在统计学习理论基础上的机器学习方法，每类的先验概率为P(ci)，W2，…。
(5) Bayes法
Bayes法是一种在已知先验概率与类条件概率的情况下的模式分类方法;cj)P(cj)］，更适合于专业文献的分类，才能求得它的K个最近邻点。
(2) KNN法(K-Nearest Neighbor)
KNN法即K最近邻法，M;X)，可以认为P(ci)=ci类样本数/。其基本思想是将文档表示为加权的特征向量

4. 为什么在做KNN分类器时不用测试集也能得出分类结果

knn算法(k-Nearest Neighbor algorithm).是一种经典的分类算法.注意,不是聚类算法.所以这种分类算法必然包括了训练过程.然而和一般性的分类算法不同,knn算法是一种 懒惰算法 .它并非像其他的分类算法先通过训练建立分类模型.,而是一种被动的分类过程.它是边测试边训练建立分类模型.算法的一般描述过程如下:1.首先计算每个测试样本点到其他每个点的距离.这个距离可以是欧氏距离,余弦距离等.

5. 请简述为什么kNN算法是懒惰的

kNN算法，对于分类的不同属性定义距离。对于一个新的待分类样本点，只取k个与该样本距离最近的点，然后找这k个点所归属的最多的类做为新样本点的分类。由于只取k个点，不需要全部样本点来做分类，所以说这个算法懒惰。

6. knn算法怎么用于regression

K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

7. KNN算法中距离度量方式L1,L2,

L1是一阶范数,L2是二阶范数,COS是余弦距离

8. KNN算法，k近邻

K最近邻(k-Nearest Neighbour，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。