pythonk近邻算法

‘壹’ python 在编程语言中是什么地位为什么很多大学不教 Python

作者看着网上各种数据分析的知识泛滥， 但是没有什么体系，初学者不知道学哪些， 不知道学多少， 不知道学多深， 单纯一个python语言， 数据分析会用到那种程度， 不可能说像开发那样去学， numpy如果不是做算法工程师用到的知识并不多， pandas知识杂乱无章， 哪些才是最常用的功能等等， 作者不忍众生皆苦， 决定写一套python数据分析的全套教程， 目前已完成一部分课件的制作。需要说明的是， 作为一名数据分析师， 你应该先会一点Excel和SQL知识，相关的内容， 网上很多。但是， 即便你一点Excel和SQL都不会也不会影响这部分的学习 ！目前作者整理的大纲如下：
第一章 python编程基础
1.1 python语言概述 1.2 数据科学神器--Anaconda介绍与安装 1.3 标准输入输出 1.4 变量定义与赋值 1.5 数据类型 1.6 流程控制语句 1.7 函数
1.8 面向对象编程 第二章 python数据清洗之numpy 2.1 核心ndarray对象的创建 2.2 ndarray对象常用的属性和方法 2.3 ndarray对象的索引和切片 2.4 ndarray对象的分割与合并 2.5 ndarray对象的广播(Broadcast) 2.6 numpy中的算术运算函数 2.7 numpy中的统计函数 2.8 numpy中的排序 搜索 计数 去重函数 2.9 numpy中的字符串函数 2.10 numpy中可能会用到的线性代数模块（后期机器学习会用到一点）
第三章 数据清洗神器pandas
3.1 pandas核心对象之Series对象的创建 常用属性和方法 3.2 pandas核心对象之DataFrame对象的创建 常用属性和方法 3.3 DataFrame对象的列操作和行操作 3.4 DataFrame对象的索引和切片 3.5 DataFrame对象的布尔索引 3.6 数据的读入与导出 3.7 groupby分组运算 3.8 数据合并与数据透视
第四章 数据可视化matplotlib seaborn pyecharts
4.1 包括常用图形的绘制，略
第五章 实战案列
5.1 拉勾网数据分析相关职位分析 5.2 boss直聘数据分析相关职位分析 5.3 珍爱网女性用户数据分析
第六章 机器学习
机器学习部分， 简单的算法会讲手写， 难的就用scikit-learn实现， 可能有小伙伴说， 这是调包侠干的， 小哥哥！小姐姐！哪有那么多公司， 那么多人自己干写算法的， 有几个人敢说他写的算法比scikit-learn写得好？ 再说了， 你是数据分析师， 这些是你的工具， 解决问题的！不是一天到晚拉格朗日对偶性！先来个机器学习介绍， 然后如下：
6.1 K近邻算法 6.2 Kmeans算法 6.3 决策树 阶段案列：决策树案列(保险行业) 6.4 线性回归 岭回归 Lasso回归 6.5 逻辑回归 6.6 朴素贝叶斯 阶段案列：推荐系统(电商玩具) 6.7 随机森林 6.8 Adaboost 6.9 梯度提升树GBDT 6.10 极端梯度提升树Xgboost 6.11 支持向量机SVM 6.12 神经网络 阶段案例：Xgboost案例
------------------------------本节内容-----------------------------------------
python语言概述
在说python之前， 我们还是先来看看计算机软硬件的发展历史。
1 计算机硬件的发展历史
第一代计算机-电子管计算机（1946-1957）
无论如何，一项技术的突破必然伴随着其他行业的突破，简而言之，电子计算机的出现，前提必须有电子技术的进步，否则一切都是空谈！下面是我列举出计算机硬件的发展过程中， 一些比较重要的事件。
1906年， 美国的Lee De Forest 发明了电子管。在这之前造出数字电子计算机是不可能的。这为电子计算机的发 展奠定了基础。
1924年2月， 一个具有划时代意义的公司成立，IBM。
1935年， IBM推出IBM 601机。 这是一台能在一秒钟算出乘法的穿孔卡片计算机。这台机器无论在自然科学还是在商业意义上都具有重要的地位。大约造了1500台。
1937年， 英国剑桥大学的Alan M. Turing (1912-1954)出版了他的论文 ，并提出了被后人称之为"图灵机"的数学模型。
1937年， 美国贝尔试验室的George Stibitz展示了用继电器表示二进制的装置。尽管仅仅是个展示品，但却是世界上第一台二进制电子计算机。
1941年， Atanasoff和学生Berry完成了能解线性代数方程的计算机，取名叫"ABC"（Atanasoff-Berry Computer），用电容作存储器，用穿孔卡片作辅助存储器，那些孔实际上是"烧"上的。 时钟频率是60HZ，完成一次加法运算用时一秒。这就是ABC计算机。
1946年， 美国宾夕法尼亚大学，第一台通用电子计算机ENIAC (Electronic Numerical Integrator 和 Computer)诞生， 总工程师埃克特在当时年仅25岁。
这时的计算机的基本线路是采用电子管结构，程序从人工手编的 机器指令程序（0 1），过渡到符号语言（汇编），电子管计算机是计算工具革命性发展的开始，它所采用的进位制与程序存贮等基本技术思想，奠定了现代电子计算机技术基础。以冯·诺依曼为代表。
第二代计算机——晶体管计算机（时间1957~1964）
电子管时代的计算机尽管已经步入了现代计算机的范畴，但其体积之大、能耗之高、故障之多、价格之贵大大制约了它的普及应用。直到晶体管被发明出来，电子计算机才找到了腾飞的起点，一发而不可收……
20世纪50年代中期，晶体管的出现使计算机生产技术得到了根本性的发展，由晶体管代替电子管作为计算机的基础器件，用 磁芯或磁鼓作存储器，在整体性能上，比第一代计算机有了很大的提高。
第三代计算机——中小规模集成电路计算机（时间1964~1971）
20世纪60年代中期， 计算机发展历程随着半导体工艺的发展，成功制造了集成电路。中小规模集成电路成为计算机的主要部件，主存储器也渐渐过渡到 半导体存储器，使计算机的体积更小，大大降低了计算机计算时的功耗，由于减少了 焊点和 接插件，进一步提高了计算机的可靠性。
第四代计算机——大规模和超大规模集成电路计算机（时间1971~至今）
随着大规模集成电路的成功制作并用于计算机硬件生产过程，计算机的体积进一步缩小，性能进一步提高。集成更高的大容量半导体存储器作为内存储器，发展了并行技术和多机系统，出现了 精简指令集计算机（RISC），软件系统工程化、理论化，程序设计自动化。微型计算机在社会上的应用范围进一步扩大，几乎所有领域都能看到计算机的“身影”。
第五代计算机——泛指具有人工智能的计算机（至今~未来）
目前还没有明确地定义
2 简述计算机软件的发展历史
编程语言的发展
计算机软件系统的发展，也伴随着编程语言的发展。计算机程序设计语言的发展，经历了从机器语言、汇编语言到高级语言的历程。
机器语言：简单点说，机器本身也只认识0和1，电路无非就只有通和断两种状态，对应的二进制就是二进制的1和1。
汇编语言：汇编语言只是把一些特殊的二进制用特殊的符号表示，例如，机器要传送一个数据，假设“传送”这个指令对应的机器码是000101，则人们把000101用一个特殊符号，比如mov来表示，当人们要用这个指令时用mov就行，但是mov的本质还是000101，没有脱离硬件的范围，有可能这个指令不能在其他机器上用。
高级语言：高级语言完全脱离了硬件范畴，所有的语法更贴近人类的自然语言，人们只需要清楚高级语言的语法，写出程序就行了，剩下的交给编译器或者解释器去编译或者解释成机器语言就行了，看，这样就完全脱离了硬件的范畴，大大提高了程序的开发效率。接下来我们就来看看高级语言的发展，高级语言非常多，我们主要看看比较经典的几个。
高级语言的发展
B语言与Unix
20世纪60年代，贝尔实验室的研究员Ken Thompson（肯·汤普森）发明了B语言，并使用B编了个游戏 - Space Travel，他想玩自己这个游戏，所以他背着老板找到了台空闲的机器 - PDP-7，但是这台机器没有操作系统，于是Thompson着手为PDP-7开发操作系统，后来这个OS被命名为 - UNIX。
C语言
1971年，Ken Thompson（肯·汤普森）的同事D.M.Ritchie（DM里奇），也很想玩Space Travel，所以加入了Ken Thompson，合作开发UNIX，他的主要工作是改进Thompson的B语言。最终，在1972年这个新语言被称为C，取BCPL的第二个字母，也是B的下一个字母。
C语言和Unix
1973年，C主体完成。Ken Thompson和D.M.Ritchie迫不及待的开始用C语言完全重写了UNIX。此时编程的乐趣已经使他们完全忘记了那个“Space Travel”，一门心思的投入到了UNIX和C语言的开发中。自此，C语言和UNIX相辅相成的发展至今。
类C语言起源、历史
C++（C plus plus Programming Language） - 1983
还是贝尔实验室的人，Bjarne Stroustrup（本贾尼·斯特劳斯特卢普） 在C语言的基础上推出了C++，它扩充和完善了C语言，特别是在面向对象编程方面。一定程度上克服了C语言编写大型程序时的不足。
Python （Python Programming Language）--1991
1989年圣诞节期间，Guido van Rossum 在阿姆斯特丹，Guido van Rossum为了打发圣诞节的无趣，决心开发一个新的脚本解释程序，做为ABC语言的一种继承。之所以选中Python（大蟒蛇的意思）作为该编程语言的名字，是因为他是一个叫Monty Python的喜剧团体的爱好者。第一个Python的版本发布于1991年。
Java（Java Programming Language） - 1995
Sun公司的Patrick Naughton的工作小组研发了Java语言，主要成员是James Gosling（詹姆斯·高斯林）
C（C Sharp Programming Language） - 2000
Microsoft公司的Anders Hejlsberg（安德斯·海尔斯伯格）发明了C，他也是Delphi语言之父。
当然现在还有一些新语言，比如2009年Google的go语言，以及麻省理工的julia等。
3 为什么是Python
Python有哪些优点
1 语法简单 漂亮：我们可以说Python是简约的语言，非常易于读写。在遇到问题时，我们可以把更多的注意力放在问题本身上，而不用花费太多精力在程序语言、语法上。
2 丰富而免费的库：Python社区创造了各种各样的Python库。在他们的帮助下，你可以管理文档，执行单元测试、数据库、web浏览器、电子邮件、密码学、图形用户界面和更多的东西。所有东西包括在标准库，然而，除了它，还有很多其他的库。
3 开源：Python是免费开源的。这意味着我们不用花钱，就可以共享、复制和交换它，这也帮助Python形成了丰富的社区资源，使其更加完善，技术发展更快。
4 Python既支持面向过程，也支持面向对象编程。在面向过程编程中，程序员复用代码，在面向对象编程中，使用基于数据和函数的对象。尽管面向对象的程序语言通常十分复杂，Python却设法保持简洁。
5 Python兼容众多平台，所以开发者不会遇到使用其他语言时常会遇到的困扰。
Python有哪些作用
Python是什么都能做，但是我们学的是数据分析，我们看看在数据分析领域Python能做什么。
数据采集：以Scrapy 为代表的各类方式的爬虫
数据链接：Python有大量各类数据库的第三方包，方便快速的实现增删改查
数据清洗：Numpy、Pandas，结构化和非结构化的数据清洗及数据规整化的利器
数据分析：Scikit-Learn、Scipy，统计分析，科学计算、建模等
数据可视化：Matplotlib、Seaborn等等大量各类可视化的库
所以说总结， 为什么数据科学选的是python， 最重要就是两个原因：
1 语法简单漂亮
2 大量丰富免费的第三方库

‘贰’ python 求lna满足给定误差的值

需要有特定的题才能求的哦。

拓展：

模型方差

模型的方差是模型在拟合不同的训练数据时性能的变化大小。它反映特定数据对模型的影响。

“方差指的是，用不同训练数据进行模型评估时，模型表现的变化程度。”

——《统计学习及其在R中的应用》2014年版，第34页

一个高方差的模型在训练数据集发生细小变化时预测结果会发生很大变化。相反，对于低方差的模型，训练数据发生或大或小的改变时，预测结果的变化都很小。

• 低方差：训练数据集的变化对于模型来说影响很小。

• 高方差：训练数据集的变化对于模型来说影响很大。

方差一定是正值。

不可约误差

整体而言，模型的误差包含可约误差和不可约误差。

• 模型误差 = 可约误差 + 不可约误差

可约误差是我们可以去优化的成分。在模型通过学习训练集后这一数值会下降，我们会努力让这一数值尽可能地接近于零。

不可约误差是我们无法从模型中剔除的误差，在任何模型中都不可能被去除。

这一误差源于不可控因素，例如观测中的统计噪声。

“……通常会称之为“不可约噪声”，且不能在建模过程中剔除。”

——《预测模型应用》2013年版，第97页

同样的，尽管我们能够把可约误差压缩到接近于零或者非常小的值，甚至有时能够等于零，但不可约误差依然会存在。这决定了模型性能的下限。

“有一点是我们是需要牢牢记住的，那就是不可约误差始终会作为我们对目标Y预测精确率的下限值，这个边界在实践中永远是未知的。”

——《统计学习及其在R中的应用》2014年版，第19页

这提醒我们任何模型都不是完美的。

偏差-方差的权衡

对于模型的表现来说，偏差和方差是有关联的。

理想情况下，我们希望一个模型能有低偏差和低方差，但是在实际操作中这是非常具有挑战性的。实际上这是机器学习建模的目标。

降低偏差很容易使方差升高。相反，降低方差也会使得偏差升高。

“这被称之为一种‘权衡’，因为一般的方法很容易得到极低的偏差和很高的方差……或很低的方差和很高的偏差……”

——《统计学习及其在R中的应用》2014年版，第36页

这种关系一般被称为“偏差与方差的权衡”。这是一个关于思考如何选择模型和调整模型的概念框架。

我们可以基于偏差和方差来选择模型。简单的模型，例如线性回归和逻辑回归，通常具有高偏差和低方差。而复杂的模型，例如随机森林，通常具有低偏差和高方差。

我们通常会基于模型的偏差和方差所造成的影响来调整模型。对于K-近邻算法来说，超参数k控制着模型的偏差-方差权衡。k取值较小，例如k=1，会得到低偏差高方差的结果。反之k取值较大，如k=21，导致高偏差和低方差。

高偏差和高方差都不一定是坏的，但他们有可能会导致不良的结果。

我们时常要对一组不同的模型和模型参数进行测试，从而在给定的数据集中得到最好的结果。一个高偏差的模型有可能会是过于保守的，出现欠拟合。相反的，一个高方差的模型可能会出现过拟合。

我们有可能会选择提高偏差或方差，来减少模型的整体误差。

‘叁’ 如何用python实现k近邻算法

import numpy as np

def read_data(filename):
'''读取文本数据，格式：特征1 特征2 …… 类别'''
f=open(filename,'rt')
row_list=f.readlines() #以每行作为列表
f.close()
data_array=[]
labels_vector=[]
while True:
if not row_list:
break
row=row_list.pop(0).strip().split('\t') #去除换行号，分割制表符
temp_data_row=[float(a) for a in row[:-1]] #将字符型转换为浮点型
data_array.append(temp_data_row) #取特征值
labels_vector.append(row[-1]) #取最后一个作为类别标签
return np.array(data_array),np.array(labels_vector)

def classify(test_data,dataset,labels,k):
'''分类'''
diff_dis_array=test_data-dataset #使用numpy的broadcasting
dis_array=(np.add.rece(diff_dis_array**2,axis=-1))**0.5 #求距离
dis_array_index=np.argsort(dis_array) #升序距离的索引
class_count={}
for i in range(k):
temp_label=labels[dis_array_index[i]]
class_count[temp_label]=class_count.get(temp_label,0)+1 #获取类别及其次数的字典
sorted_class_count=sorted(class_count.items(), key=lambda item:item[1],reverse=True) #字典的值按降序排列
return sorted_class_count[0][0] #返回元组列表的[0][0]

def normalize(dataset):
'''数据归一化'''
return (dataset-dataset.min(0))/(dataset.max(0)-dataset.min(0))

k=3 #近邻数
test_data=[0,0] #待分类数据
data,labels=read_data('testdata.txt')
print('数据集：\n',data)
print('标签集：\n',labels)
result=classify(test_data,normalize(data),labels,k)
print('分类结果：',result)

‘肆’ python之k-近邻算法（sklearn版）

上文借用了numpy和pandas等模块自编了k-近邻算法 python之k-近邻算法（非sklearn版） ，这次借用sklearn轮子来实现一下
数据还是用上篇文章的数据来 https://pan..com/s/1zIGz6GtEU20UeT6hemP4MQ

上篇文章我们是利用KNN.py中的自编函数panan在读取数据的过程中来实现的，而这种转变在sklearn中已经有轮子调用了
这里再补充一点：对于类别数据(对于特征值也是适用的),可以分为 标称特征（nominal feature） 和 有序特征(ordinal feature) .
对于我们这里的数据largeDoses，smallDoses，didntLike应该是对应着有序特征

如果在这里'喜欢的类别'本身不带有有序的含义的话，即largeDoses，smallDoses，didntLike三个类别没有序别之分，可以借用sklearn里的功能

可以看到借用sklearn是比较方便的

但是。。。。。但是。。。。以上的0,1,2在算法看来依然是有顺序的，所以我们可以利用 独热编码（one-hot encoding） ，即创建一个新的虚拟特征（mmy feature）

也可以利用pandas里的功能

————————————————————————————————————

特征缩放（feature scaling）对于除了决策树和随机森林两个算法没用以外，对其他算法和优化算法来讲都是必不可少的

即上篇文章所涉及到的

对于线性模型来讲，标准化更加好，一是符合线性模型对权重的处理，二是保留了异常值的信息

———————————————————————————————————

上篇文章对于此类问题的处理见 datingClassTest 函数

K-近邻算法被称之为 惰性算法 ，和其他机器学习算法不一样，因为他仅仅是对训练数据集有记忆功能，而不是从训练集中通过学习得到一个判别函数，即不需要训练，看过上篇文章的小伙伴应该会有体会。 缺点是计算复杂度会随着样本数量的增长而呈线性增长，除非数据集中特征数量有限

‘伍’ 绕晕大多数Python初学者的argsort()函数

使用python做机器学习的一般都是从k-近邻算法开始学习。

这就很难绕开argsort()函数，但是在使用argsort()函数时大部分初学者都会被绕晕进去。

argsort()函数是用来返回数组值从小到大索引值的。举例

那么

下面讲一下详细逻辑：

我们把矩阵a从小到大排序，记排序后的矩阵为b：

矩阵a和b的关系：

所以a.argsort()，也就是a排序后索引值就是[1,2,0]

PS：索引值相当于页数，是一个排序值，不等于元素的值。

像书的目录一样，对于例子中的矩阵，我们有如下索引：

6............0
4............1
5............2

所以排序后b=[4,5,6]，用索引值来表达就是[1,2,0]

‘陆’ python可以做哪些有趣的事情

1. Python3 实现色情图片识别

2. Python3 图片隐写术

3. 200 行 Python 代码实现 2048

4. Python实现3D建模工具

5. 使用 Python 定制词云

6. Python3 智能裁切图片

7.微信变为聊天机器人

8. 使用 Python 解数学方程

9. 使用 Python 创建照片马赛克

10. Python 基于共现提取《釜山行》人物关系

11. Python 气象数据分析：《Python 数据分析实战》

12. NBA常规赛结果预测：利用Python进行比赛数据分析

13. Python 的循环语句和隐含波动率的计算

14. K-近邻算法实现手写数字识别系统

15. 数独游戏的 Python 实现与破解

16. 基于 Flask 与 MySQL 实现番剧推荐系

17. Python 实现英文新闻摘要自动提取

18. Python 解决哲学家就餐问题

19. Ebay 在线拍卖数据分析

20. 神经网络实现人脸识别任务

21. 使用 Python 解数学方程

22. Python3 实现火车票查询工具

23. Python 实现端口扫描器

24. Python3 实现可控制肉鸡的反向Shell

25. Python 实现 FTP 弱口令扫描器

26. 基于PyQt5 实现地图中定位相片拍摄位置

27. Python实现网站模拟登陆

28.Python实现简易局域网视频聊天工具

29. 基于 TCP 的 python 聊天程序

30. Python3基于Scapy实现DDos

31. 高德API + Python 解决租房问题

32. 基于 Flask 与 RethinkDB 实现TODO List

‘柒’ 如何用python实现k近邻算法

1. 数据分类：离散型标签 2. 数据回归：连续型标签 近邻算法的准则是：寻找接近新数据点的训练样本的数目，根据训练样本的信息来预测新数据点的某些信息。

‘捌’ python能做什么有趣的东西

python能做什么有趣的东西？下面给大家介绍35个Python实例：
1. Python3 实现图片识别
2. Python3 图片隐写术

3. 200 行 Python 代码实现 2048
4. Python实现3D建模工具
5. 使用 Python 定制词云
相关推荐：《Python教程》
6. Python3 智能裁切图片
7.微信变为聊天机器人
8. 使用 Python 解数学方程
9. 使用 Python 创建照片马赛克
10. Python 基于共现提取《釜山行》人物关系
11. Python 气象数据分析：《Python 数据分析实战》
12. NBA常规赛结果预测：利用Python进行比赛数据分析
13. Python 的循环语句和隐含波动率的计算
14. K-近邻算法实现手写数字识别系统
15. 数独游戏的 Python 实现与破解
16. 基于 Flask 与 MySQL 实现番剧推荐系

17. Python 实现英文新闻摘要自动提取
18. Python 解决哲学家就餐问题
19. Ebay 在线拍卖数据分析
20. 神经网络实现人脸识别任务
21. 使用 Python 解数学方程
22. Python3 实现火车票查询工具
23. Python 实现端口扫描器
24. Python3 实现可控制肉鸡的反向Shell
25. Python 实现 FTP 弱口令扫描器
26. 基于PyQt5 实现地图中定位相片拍摄位置
27. Python实现网站模拟登陆
28.Python实现简易局域网视频聊天工具
29. 基于 TCP 的 python 聊天程序
30. Python3基于Scapy实现DDos
31. 高德API + Python 解决租房问题
32. 基于 Flask 与 RethinkDB 实现TODO List
33. Python3 实现简单的 Web 服务器
34. Python 实现 Redis 异步客户端
35. 仿 StackOverflow 开发在线问答系统

‘玖’ python 如何画出KD数

简单的KNN算法在为每个数据点预测类别时都需要遍历整个训练数据集来求解距离，这样的做法在训练数据集特别大的时候并不高效，一种改进的方法就是使用kd树来存储训练数据集，这样可以使KNN分类器更高效。
KD树的主要思想跟二叉树类似，我们先来回忆一下二叉树的结构，二叉树中每个节点可以看成是一个数，当前节点总是比左子树中每个节点大，比右子树中每个节点小。而KD树中每个节点是一个向量(也可能是多个向量)，和二叉树总是按照数的大小划分不同的是，KD树每层需要选定向量中的某一维，然后根据这一维按左小右大的方式划分数据。在构建KD树时，关键需要解决2个问题：（1）选择向量的哪一维进行划分（2）如何划分数据。第一个问题简单的解决方法可以是选择随机选择某一维或按顺序选择，但是更好的方法应该是在数据比较分散的那一维进行划分（分散的程度可以根据方差来衡量）。好的划分方法可以使构建的树比较平衡，可以每次选择中位数来进行划分，这样问题2也得到了解决。下面是建立KD树的Python代码：
def build_tree(data, dim, depth):
"""
建立KD树

Parameters
----------
data:numpy.array
需要建树的数据集
dim:int
数据集特征的维数
depth:int
当前树的深度
Returns
-------
tree_node:tree_node namedtuple
树的跟节点
"""
size = data.shape[0]
if size == 0:
return None
# 确定本层划分参照的特征
split_dim = depth % dim
mid = size / 2
# 按照参照的特征划分数据集
r_indx = np.argpartition(data[:, split_dim], mid)
data = data[r_indx, :]
left = data[0: mid]
right = data[mid + 1: size]
mid_data = data[mid]
# 分别递归建立左右子树
left = build_tree(left, dim, depth + 1)
right = build_tree(right, dim, depth + 1)
# 返回树的根节点
return Tree_Node(left=left,
right=right,
data=mid_data,
split_dim=split_dim)


对于一个新来的数据点x，我们需要查找KD树中距离它最近的节点。KD树的查找算法还是和二叉树查找的算法类似，但是因为KD树每次是按照某一特定的维来划分，所以当从跟节点沿着边查找到叶节点时候并不能保证当前的叶节点就离x最近，我们还需要回溯并在每个父节点上判断另一个未查找的子树是否有可能存在离x更近的点（如何确定的方法我们可以思考二维的时候，以x为原点，当前最小的距离为半径画园，看是否与划分的直线相交，相交则另一个子树中可能存在更近的点），如果存在就进入子树查找。
当我们需要查找K个距离x最近的节点时，我们只需要维护一个长度为K的优先队列保持当前距离x最近的K个点。在回溯时，每次都使用第K短距离来判断另一个子节点中是否存在更近的节点即可。下面是具体实现的python代码：
def search_n(cur_node, data, queue, k):
"""
查找K近邻，最后queue中的k各值就是k近邻

Parameters
----------
cur_node:tree_node namedtuple
当前树的跟节点
data:numpy.array
数据
queue:Queue.PriorityQueue
记录当前k个近邻，距离大的先输出
k:int
查找的近邻个数
"""
# 当前节点为空，直接返回上层节点
if cur_node is None:
return None
if type(data) is not np.array:
data = np.asarray(data)
cur_data = cur_node.data
# 得到左右子节点
left = cur_node.left
right = cur_node.right
# 计算当前节点与数据点的距离
distance = np.sum((data - cur_data) ** 2) ** .5
cur_split_dim = cur_node.split_dim
flag = False # 标记在回溯时是否需要进入另一个子树查找
# 根据参照的特征来判断是先进入左子树还是右子树
if data[cur_split_dim] > cur_data[cur_split_dim]:
tmp = right
right = left
left = tmp
# 进入子树查找
search_n(left, data, queue, k)
# 下面是回溯过程
# 当队列中没有k个近邻时，直接将当前节点入队，并进入另一个子树开始查找
if len(queue) < k:

neg_distance = -1 * distance
heapq.heappush(queue, (neg_distance, cur_node))
flag = True
else:
# 得到当前距离数据点第K远的节点
top_neg_distance, top_node = heapq.heappop(queue)
# 如果当前节点与数据点的距离更小，则更新队列（当前节点入队，原第k远的节点出队）
if - 1 * top_neg_distance > distance:
top_neg_distance, top_node = -1 * distance, cur_node
heapq.heappush(queue, (top_neg_distance, top_node))
# 判断另一个子树内是否可能存在跟数据点的距离比当前第K远的距离更小的节点
top_neg_distance, top_node = heapq.heappop(queue)
if abs(data[cur_split_dim] - cur_data[cur_split_dim]) < -1 * top_neg_distance:
flag = True
heapq.heappush(queue, (top_neg_distance, top_node))
# 进入另一个子树搜索
if flag:
search_n(right, data, queue, k)525354555657

以上就是KD树的Python实践的全部内容，由于本人刚接触python不久，可能实现上并不优雅，也可能在算法理解上存在偏差，如果有任何的错误或不足，希望各位赐教。

‘拾’ 如何用python做基于k近邻算法的手写数字识别系统

这东西太简单了埃不过你要有些算法基矗如果实在是没有，就拿现成的手写识别算法。 界面这东西，基本上刚刚入门的GUI设计都会有画图这样的例子，拿过来略略改一下就要可以用。 没有调查过。如果我去设计会考虑1.笔画，2.拐点， 3.曲度 4.分段长度...