python网络协议

‘壹’ python 之 Socket编程(TCP/UDP)

socket(family,type[,protocal]) 使用给定的地址族、套接字类型、协议编号（默认为0）来创建套接字。

有效的端口号： 0～ 65535
但是小于1024的端口号基本上都预留给了操作系统
POSIX兼容系统(如linux、Mac OS X等)，在/etc/services文件中找到这些预留端口与的列表

面向连接的通信提供序列化、可靠的和不重复的数据交付，而没有记录边界。意味着每条消息都可以拆分多个片段，并且每个消息片段都能到达目的地，然后将它们按顺序组合在一起,最后将完整的信息传递给等待的应用程序。
实现方式(TCP)：
传输控制协议（TCP）， 创建TCP必须使用SOCK_STREAM作为套接字类型
因为这些套接字（AF_INET）的网络版本使用因特网协议(IP)来搜寻网络中的IP,
所以整个系统通常结合这两种协议(TCP/IP)来进行网络间数据通信。

数据报类型的套接字, 即在通信开始之前并不需要建议连接,当然也无法保证它的顺序性、可靠性或重复性
实现方式(UDP)
用户数据包协议（UDP), 创建UDP必须使用SOCK_DGRAM (datagram)作为套接字类型
它也使用因特网来寻找网络中主机，所以是UDP和IP的组合名字UDP/IP

注意点:
1）TCP发送数据时，已建立好TCP连接，所以不需要指定地址。UDP是面向无连接的，每次发送要指定是发给谁。
2）服务端与客户端不能直接发送列表，元组，字典。需要字符串化repr(data)。

TCP的优点： 可靠，稳定 TCP的可靠体现在TCP在传递数据之前，会有三次握手来建立连接，而且在数据传递时，有确认、窗口、重传、拥塞控制机制，在数据传完后，还会断开连接用来节约系统资源。

TCP的缺点： 慢，效率低，占用系统资源高，易被攻击 TCP在传递数据之前，要先建连接，这会消耗时间，而且在数据传递时，确认机制、重传机制、拥塞控制机制等都会消耗大量的时间，而且要在每台设备上维护所有的传输连接，事实上，每个连接都会占用系统的CPU、内存等硬件资源。 而且，因为TCP有确认机制、三次握手机制，这些也导致TCP容易被人利用，实现DOS、DDOS、CC等攻击。

什么时候应该使用TCP : 当对网络通讯质量有要求的时候，比如：整个数据要准确无误的传递给对方，这往往用于一些要求可靠的应用，比如HTTP、HTTPS、FTP等传输文件的协议，POP、SMTP等邮件传输的协议。 在日常生活中，常见使用TCP协议的应用如下： 浏览器，用的HTTP FlashFXP，用的FTP Outlook，用的POP、SMTP Putty，用的Telnet、SSH QQ文件传输.

UDP的优点： 快，比TCP稍安全 UDP没有TCP的握手、确认、窗口、重传、拥塞控制等机制，UDP是一个无状态的传输协议，所以它在传递数据时非常快。没有TCP的这些机制，UDP较TCP被攻击者利用的漏洞就要少一些。但UDP也是无法避免攻击的，比如：UDP Flood攻击……

UDP的缺点： 不可靠，不稳定 因为UDP没有TCP那些可靠的机制，在数据传递时，如果网络质量不好，就会很容易丢包。

什么时候应该使用UDP： 当对网络通讯质量要求不高的时候，要求网络通讯速度能尽量的快，这时就可以使用UDP。 比如，日常生活中，常见使用UDP协议的应用如下： QQ语音 QQ视频 TFTP ……

‘贰’ Python网络编程6-使用Pysnmp实现简单网管

  简单网络管理协议SNMP（Simple Network Management Protocol）用于网络设备的管理。SNMP作为广泛应用于TCP/IP网络的网络管理标准协议，提供了统一的接口，从而实现了不同种类和厂商的网络设备之间的统一管理。
  SNMP协议分为三个版本：SNMPv1、SNMPv2c和SNMPv3。

  SNMP系统由网络管理系统NMS（Network Management System）、SNMP Agent、被管对象Management object和管理信息库MIB（Management Information Base）四部分组成。

  SNMP查询是指NMS主动向SNMP Agent发送查询请求，如图1-3所示。SNMP Agent接收到查询请求后，通过MIB表完成相应指令，并将结果反馈给NMS。SNMP查询操作有三种：Get、GetNext和GetBulk。SNMPv1版本不支持GetBulk操作。

  不同版本的SNMP查询操作的工作原理基本一致，唯一的区别是SNMPv3版本增加了身份验证和加密处理。下面以SNMPv2c版本的Get操作为例介绍SNMP查询操作的工作原理。假定NMS想要获取被管理设备MIB节点sysContact的值，使用可读团体名为public，过程如下所示：

  SNMP设置是指NMS主动向SNMP Agent发送对设备进行Set操作的请求，如下图示。SNMP Agent接收到Set请求后，通过MIB表完成相应指令，并将结果反馈给NMS。

  不同版本的SNMP Set操作的工作原理基本一致，唯一的区别是SNMPv3版本增加了身份验证和加密处理。下面以SNMPv3版本的Set操作为例介绍SNMP Set操作的工作原理。
假定NMS想要设置被管理设备MIB节点sysName的值为HUAWEI，过程如下所示：

  SNMPv1和SNMPv2c的Set操作报文格式如下图所示。一般情况下，SNMPv3的Set操作信息是经过加密封装在SNMP PDU中，其格式与SNMPv2c的Set操作报文格式一致。

  SNMP Traps是指SNMP Agent主动将设备产生的告警或事件上报给NMS，以便网络管理员及时了解设备当前运行的状态。
  SNMP Agent上报SNMP Traps有两种方式：Trap和Inform。SNMPv1版本不支持Inform。Trap和Inform的区别在于，SNMP Agent通过Inform向NMS发送告警或事件后，NMS需要回复InformResponse进行确认。

  在Ensp中搭建网络环境，在R2上启用SNMP作为SNMP agent，Linux主机作为NMS；为方便观察SNMP报文格式，在R2使用SNMP的版本为v2c。

通过下面的Python脚本获取R2的系统信息与当前的主机名

运行结果如下

  在R2接口上抓包结果如下，Linux主机向R2的161端口发送SNMP get-request报文，可以看到SNMP使用的版本为v2c，设置的团体名为public，随机生成了一个request-id，变量绑定列表（Variable bindings），即要查询的OID，但Value为空；值得注意的是这些信息都是明文传输的，为了安全在实际环境中应使用SNMPv3。

通过下面的Python脚本获取R2的接口信息。

运行结果如下：

在R2接口抓包结果如下，getBuikRequest相比get-request设置了一个max-repetitions字段，表明最多执行get操作的次数。Variable bindings中请求的OID条目只有一条。

下面Python脚本用于设置R2的主机名为SNMPv2R2。

运行结果如下

在路由器上可以看到主机名有R2变为了SNMPv2R2。

get-response数据包内容与set-request中无异。

下面Python脚本用于接收，R2发送的Trap，并做简单解析。

先运行该脚本，之后再R2上手动将一个接口shutdown，结果如下：

接口上抓包结果如下，此时团体名用的是public，data部分表明是trap。

由于Ensp中的通用路由器认证算法只支持des56，而pysnmp不支持该算法，因此使用AR路由器配置SNMPv3。

使用下面Python脚本发送snmpv3 get报文获取设备系统信息。

抓包结果如下，首先发送get-resques进行SNMPv3认证请求，随机生成一个msgID，认证模式为USM，msgflgs中Reportable置1要求对方发送report，其他为置0，表示不进行加密与鉴权；另外安全参数，认证参数、加密参数都为空，此时不携带get请求数据。

路由器给NMS回复report，msgID与resquest一致，Msgflgs中各位都置0，同时回复使用的安全引擎，认证与加密参数为空，不进行认证与加密，因此能看到data中的数据。

AR1收到请求后进行回复，数据包中msgflags标志位中除reportable外其他位都置1，表示不需要回复，同时进行加密与鉴权。同样也可以看到认证用户为testuser，认证参数与加密参数都有填充，data部分也是同样加密。

参考：
什么是SNMP - 华为 (huawei.com)
AR100-S V300R003 MIB参考 - 华为 (huawei.com)
SNMP library for Python — SNMP library for Python 4.4 documentation (pysnmp.readthedocs.io)

‘叁’ Python网络编程5-实现DHCP Client

  DHCP（Dynamic Host Configuration Protocol，动态主机配置协议），前身是BOOTP协议，是一个局域网的网络协议，使用UDP协议工作，统一使用两个IANA分配的端口：67（服务器端），68（客户端）。主要作用是集中的管理、分配IP地址，使client动态的获得IP地址、Gateway地址、DNS服务器地址等信息。

option字段
  DHCP报文中的Options字段可以用来存放普通协议中没有定义的控制信息和参数。如果用户在DHCP服务器端配置了Options字段，DHCP客户端在申请IP地址的时候，会通过服务器端回应的DHCP报文获得Options字段中的配置信息。

获取IP地址过程

  实验使用的linux 主机由两个网络接口，其中ens33使用DHCP获取IP地址，ens37使用静态IP地址；因此需要使用ens33来发送数据包。

  Change_MAC.py用于MAC地址与Bytes类型相互转换。

  DHCP_Discover.py用于发送DHCP Discover报文;其中GET_MAC.py见ARP章节。

  DHCP_Request.py用于发送DHCP Request报文。

  DHCP_FULL.py用于完成DHCP Client与DHCP Server的报文交互

Wireshark对远程linux主机抓包，结果如下
客户端以广播发送DHCP Discover包，其中报文操作类型为1（请求报文），DHCP客户端的MAC地址设置为00:0c:29:03:a1:08，option53设置报文类型为Discover，option55（请求选项列表）中包含请求的参数。

服务器以单播向客户端回复信息，其中报文操作类型为2（应答报文），分配给客户端的IP为192.168.160.146,option 53设置报文类型为offer，Option 54设置服务器标识为192.168.160.254，其他option为客户端请求列表的应答。

值得注意的是，交互的四个报文中Transaction ID均为0x00000000，表明是同一次DHCP交互报文。

‘肆’ Python语言学什么_python语言能做什么

这里整理了一份系统全面的Python开发学习路线，主要涉及以下知识，感兴趣的小伙伴欢迎一起来学习~

第一阶段：专业核心基础

阶段目标：

1.熟练掌握Python的开发环境与编程核心知识

2.熟练运用Python面向对象知识进行程序开发

3.对Python的核心库和组件有深入理解

4.熟练应用SQL语句进行数据库常用操作

5.熟练运用Linux操作系统命令及环境配置

6.熟练使用MySQL，掌握数据库高级操作

7.能综合运用所学知识完成项目

知识点：

Python编程基础、Python面向对象、Python高级进阶、MySQL数据库、Linux操作系统。

1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。

2、Python面向对象，核心对象，异常处理，多线程，网络编程，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。

3、类的原理，MetaClass，下划线的特殊方法，递归，魔术方法，反射，迭代器，装饰器，UnitTest，Mock。深入理解面向对象底层原理，掌握Python开发高级进阶技术，理解单元测试技术。

4、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，PDBC，深入理解数据库管理系首裤如统通用知识及MySQL数据库的使用与管理。为Python后台开发打下坚实基础。

5、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境配置，Docker，Shell编程Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

第二阶段：PythonWEB开发

阶段目标：

1.熟练掌握Web前端开发纯蚂技术，HTML，CSS，JavaScript及前端框架

2.深入理解Web系统中的前后端交互过程与通信协议

3.熟练运用Web前端和Django和Flask等主流框架完成Web系统开发

4.深入理解网络协议，分布式，PDBC，AJAX，JSON等知识

5.能够运用所学知识开发一个MiniWeb框架，掌握框架实现原理

6.使用Web开发框架实现贯穿项目

知识点：

Web前端编程、Web前端高级、Django开发框架、Flask开发框架、Web开发项目实战。

1、Web页面元素，布局，CSS样式，盒模型，JavaScript，JQuery与Bootstrap掌握前者启端开发技术，掌握JQuery与BootStrap前端开发框架，完成页面布局与美化。

2、前端开发框架Vue，JSON数据，网络通信协议，Web服务器与前端交互熟练使用Vue框架，深入理解HTTP网络协议，熟练使用Swagger，AJAX技术实现前后端交互。

3、自定义Web开发框架，Django框架的基本使用，Model属性及后端配置，Cookie与Session，模板Templates，ORM数据模型，Redis二级缓存，RESTful，MVC模型掌握Django框架常用API，整合前端技术，开发完整的WEB系统和框架。

4、Flask安装配置，App对象的初始化和配置，视图函数的路由，Request对象，Abort函数，自定义错误，视图函数的返回值，Flask上下文和请求钩子，模板，数据库扩展包Flask-Sqlalchemy，数据库迁移扩展包Flask-Migrate，邮件扩展包Flask-Mail。掌握Flask框架的常用API，与Django框架的异同，并能独立开发完整的WEB系统开发。

第三阶段：爬虫与数据分析

阶段目标：

1.熟练掌握爬虫运行原理及常见网络抓包工具使用，能够对HTTP及HTTPS协议进行抓包分析

2.熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取

3.熟练掌握各种常见反爬机制及应对策略，能够针对常见的反爬措施进行处理

4.熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取

5.熟练掌握数据分析相关概念及工作流程

6.熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用

7.熟练掌握数据清洗、整理、格式转换、数据分析报告编写

8.能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程项目实战

知识点：

网络爬虫开发、数据分析之Numpy、数据分析之Pandas。

1、爬虫页面爬取原理、爬取流程、页面解析工具LXML，正则表达式，代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy，基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解，掌握网页解析工具的使用，能够灵活应对大部分网站的反爬策略，具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。

2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制，熟悉数据分析三大利器之一Numpy的常见使用，熟悉ndarray数据结构的特点和常见操作，掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。

3、Pandas里面的三大数据结构，包括Dataframe、Series和Index对象的基本概念和使用，索引对象的更换及删除索引、算术和数据对齐方法，数据清洗和数据规整、结构转换，熟悉数据分析三大利器之一Pandas的常见使用，熟悉Pandas中三大数据对象的使用方法，能够使用Pandas完成数据分析中最重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。

4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存，熟悉数据分析三大利器之一Matplotlib的常见使用，熟悉Matplotlib的三层结构，能够熟练使用Matplotlib绘制各种常见的数据分析图表。能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、全球幸福指数数据分析等项目的全程实战。

第四阶段：机器学习与人工智能

阶段目标：

1.理解机器学习相关的基本概念及系统处理流程

2.能够熟练应用各种常见的机器学习模型解决监督学习和非监督学习训练和测试问题，解决回归、分类问题

3.熟练掌握常见的分类算法和回归算法模型，如KNN、决策树、随机森林、K-Means等

4.掌握卷积神经网络对图像识别、自然语言识别问题的处理方式，熟悉深度学习框架TF里面的张量、会话、梯度优化模型等

5.掌握深度学习卷积神经网络运行机制，能够自定义卷积层、池化层、FC层完成图像识别、手写字体识别、验证码识别等常规深度学习实战项目

知识点：

1、机器学习常见算法、sklearn数据集的使用、字典特征抽取、文本特征抽取、归一化、标准化、数据主成分分析PCA、KNN算法、决策树模型、随机森林、线性回归及逻辑回归模型和算法。熟悉机器学习相关基础概念，熟练掌握机器学习基本工作流程，熟悉特征工程、能够使用各种常见机器学习算法模型解决分类、回归、聚类等问题。

2、Tensorflow相关的基本概念，TF数据流图、会话、张量、tensorboard可视化、张量修改、TF文件读取、tensorflowplayround使用、神经网络结构、卷积计算、激活函数计算、池化层设计，掌握机器学习和深度学习之前的区别和练习，熟练掌握深度学习基本工作流程，熟练掌握神经网络的结构层次及特点，掌握张量、图结构、OP对象等的使用，熟悉输入层、卷积层、池化层和全连接层的设计，完成验证码识别、图像识别、手写输入识别等常见深度学习项目全程实战。