python多进程socket

‘壹’ python之多线程

进程的概念：以一个整体的形式暴露给操作系统管理，里面包含各种资源的调用。 对各种资源管理的集合就可以称为进程。
线程的概念：是操作系统能够进行运算调度的最小单位。本质上就是一串指令的集合。

进程和线程的区别：
1、线程共享内存空间，进程有独立的内存空间。
2、线程启动速度快，进程启动速度慢。注意：二者的运行速度是无法比较的。
3、线程是执行的指令集，进程是资源的集合
4、两个子进程之间数据不共享，完全独立。同一个进程下的线程共享同一份数据。
5、创建新的线程很简单，创建新的进程需要对他的父进程进行一次克隆。
6、一个线程可以操作（控制）同一进程里的其他线程，但是进程只能操作子进程
7、同一个进程的线程可以直接交流，两个进程想要通信，必须通过一个中间代理来实现。
8、对于线程的修改，可能会影响到其他线程的行为。但是对于父进程的修改不会影响到子进程。

第一个程序，使用循环来创建线程，但是这个程序中一共有51个线程，我们创建了50个线程，但是还有一个程序本身的线程，是主线程。这51个线程是并行的。注意：这个程序中是主线程启动了子线程。

相比上个程序，这个程序多了一步计算时间，但是我们观察结果会发现，程序显示的执行时间只有0.007秒，这是因为最后一个print函数它存在于主线程，而整个程序主线程和所有子线程是并行的，那么可想而知，在子线程还没有执行完毕的时候print函数就已经执行了，总的来说，这个时间只是执行了一个线程也就是主线程所用的时间。

接下来这个程序，吸取了上面这个程序的缺点，创建了一个列表，把所有的线程实例都存进去，然后使用一个for循环依次对线程实例调用join方法，这样就可以使得主线程等待所创建的所有子线程执行完毕才能往下走。 注意实验结果：和两个线程的结果都是两秒多一点

注意观察实验结果，并没有执行打印task has done，并且程序执行时间极其短。
这是因为在主线程启动子线程前把子线程设置为守护线程。
只要主线程执行完毕，不管子线程是否执行完毕，就结束。但是会等待非守护线程执行完毕
主线程退出，守护线程全部强制退出。皇帝死了，仆人也跟着殉葬
应用的场景 ： socket-server

注意：gil只是为了减低程序开发复杂度。但是在2.几的版本上，需要加用户态的锁（gil的缺陷）而在3点几的版本上，加锁不加锁都一样。

下面这个程序是一个典型的生产者消费者模型。
生产者消费者模型是经典的在开发架构中使用的模型
运维中的集群就是生产者消费者模型，生活中很多都是

那么，多线程的使用场景是什么？
python中的多线程实质上是对上下文的不断切换，可以说是假的多线程。而我们知道，io操作不占用cpu，计算占用cpu，那么python的多线程适合io操作密集的任务，比如socket-server，那么cpu密集型的任务，python怎么处理？python可以折中的利用计算机的多核：启动八个进程，每个进程有一个线程。这样就可以利用多进程解决多核问题。

‘贰’ python如何提高socket速率

python如何提高socket速率，方法如下：
1、使用非阻塞模式：使用socket的setblocking函数可以将socket设置为非阻塞模式，这样可以避免socket处于等待状态，从而提高速度。
2、使用多线程和多进程：利用多线程和多进程可以同时处理多个socket连接，从而提高socket速率。
3、减少数据传输：减少socket发送数据量，可以减少消息传输时间，从而提高socket速度。
4、调整TCP参数：可以通过调整网络参数，如TCP缓冲区大小，TCP超时时间等等，来提高socket速度。
Python是一种计算机编程语言，它简单易学，功能强大，可以用来做日常任务，也可以用来开发复杂的软件和应用程序。它的语法简洁，易于理解，可以大大减少开发时间，节约开发费用。

‘叁’ 如何使用python的multiprocess多进程

#!/usr/bin/env python
# encoding: utf-8

from multiprocessing.mmy import Pool as ThreadPool
import socket
import time

def scan(port):
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.settimeout(0.1)
ip='220.181.136.241'
#print port
try:
s.connect((ip,port))
#print port
except:
pass
else:
print 'port is %s',port
s.close()
port=range(10000)
pool=ThreadPool(60)
start=time.time()
results=pool.map(scan,port)
#print results
pool.close()
pool.join()
print time.time()-start

‘肆’ 同步socket, 异步socket, 多线程socket， 多进程socket

socket常用，本文立足同步和异步socket，以及现有的socketserver库。

同步socket一般有利用socket库直接，就可以写出tcp或udp的套接字

socketserver提供的线程或进程方式的socket

利用python 3.5+的asyncio协议，封装一个协程的socket server ，普通的socket客户也可以连接。

服务器端

客户端

为字节流加上自定义固定长度报头，报头中包含字节流长度，然后一次send到对端，对端在接收时，先从缓存中取出定长的报头，然后再取真实数据

构造报头信息

服务端

客户端

粘包，分包都tcp
tcp为什么会有粘包分包这些情况：
1.服务端处理不过来
2.客户端采用优化纳格尔算法，达到一定字节才发
怎么处理：
1. 客，服双方确定包头规范，根据包头的信息取包长度
2. 客户端发送带上标记位，如\n, 服务端根据标记取包

服务器端

客户端

服务器端

客户端

服务器端

客户端

封装了socket，而且解决了Io阻塞问题

服务端

客户端

客户端

参考：
http://www.cnblogs.com/jokerbj/p/7422349.html

http://xiaorui.cc/2016/03/08/%E8%A7%A3%E5%86%B3golang%E5%BC%80%E5%8F%91socket%E6%9C%8D%E5%8A%A1%E6%97%B6%E7%B2%98%E5%8C%85%E5%8D%8A%E5%8C%85bug/

http://xiaorui.cc/2016/04/15/%E6%89%93%E9%80%A0mvc%E6%A1%86%E6%9E%B6%E4%B9%8Bsocket%E8%8E%B7%E5%8F%96http%E7%B2%98%E5%8C%85%E9%97%AE%E9%A2%98/

https://www.jianshu.com/p/065c53cab328

https://mozillazg.com/2017/08/python-asyncio-note-io-protocol.html#hidid3

‘伍’ python 多线程和多进程的区别 mutiprocessing theading

在socketserver服务端代码中有这么一句：

server = socketserver.ThreadingTCPServer((ip,port), MyServer)

ThreadingTCPServer这个类是一个支持多线程和TCP协议的socketserver，它的继承关系是这样的：

class ThreadingTCPServer(ThreadingMixIn, TCPServer): pass

右边的TCPServer实际上是主要的功能父类，而左边的ThreadingMixIn则是实现了多线程的类，ThreadingTCPServer自己本身则没有任何代码。

MixIn在Python的类命名中很常见，称作“混入”，戏称“乱入”，通常为了某种重要功能被子类继承。

我们看看一下ThreadingMixIn的源代码：

class ThreadingMixIn:

daemon_threads = False

def process_request_thread(self, request, client_address):
try:
self.finish_request(request, client_address)
self.shutdown_request(request)
except:
self.handle_error(request, client_address)
self.shutdown_request(request)

def process_request(self, request, client_address):

t = threading.Thread(target = self.process_request_thread,
args = (request, client_address))
t.daemon = self.daemon_threads
t.start()

在ThreadingMixIn类中，其实就定义了一个属性，两个方法。其中的process_request()方法实际调用的正是Python内置的多线程模块threading。这个模块是Python中所有多线程的基础，socketserver本质上也是利用了这个模块。

socketserver通过threading模块，实现了多线程任务处理能力，可以同时为多个客户提供服务。

那么，什么是线程，什么是进程？

进程是程序（软件，应用）的一个执行实例，每个运行中的程序，可以同时创建多个进程，但至少要有一个。每个进程都提供执行程序所需的所有资源，都有一个虚拟的地址空间、可执行的代码、操作系统的接口、安全的上下文（记录启动该进程的用户和权限等等）、唯一的进程ID、环境变量、优先级类、最小和最大的工作空间（内存空间）。进程可以包含线程，并且每个进程必须有至少一个线程。每个进程启动时都会最先产生一个线程，即主线程，然后主线程会再创建其他的子线程。

线程，有时被称为轻量级进程(Lightweight Process，LWP），是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不独立拥有系统资源，但它可与同属一个进程的其它线程共享该进程所拥有的全部资源。每一个应用程序都至少有一个进程和一个线程。在单个程序中同时运行多个线程完成不同的被划分成一块一块的工作，称为多线程。

举个例子，某公司要生产一种产品，于是在生产基地建设了很多厂房，每个厂房内又有多条流水生产线。所有厂房配合将整个产品生产出来，单个厂房内的流水线负责生产所属厂房的产品部件，每个厂房都拥有自己的材料库，厂房内的生产线共享这些材料。公司要实现生产必须拥有至少一个厂房一条生产线。换成计算机的概念，那么这家公司就是应用程序，厂房就是应用程序的进程，生产线就是某个进程的一个线程。

线程的特点：

线程是一个execution context（执行上下文），即一个cpu执行时所需要的一串指令。假设你正在读一本书，没有读完，你想休息一下，但是你想在回来时继续先前的进度。有一个方法就是记下页数、行数与字数这三个数值，这些数值就是execution context。如果你的室友在你休息的时候，使用相同的方法读这本书。你和她只需要这三个数字记下来就可以在交替的时间共同阅读这本书了。

线程的工作方式与此类似。CPU会给你一个在同一时间能够做多个运算的幻觉，实际上它在每个运算上只花了极少的时间，本质上CPU同一时刻只能干一件事，所谓的多线程和并发处理只是假象。CPU能这样做是因为它有每个任务的execution context，就像你能够和你朋友共享同一本书一样。

进程与线程区别：

• 同一个进程中的线程共享同一内存空间，但进程之间的内存空间是独立的。

• 同一个进程中的所有线程的数据是共享的，但进程之间的数据是独立的。

• 对主线程的修改可能会影响其他线程的行为，但是父进程的修改（除了删除以外）不会影响其他子进程。

• 线程是一个上下文的执行指令，而进程则是与运算相关的一簇资源。

• 同一个进程的线程之间可以直接通信，但是进程之间的交流需要借助中间代理来实现。

• 创建新的线程很容易，但是创建新的进程需要对父进程做一次复制。

• 一个线程可以操作同一进程的其他线程，但是进程只能操作其子进程。

• 线程启动速度快，进程启动速度慢（但是两者运行速度没有可比性）。

由于现代cpu已经进入多核时代，并且主频也相对以往大幅提升，多线程和多进程编程已经成为主流。Python全面支持多线程和多进程编程，同时还支持协程。

‘陆’ python socket编程

通过python的网络通信支持，通过网络模块，python程序可以非常方便地相互访问互联网上的HTTP服务和FTP服务等。可以直接获取互联网上的远程资源，还可以向远程资源发送GET POST请求。

计算机网络是线代通信技术与计算机技术相结合的产物，计算机网络主要可以提供

通信协议一般由三部分组成：一是语义部分，用于决定双袜昌方对话类型；二是语法部分，用于决定双方对话的格式；三是变化规则，用于决定通信双方的应答关系。

应用层：与其它计算机进行通讯的一个应用，它是对应应用程序的通信服务的。有HTTP, FTP , NFS, SMTP, TELNET
表示层：这一层主要是定义数据格式及加密。如加密， ASCII
会话层：它定义了如何开始、控制和结束一个会话，包括对多个双向消息的控制和管理，以便在只完成连续消息的一部分时可以通知应用，从而使表示层看到的数据是连续的。如 RPC,SQL
传输层：这层的功能包括是否选择差错恢复协议还是无差错恢复协议，及在泳衣主机上对不同应用的数据流的输入进行复用，还包括对收到的顺序不对的数据包的重新排序功能，如 TCP UDP SPX
网络层：这层对端对端的包传输进行定义，它定义了能够标猜好散识所有结点的逻辑地址，还定义了路由实现的方式和学习的方式。如IP
数据链路层：它定义了在单个链路上如何传输数据。这些协议与被讨论的各种介质有关
物理层：OSI的物理层规范是有关传输介质的特性，这些规范通常也参考了其他组织制定的标准。

IP地址用于唯一标识网络中的一个通信实体，这个通信实体既可以是一个主机，也可以是路由器的某个端口，。而在基于IP协议的网络中传输数据包都必须使用IP地址来进行标识。

端口，程序与外界进行交互的出入口。

Tcp/IP通信协议是一种可靠的网络协议，他在通信的两端建立一个socket，从而形成虚拟的网络链路。一旦建立了虚拟网络链路，两端的程穗氏序就可以通过该链路进行通信。

IP 是Internet上使用的一个关键协议，通过IP协议，使internet成为一个允许连接不同类型的计算机和不同操作系统的网络。同时还需要TCP协议来提供可靠且无差错的服务。
TCP协议被称为端对端协议，这是因为他在两台计算机的连接中起了非常重要的角色，当一台计算机需要与另外一台计算机连接时，TCP协议会让他们之间建立一个虚拟链路，用于发送和接受数据。
TCP协议负责收集这些数据包，并将其按照适当的顺序传送，接收端收到数据包后将其正确的还原。TCP保证数据包在传送过程中准确无误。TCP协议采用重发机制，当一个通信实体发送一个消息给另外一个通信实体后，需要接收到另外一个通信实体的确认信息，如果没有接收到该确认信息，则会重发信息。

使用socket之前，必须先创建socket对象，可通过该类的构造器来创建socket实例。
socket.socket(family = AF_INET, type= SOCK_STREAM, proto=0, fileno= None)

socket对象常用的方法：

基本步骤

创建客户端的步骤：

小实例：服务端

客户端：

通过这样就可以实现socket之间的通信。

‘柒’ Python多线程，多进程不能同时执行

进程（process）和线程（thread）是操薯激作系统的基本概念，但是它们比较抽象，不容易掌握。关于多进程和多线程，教仿闭科书上最经典的一句话是“进程是资源分配的最小单位，线程数大袜是CPU调度的最小单位”。 线程是程序中一个单一的顺序控制流程。进程内一个相对独立的、可调度的执行单元，是系统独立调度和分派CPU的基本单位指运行中的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。

‘捌’ 求大神 帮忙 在 windos 下写 python socket 服务器。多线程高并发的，3000以上。python2.7 的环境。

多线程高并发不容易。因为python的线程虽然是真线程，不过它有GIL。 所以通常会使用twisted工具，高并发就不是难题了。在linux下更容易。

由于windows下不知道socket的复制。所以不能使用多进猛亏岩程管理多个python实例处理一个端口的请求。

所以建议你走另外一条路，使用nginx之类的代理，再通过wsgi连接。枝御

另外一种办法是使用jython, 这是没有GIL锁的。

不过话说回来，高并发并空察不取决于语言快慢。而在于处理请求的快慢。 如果你的请求处理速度极快，即使10个线程也可以高并发到3000以上。甚至8000都可以做到。

‘玖’ python socketserver和socket的区别

区别：

1.首先介绍下socket

socket的英文原义是“孔”或“插座”。作为BSD UNIX的进程通信机制，取后一种意思。通常也
称作"套接字"，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一 般运行了多个服务软件，同时提供几种服务。每种服务都打开一个Socket，并绑定到一个端口上，不同的端口对应于不同的服务。Socket正如其英文原 意那样，像一个多孔插座。一台主机犹如布满各种插座的房间，每个插座有一个编号，有的插座提供220伏交流电， 有的提供110伏交流电，有的则提供有线电视节目。 客户软件将插头插到不同编号的插座，就可以得到不同的服务

内部调用流程为：

启动服务端程序

执行 TCPServer.init方法，创建服务端Socket对象并绑定 IP 和 端口

执行 BaseServer.init方法，将自定义的继承自SocketServer.BaseRequestHandler 的类 - MyRequestHandle赋值给 self.RequestHandlerClass

执行 BaseServer.server_forever 方法，While 循环一直监听是否有客户端请求到达 ...
当客户端连接到达服务器

执行 ThreadingMixIn.process_request 方法，创建一个 “线程” 用来处理请求

执行 ThreadingMixIn.process_request_thread 方法

执行 BaseServer.finish_request 方法，执行 self.RequestHandlerClass() 即：执行 自定义 MyRequestHandler 的构造方法（自动调用基类BaseRequestHandler的构造方法，在该构造方法中又会调用 MyRequestHandler的handle方法）

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和执行流程基本一致，只不过在内部分别为请求者建立 “线程” 和 “进程”。

‘拾’ pythonsocket服务端响应多个返回

创建 socket 对象，监听地址
while True: serversocket.accept() 不断接收请求
conn 其实就是 socket 对象，接受到请求之后，conn.recv(1024) 不断拼配告接出 request，然后解析 request
conn.send(response), conn.close() 响应请求，关掉
能同时枣卖毕响应多个请求是因为把 handler 部分新增线程来处理
在 socket.accept() 之后，把凳芹 handle_connection() 放到线程处理。