当前位置:首页 » 编程语言 » threadpoolpython

threadpoolpython

发布时间: 2022-08-02 11:26:31

❶ 请问python如何创建有限线程来处理函数

使用线程池:threadpool 模块。这是一个第三方模块,可以通过下面方法安装:
easy_install threadpool

❷ python 多线程池的用法

你的意思是不是:只禁用脚本但保持物体有效? 那可以用GetComponent<YourClass>().enabled =false; //YourClass是你要禁用的脚本类 以上是C#的语法,JS的用: GetComponent("YourClass").enable=false; //"YourClass"是你要禁用的脚本名

❸ python threadpoolexecutor 设置多少个

简单点话设置为 cpu核心数2倍左右。

❹ python 多进程和多线程配合

由于python的多线程中存在PIL锁,因此python的多线程不能利用多核,那么,由于现在的计算机是多核的,就不能充分利用计算机的多核资源。但是python中的多进程是可以跑在不同的cpu上的。因此,尝试了多进程+多线程的方式,来做一个任务。比如:从中科大的镜像源中下载多个rpm包。
#!/usr/bin/pythonimport reimport commandsimport timeimport multiprocessingimport threadingdef download_image(url):
print '*****the %s rpm begin to download *******' % url
commands.getoutput('wget %s' % url)def get_rpm_url_list(url):
commands.getoutput('wget %s' % url)
rpm_info_str = open('index.html').read()

regu_mate = '(?<=<a href=")(.*?)(?=">)'
rpm_list = re.findall(regu_mate, rpm_info_str)

rpm_url_list = [url + rpm_name for rpm_name in rpm_list] print 'the count of rpm list is: ', len(rpm_url_list) return rpm_url_
def multi_thread(rpm_url_list):
threads = [] # url = 'https://mirrors.ustc.e.cn/centos/7/os/x86_64/Packages/'
# rpm_url_list = get_rpm_url_list(url)
for index in range(len(rpm_url_list)): print 'rpm_url is:', rpm_url_list[index]
one_thread = threading.Thread(target=download_image, args=(rpm_url_list[index],))
threads.append(one_thread)

thread_num = 5 # set threading pool, you have put 4 threads in it
while 1:
count = min(thread_num, len(threads)) print '**********count*********', count ###25,25,...6707%25

res = [] for index in range(count):
x = threads.pop()
res.append(x) for thread_index in res:
thread_index.start() for j in res:
j.join() if not threads:
def multi_process(rpm_url_list):
# process num at the same time is 4
process = []
rpm_url_group_0 = []
rpm_url_group_1 = []
rpm_url_group_2 = []
rpm_url_group_3 = [] for index in range(len(rpm_url_list)): if index % 4 == 0:
rpm_url_group_0.append(rpm_url_list[index]) elif index % 4 == 1:
rpm_url_group_1.append(rpm_url_list[index]) elif index % 4 == 2:
rpm_url_group_2.append(rpm_url_list[index]) elif index % 4 == 3:
rpm_url_group_3.append(rpm_url_list[index])
rpm_url_groups = [rpm_url_group_0, rpm_url_group_1, rpm_url_group_2, rpm_url_group_3] for each_rpm_group in rpm_url_groups:
each_process = multiprocessing.Process(target = multi_thread, args = (each_rpm_group,))
process.append(each_process) for one_process in process:
one_process.start() for one_process in process:
one_process.join()# for each_url in rpm_url_list:# print '*****the %s rpm begin to download *******' %each_url## commands.getoutput('wget %s' %each_url)
def main():
url = 'https://mirrors.ustc.e.cn/centos/7/os/x86_64/Packages/'
url_paas = 'http://mirrors.ustc.e.cn/centos/7.3.1611/paas/x86_64/openshift-origin/'
url_paas2 ='http://mirrors.ustc.e.cn/fedora/development/26/Server/x86_64/os/Packages/u/'

start_time = time.time()
rpm_list = get_rpm_url_list(url_paas) print multi_process(rpm_list) # print multi_thread(rpm_list)
#print multi_process()
# print multi_thread(rpm_list)
# for index in range(len(rpm_list)):
# print 'rpm_url is:', rpm_list[index]
end_time = time.time() print 'the download time is:', end_time - start_timeprint main()123456789101112131415161718

代码的功能主要是这样的:
main()方法中调用get_rpm_url_list(base_url)方法,获取要下载的每个rpm包的具体的url地址。其中base_url即中科大基础的镜像源的地址,比如:http://mirrors.ustc.e.cn/centos/7.3.1611/paas/x86_64/openshift-origin/,这个地址下有几十个rpm包,get_rpm_url_list方法将每个rpm包的url地址拼出来并返回。
multi_process(rpm_url_list)启动多进程方法,在该方法中,会调用多线程方法。该方法启动4个多进程,将上面方法得到的rpm包的url地址进行分组,分成4组,然后每一个组中的rpm包再最后由不同的线程去执行。从而达到了多进程+多线程的配合使用。
代码还有需要改进的地方,比如多进程启动的进程个数和rpm包的url地址分组是硬编码,这个还需要改进,毕竟,不同的机器,适合同时启动的进程个数是不同的。

❺ python threadpool 不能创建新线程

提供一个线程池,该线程池可用于执行任务、发送工作项、处理异步I/O、代表其他线程等待以及处理计时器。

❻ python,threadpool模块和自己写的线程池相比有什么缺点

提供一个线程池,该线程池可用于执行任务、发送工作项、处理异步 I/O、代表其他线程等待以及处理计时器。

❼ python 怎么实现多线程的

线程也就是轻量级的进程,多线程允许一次执行多个线程,Python是多线程语言,它有一个多线程包,GIL也就是全局解释器锁,以确保一次执行单个线程,一个线程保存GIL并在将其传递给下一个线程之前执行一些操作,也就产生了并行执行的错觉。

❽ python 为什么不建议用threadpool

IDLE是py原生自带的迷你IDE(只能算迷你),而win的powershell,以及*nix跟mac的terminal不是IDE!是shell,是cli!先搞清楚IDE跟shell或cli的区别。
你这个回答你的是:不要用任何IDE,要用shell加随便一个文本编辑器,来开始学。
至于什么时候开始过渡到IDE,我觉得是码到大概200行以上~才需要
另外什么缩进代码高亮的,你发的教程里也用上了n++这类富编辑器,这根本不是问题。

❾ python threadpool wait和poll的区别

第一行定义了一个线程池,表示最多可以创建poolsize这么多线程;
第二行是调用makeRequests创建了要开启多线程的函数,以及函数相关参数和回调函数,其中回调函数可以不写,default是无,也就是说makeRequests只需要2个参数就可以运行;
第三行用法比较奇怪,是将所有要运行多线程的请求扔进线程池,[pool.putRequest(req) for req in requests]等同于:

❿ python threadpool有多个参数怎么提交

仔细的研究了一下,发现函数调用时

result = request.callable(*request.args, **request.kwds)

第一个解包list,第二个解包dict,所以可以这样:

#----------------------------------------------------------------------
def hello(m, n, o):
""""""
print "m = %s, n = %s, o = %s"%(m, n, o)

if __name__ == '__main__':

# 方法1
lst_vars_1 = ['1', '2', '3']
lst_vars_2 = ['4', '5', '6']
func_var = [(lst_vars_1, None), (lst_vars_2, None)]
# 方法2
dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
func_var = [(None, dict_vars_1), (None, dict_vars_2)]

pool = threadpool.ThreadPool(2)
requests = threadpool.makeRequests(hello, func_var)
[pool.putRequest(req) for req in requests]
pool.wait()

热点内容
服务器如何从导轨取下来 发布:2025-01-23 10:28:30 浏览:102
华为手机的密码保险柜在哪里 发布:2025-01-23 10:27:02 浏览:633
三星的铃声文件夹是哪个 发布:2025-01-23 10:26:25 浏览:115
信号量编程 发布:2025-01-23 10:23:59 浏览:555
网易邮箱账号和密码哪里查看 发布:2025-01-23 10:09:37 浏览:306
java数据库下载 发布:2025-01-23 10:04:33 浏览:247
基岩版服务器改地址 发布:2025-01-23 09:59:33 浏览:506
android获取sim卡 发布:2025-01-23 09:48:49 浏览:178
快捷指令自动清理缓存 发布:2025-01-23 09:45:41 浏览:77
数据结构算法实现及解析 发布:2025-01-23 09:33:22 浏览:153