python进程占用内存
⑴ python 最大能用多大内存
最大能用多大内存是操作系统的限制，跟python没有直接关系，因为python是没有限制的。
ABC是由Guido参加设计的一种教学语言。就Guido本人看来，ABC 这种语言非常优美和强大，是专门为非专业程序员设计的。但是ABC语言并没有成功，究其原因，Guido 认为是其非开放造成的。Guido 决心在Python 中避免这一错误。同时，他还想实现在ABC 中闪现过但未曾实现的东西。
(1)python进程占用内存扩展阅读：
一个和其他大多数语言（如C）的区别就是，一个模块的界限，完全是由每行的首字符在这一行的位置来决定的（而C语言是用一对花括号{}来明确的定出模块的边界的，与字符的位置毫无关系）。这一点曾经引起过争议。
因为自从C这类的语言诞生后，语言的语法含义与字符的排列方式分离开来，曾经被认为是一种程序语言的进步。不过不可否认的是，通过强制程序员们缩进（包括if，for和函数定义等所有需要使用模块的地方），Python确实使得程序更加清晰和美观。
⑵ Python 多进程内存占用问题
当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时，我们一般采用如下的方式进行处理：
但是，如果这任务列表很长很长，处理函数很复杂(占用cpu)时，单核往往需要很长的时间进行处理，此时，Multiprocess便可以极大的提高我们程序的运行速度，相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。
以上这种场景下，推荐大家采用最简单的进程池+map的方法进行处理，标准的写法， chunksize要借鉴官方的说法，最好大一点 ：
但是！！！！ 如果我们的任务列表非常的长，这会导致多进程还没跑起来之前，内存已经撑爆了，任务自然没法完成，此时我们有几种办法进行优化：
进程的启动方法有三种，可参考官方文档：
[图片上传失败...(image-48cd3c-1650511153989)]
在linux环境下，使用forkserver可以节省很多的内存空间， 因为进程启动的是一个服务，不会把主进程的数据全部复制
采用imap会极大的节省空间，它返回的是一个迭代器，也就是结果列表：
但注意，以上写法中，你写的结果迭代部分必须写在with下面。或者采用另一种写法：
还有最后一种，当你的mission list实在太大了，导致你在生成 mission list的时候已经把内存撑爆了，这个时候就得优化 mission_list了，如果你的mission_list是通过一个for循环生成的，你可以使用yield字段，将其封装为一个迭代器，传入进程池：
这样子，我们就封装好了mission_list，它是一个可迭代对象，在取数据的时候才会将数据拉到内存
我在项目中结合了后两种方法，原本256G的内存都不够用，但在修改后内存只占用了不到10G。希望能够帮助到你
⑶ 7种检测Python程序运行时间、CPU和内存占用的方法
1. 使用装饰器来衡量函数执行时间
有一个简单方法，那就是定义一个装饰器来测量函数的执行时间，并输出结果：
import time
from functoolsimport wraps
import random
def fn_timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0= time.time()
result= function(*args, **kwargs)
t1= time.time()
print("Total time running %s: %s seconds" %
(function.__name__, str(t1- t0))
)
return result
return function_timer
@fn_timer
def random_sort(n):
return sorted([random.random() for i in range(n)])
if __name__== "__main__":
random_sort(2000000)
输出：Total time running random_sort: 0.6598007678985596 seconds
使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了
或者
# 可监控程序运行时间
import time
import random
def clock(func):
def wrapper(*args, **kwargs):
start_time= time.time()
result= func(*args, **kwargs)
end_time= time.time()
print("共耗时: %s秒" % round(end_time- start_time, 5))
return result
return wrapper
@clock
def random_sort(n):
return sorted([random.random() for i in range(n)])
if __name__== "__main__":
random_sort(2000000)
输出结果：共耗时: 0.65634秒
2. 使用timeit模块
另一种方法是使用timeit模块，用来计算平均时间消耗。
执行下面的脚本可以运行该模块。
这里的timing_functions是Python脚本文件名称。
在输出的末尾，可以看到以下结果：4 loops, best of 5: 2.08 sec per loop
这表示测试了4次，平均每次测试重复5次，最好的测试结果是2.08秒。
如果不指定测试或重复次数，默认值为10次测试，每次重复5次。
3. 使用Unix系统中的time命令
然而，装饰器和timeit都是基于Python的。在外部环境测试Python时，unix time实用工具就非常有用。
运行time实用工具：
输出结果为：
Total time running random_sort: 1.3931210041 seconds
real 1.49
user 1.40
sys 0.08
第一行来自预定义的装饰器，其他三行为：
real表示的是执行脚本的总时间
user表示的是执行脚本消耗的CPU时间。
sys表示的是执行内核函数消耗的时间。
注意：根据维基网络的定义，内核是一个计算机程序，用来管理软件的输入输出，并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。
因此，Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。
4. 使用cProfile模块
5. 使用line_profiler模块
6. 使用memory_profiler模块
7. 使用guppy包
⑷ python 最大能用多大存储空间
这个是操作系统的限制，跟python没有直接关系，因为python是没有限制的。
32位的系统：windows下单个进程可以用到2G内存;linux下单个进程可以用到4G内存。
64位的系统：
windows下单个进程Intel Itanium-based可用到7TB,Windows 8.1和Windows Server 2012
R2:可用128，其它版本TBx64: 8 TB
但是不同版本windows系统可用的最大物理内存数也有限制，比如64位win7家庭基本版只能认出8G内存，专业版以上能认出192G内存。
linux下不同的发行商，或者不同的内核编译参数也会有也不同的限制，但都是按T计的。