python堆内存

1. python如何进行内存管理

Python的内存管理主要有三种机制：引用计数机制，垃圾回收机制和内存池机制。
引用计数机制
简介
python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。
特性
1.当给一个对象分配一个新名称或者将一个对象放入一个容器(列表、元组或字典)时，该对象的引用计数都会增加。
2.当使用del对对象显示销毁或者引用超出作用于或者被重新赋值时，该对象的引用计数就会减少。
3.可以使用sys.getrefcount()函数来获取对象的当前引用计数。多数情况下，引用计数要比我们猜测的大的多。对于不可变数据(数字和字符串)，解释器会在程序的不同部分共享内存，以便节约内存。
垃圾回收机制
特性
1.当内存中有不再使用的部分时，垃圾收集器就会把他们清理掉。它会去检查那些引用计数为0的对象，然后清除其在内存的空间。当然除了引用计数为0的会被清除，还有一种情况也会被垃圾收集器清掉：当两个对象相互引用时，他们本身其他的引用已经为0了。
2.垃圾回收机制还有一个循环垃圾回收器, 确保释放循环引用对象(a引用b, b引用a, 导致其引用计数永远不为0)。
内存池机制
简介
在Python中，许多时候申请的内存都是小块的内存，这些小块内存在申请后，很快又会被释放，由于这些内存的申请并不是为了创建对象，所以并没有对象一级的内存池机制。这就意味着Python在运行期间会大量地执行malloc和free的操作，频繁地在用户态和核心态之间进行切换，这将严重影响Python的执行效率。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。
内存池概念
内存池的概念就是预先在内存中申请一定数量的，大小相等的内存块留作备用，当有新的内存需求时，就先从内存池中分配内存给这个需求，不够了之后再申请新的内存。这样做最显着的优势就是能够减少内存碎片，提升效率。内存池的实现方式有很多，性能和适用范围也不一样。
特性
1.Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。
2.Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。
3.Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的 malloc。
4.对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

2. python的内存管理机制

论坛

活动

招聘

专题

打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved

登录

XCCS_澍
关注
Python 的内存管理机制及调优手段？ 原创
2018-08-05 06:50:53

XCCS_澍

码龄7年

关注
内存管理机制：引用计数、垃圾回收、内存池。
一、引用计数：
    引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。
二、垃圾回收 ：
1. 引用计数
      引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术。当 Python 的某个对象的引用计数降为 0 时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了。比如某个新建对象，它被分配给某个引用，对象的引用计数变为 1。如果引用被删除，对象的引用计数为 0，那么该对象就可以被垃圾回收。不过如果出现循环引用的话，引用计数机制就不再起有效的作用了
2. 标记清除
     如果两个对象的引用计数都为 1，但是仅仅存在他们之间的循环引用，那么这两个对象都是需要被回收的，也就是说，它们的引用计数虽然表现为非 0，但实际上有效的引用计数为 0。所以先将循环引用摘掉，就会得出这两个对象的有效计数。
3. 分代回收
     从前面“标记-清除”这样的垃圾收集机制来看，这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的，当需要回收的内存块越多时，垃圾检测带来的额外操作就越多，而垃圾回收带来的额外操作就越少；反之，当需回收的内存块越少时，垃圾检测就将比垃圾回收带来更少的额外操作。

3. Python如何进行内存管理

Python是如何进行内存管理的？

答:从三个方面来说,一对象的引用计数机制,二垃圾回收机制,三内存池机制。

一、对象的引用计数机制

Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。

引用计数增加的情况：

1，一个对象分配一个新名称

2，将其放入一个容器中（如列表、元组或字典）

引用计数减少的情况：

1，使用del语句对对象别名显示的销毁

2，引用超出作用域或被重新赋值

Sys.getrefcount( )函数可以获得对象的当前引用计数

多数情况下，引用计数比你猜测得要大得多。对于不可变数据（如数字和字符串），解释器会在程序的不同部分共享内存，以便节约内存。

相关推荐：《Python视频教程》

二、垃圾回收

1，当一个对象的引用计数归零时，它将被垃圾收集机制处理掉。

2，当两个对象a和b相互引用时，del语句可以减少a和b的引用计数，并销毁用于引用底层对象的名称。然而由于每个对象都包含一个对其他对象的应用，因此引用计数不会归零，对象也不会销毁。（从而导致内存泄露）。为解决这一问题，解释器会定期执行一个循环检测器，搜索不可访问对象的循环并删除它们。

三、内存池机制

Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

1，Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

2，Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的malloc。

3，对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

4. Python内存驻留机制

字符串驻留机制在许多面向对象编程语言中都支持，比如Java、python、Ruby、PHP等，它是一种数据缓存机制，对不可变数据类型使用同一个内存地址，有效的节省了空间，本文主要介绍Python的内存驻留机制。

字符串驻留就是每个字符串只有一个副本，多个对象共享该副本，驻留只针对不可变数据类型，比如字符串，布尔值，数字等。在这些固定数据类型处理中，使用驻留可以有效节省时间和空间，当然在驻留池中创建或者插入新的内容会消耗一定的时间。

下面举例介绍python中的驻留机制。

在Python对象及内存管理机制一文中介绍了python的参数传递以及以及内存管理机制，来看下面一段代码：

知道结果是什么吗？下面是执行结果：

l1和l2内容相同，却指向了不同的内存地址，l2和l3之间使用等号赋值，所以指向了同一个对象。因为列表是可变对象，每创建一个列表，都会重新分配内存，列表对象是没有“内存驻留”机制的。下面来看不可变数据类型的驻留机制。

在 Jupyter或者控制台交互环境 中执行下面代码：

执行结果：

可以发现a1和b1指向了不同的地址，a2和b2指向了相同的地址，这是为什么呢？

因为启动时，Python 将一个 -5~256 之间整数列表预加载（缓存）到内存中，我们在这个范围内创建一个整数对象时，python会自动引用缓存的对象，不会创建新的整数对象。

浮点型不支持：

如果上面的代码在非交互环境，也就是将代码作为python脚本运行的结果是什么呢？（运行环境为python3.7）

全为True，没有明确的限定临界值，都进行了驻留操作。这是因为使用不同的环境时，代码的优化方式不同。

在 Jupyter或者控制台交互环境 中：

满足标识符命名规范的字符：

结果：

乘法获取字符串（运行环境为python3.7）

结果：

在非交互环境中：

注意： 字符串是在编译时进行驻留 ，也就是说，如果字符串的值不能在编译时进行计算，将不会驻留。比如下面的例子：

在交互环境执行结果如下：

都指向不同的内存。

python 3.7 非交互环境执行结果：

发现d和e指向不同的内存，因为d和e不是在编译时计算的，而是在运行时计算的。前面的 a = 'aa'*50 是在编译时计算的。

除了上面介绍的python默认的驻留外，可以使用sys模块中的intern()函数来指定驻留内容

结果：

使用intern()后，都指向了相同的地址。

本文主要介绍了python的内存驻留，内存驻留是python优化的一种策略，注意不同运行环境下优化策略不一样，不同的python版本也不相同。注意字符串是在编译时进行驻留。

--THE END--

5. Python 列表内存浅析

序列是Python中最基本的数据结构。序列是一种数据存储方式，用来存储一系列的数据。

在内存中，序列就是一块用来存放多个值的连续的内存空间。比如一个整数序列[10,20,30,40]

序列中的每个元素都分配一个数字 - 它的位置，或索引。第一个索引是0，第二个索引是1，依此类推。

列表：用于存储任意数目、任意类型的数据集合。

列表是内置可变序列，是包含多个元素的有序连续的内存空间。列表定义的标准语法格式：

其中，10，20，30，40 这些称为：列表a的元素。

列表中的元素可以各不相同，可以是任意类型。比如：a = [10,20,"abc",True,[]]

当列表增加元素时,列表会自动进行内存管理，减少了程序员的负担。但是列表元素大量移动，效率低所以一般建议在尾部添加。

本地电脑运行结果：

列表是可变数据类型，地址不变，值可变。因此，添加新的值之后，地址也是不变的。

解析：在索引2处要引用50这个元素

申请了8个内存空间但是list实际用来存储元素只使用了其中5个内存空间
insert的时间复杂度是O(n)

pop () 方法 删除并返回指定位置的元素，如果未指定位置则默认操作

pop () 方法 删除并返回指定位置的元素，如果未指定位置则默认操作

结果运行：

6. python跑了一个小时正常吗

python跑了一个小时不正常。python跑时间超过半小时会发生内存泄漏的情况，是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。我的程序正好有大量的循环，因此也给不断累积的内存泄漏提供了条件。

python特点

python是一种计算机程序设计语言，python是用来编写应用程序的高级编程语言。完成同一个任务，python的代码量很少，但是代码少的代价是运行速度慢。python就为我们提供了非常完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等大量内容，被形象地称作内置电池。用python开发，许多功能不必从零编写，直接使用现成的即可。

7. Python 的内存管理机制

Python采用自动内存管理，即Python会自动进行垃圾回收，不需要像C、C++语言一样需要程序员手动释放内存，手动释放可以做到实时性，但是存在内存泄露、空指针等风险。

Python自动垃圾回收也有自己的优点和缺点：优点：

缺点：

Python的垃圾回收机制采用 以引用计数法为主，分代回收为辅 的策略。

先聊引用计数法，Python中每个对象都有一个核心的结构体，如下

一个对象被创建时，引用计数值为1，当一个变量引用一个对象时，该对象的引用计数ob_refcnt就加一，当一个变量不再引用一个对象时，该对象的引用计数ob_refcnt就减一，Python判断是否回收一个对象，会将该对象的引用计数值ob_refcnt减一判断结果是否等于0，如果等于0就回收，如果不等于0就不回收，如下：

一个对象在以下三种情况下引用计数会增加：

一个对象在以下三种情况引用计数会减少：

验证案例：

运行结果：

事实上，关于垃圾回收的测试，最好在终端环境下测试，比如整数257，它在PyCharm中用下面的测试代码打印出来的结果是4，而如果在终端环境下打印出来的结果是2。这是因为终端代表的是原始的Python环境，而PyCharm等IDE做了一些特殊处理，在Python原始环境中，整数缓存的范围是在 [-5, 256] 的双闭合区间内，而PyCharm做了特殊处理之后，PyCharm整数缓存的范围变成了 [-5, 无穷大]，但我们必须以终端的测试结果为主，因为它代表的是原始的Python环境，并且代码最终也都是要发布到终端运行的。

好，那么回到终端，我们来看两种特殊情况

前面学习过了，整数缓存的范围是在 [-5, 256] 之间，这些整数对象在程序加载完全就已经驻留在内存之中，并且直到程序结束退出才会释放占有的内存，测试案例如下：

如果字符串的内容只由字母、数字、下划线构成，那么它只会创建一个对象驻留在内存中，否则，每创建一次都是一个新的对象。

引用计数法有缺陷，它无法解决循环引用问题，即A对象引用了B对象，B对象又引用了A对象，这种情况下，A、B两个对象都无法通过引用计数法来进行回收，有一种解决方法是程序运行结束退出时进行回收，代码如下：

前面讲过，Python垃圾回收机制的策略是 以引用计数法为主，以分代回收为辅 。分代回收就是为了解决循环引用问题的。

Python采用分代来管理对象的生命周期：第0代、第1代、第2代，当一个对象被创建时，会被分配到第一代，默认情况下，当第0代的对象达到700个时，就会对处于第0代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第0代中存活的对象会被分配为第1代，同样，当第1代的对象个数达到10个时，也会对第1代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第1代中存活的对象会被分配为第2代，同样，当第二代的对象个数达到10个时，也会对第2代的对象进行检测和回收，将存在循环引用的对象释放内存。Python就是通过这样一种策略来解决对象之间的循环引用问题的。

测试案例：

运行结果：

如上面的运行结果，当第一代中对象的个数达到699个即将突破临界值700时（在打印699之前就已经回收了，所以看不到698和699）进行了垃圾回收，回收掉了循环引用的对象。

第一代、第二代、第三代分代回收都是有临界值的，这个临界值可以通过调用 gc.get_threshold 方法查看，如下：

当然，如果对默认临界值不满意，也可以调用 gc.set_threshold 方法来自定义临界值，如下：

最后，简单列出两个gc的其它方法，了解一下，但禁止在程序代码中使用

以上就是对Python垃圾回收的简单介绍，当然，深入研究肯定不止这些内容，目前，了解到这个程度也足够了。

8. Python是怎样管理内存的

Python中的内存管理是由Python私有堆空间管理，所以Python对象和数据结构都位于私有堆中，程序员无法访问此私有堆，Python解释器负责处理这个问题。
Python对象的堆空间分配由Python的内存管理器完成，核心API提供了一些程序员编写代码的工具。
Python还有一个内存的垃圾收集器，可以回收所有未使用的内存，并使其可用于堆空间。

9. python的内存问题该这么解决

1.没有开gc，或者gc设为debug状态，导致交叉引用没有被回收调
2.如果一个数据在逻辑上不应该存在，但是因为代码上没有做相关清除操作，导致他还存在，也是一种泄漏
举个栗子，例如我要记录最近50天的某个基金的日化收益率，定义一个全局的字典global_dict，运行了一个脚本进行计算，没10分钟算一次，但是我没有进行clear操作，每次的计算只是单纯的赋值dict[date] = rate，按理来说dict["五十天前"]的收益率都是不需要的，就是一种泄漏。
3.这种情况出现在python3.4之前，因为3.4已经修复了，是这样的，如果一个类定义了__del__，并且该类存在循环引用的情况，这时候gc就会把这个类放在gc.garbage当中，不会去做回收，可以说是跳出了分代回收的机制，但是3.4之后的版本就没有这种情况，会把他回收调。

10. Python 多进程内存占用问题

当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时，我们一般采用如下的方式进行处理：

但是，如果这任务列表很长很长，处理函数很复杂(占用cpu)时，单核往往需要很长的时间进行处理，此时，Multiprocess便可以极大的提高我们程序的运行速度，相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。

以上这种场景下，推荐大家采用最简单的进程池+map的方法进行处理，标准的写法， chunksize要借鉴官方的说法，最好大一点 ：

但是！！！！ 如果我们的任务列表非常的长，这会导致多进程还没跑起来之前，内存已经撑爆了，任务自然没法完成，此时我们有几种办法进行优化：

进程的启动方法有三种，可参考官方文档：

[图片上传失败...(image-48cd3c-1650511153989)]

在linux环境下，使用forkserver可以节省很多的内存空间， 因为进程启动的是一个服务，不会把主进程的数据全部复制

采用imap会极大的节省空间，它返回的是一个迭代器，也就是结果列表：

但注意，以上写法中，你写的结果迭代部分必须写在with下面。或者采用另一种写法：

还有最后一种，当你的mission list实在太大了，导致你在生成 mission list的时候已经把内存撑爆了，这个时候就得优化 mission_list了，如果你的mission_list是通过一个for循环生成的，你可以使用yield字段，将其封装为一个迭代器，传入进程池：

这样子，我们就封装好了mission_list，它是一个可迭代对象，在取数据的时候才会将数据拉到内存

我在项目中结合了后两种方法，原本256G的内存都不够用，但在修改后内存只占用了不到10G。希望能够帮助到你