python资源释放

Ⅰ python with open 频繁写入文件导致coach无法释放

程序执行速度太快，以至于读到内容还没有完全写入文件，文件就已经关闭了。
使用open()方法一定要保证关闭文件对象，即调用close()方法。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘同时释放资源。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。
将这些个文件路径的list，分成若干个，至于分成多少，要看自己cpu核心有多少，比如你的cpu有32核的，理论上就可以加速32倍。

Ⅱ Python 文件操作

open(filename[,mode,encoding="编码"]) ：第一个参数文件名如果不加路径，默认在该py文件目录下（路径举例： E:/XXX或E:\xxx ），第二个是模式，默认为 'r' ——只读，举例： f = open('E:/abc.txt') ，如果要转编码并写入模式：
f = open('E:/abc.txt','w',encoding='utf-8')
1. 模式

2. 方法
(1) close() : 关闭文件，因为文件写入时是写在内存，只有关闭时才写入硬盘，所以写完记得关闭
(2) read(size = -1) ：读取文件size个字符，不写默认是-1，此时读取所有内容（换行按 来表示，很不好看），并作为字符串返回，一定要注意 读完以后文件指针将会指向末尾 ，所以下一次在用read方法时会发现读取不出内容了，所以这个就要用seek移动指针或者关闭文件重新定义
(3) tell() ：返回当前文件指针指向的位置
(4) seek(offset,from) ：移动文件指针，代表从from参数开始偏移offset个字节，0代表起始位置，1代表当前位置，2代表文件末尾
(5) readline() ：按序列读取一行内容，默认 为边界
(6) write() ：写入内容，但必须要有写入权限才行，否则报错，写完会返回写入的长度，例如： len1 = f.write('abc') ，此时len1就为3
(7) truncate() ：删除内容，把当前指针以后的内容全删了，举例：

注：
1.文件还可以转化为 list 之类的，例如： list1 = list(f) ，此时文件内容的按 被隔开，然后可以用for语句读取文件所有内容，举例：

2.上面输出文件内容方法相对低效，所以一般都直接用for输出整个文件，举例：

通过 fileno 函数，我们可以查看一个文件对应的文件描述符，对应的是程序中打开的文件序号，举例：

可以看出python在启动时会先启动标准流的文件（文件描述符分别为：0/1/2），所以之后打开的文件就从3开始递增，当释放一个文件资源时，该描述符序号被释放，之后打开的文件可以继续使用该序号的文件描述符

python中的 print 的本质是通过 sys.stdout 来进行内容输出，而 sys.stdout 的本质是一个"文件"，相当于我们所有的输入输出的本质都是在对 sys.stdin / sys.stdout / sys.stderr 这些文件来进行读写操作，举例：

open 函数不仅可以打开本地文件，也可以打开文件描述符，而该参数默认为 True ，代表 close 后会将对应的文件资源释放，而对于一些文件描述符，我们只是希望 close 时将打开文件描述符的对象释放，而不释放对应的文件资源，那么则可以设置 closefd=False ，举例：

需要使用到 chardet 模块，按二进制可读打开文件，然后通过 detect() 方法查看，举例：

所以就可以根据文件来设置编码了：

有时候使用文件的编码解码也可能会出现无法解析的情况，例如两种编码混在同一个文件里的时候，此时可以设置 errors 参数为 ignore 来避免该问题，示例：

可用 os 模块下的 chmod() 函数，具体参考： http://www.runoob.com/python/os-chmod.html

使用 os 模块下的 remove() 函数可以实现删除文件，举例：

可以使用自带的 zipfile 模块来进行操作，举例：

可以使用自带的 tarfile 模块来进行操作，举例：

https://www.cnblogs.com/lotusto/p/5805543.html

Ⅲ python 如何跳过异常继续执行

下面有两种解决方法，第一种是类似if..else..；另外一种是使用语句来实现继续执行；

方法一：使用try...except...语句，类似于if...else...，可以跳过异常继续执行程序，这是Python的优势

用法如下：

拓展资料

异常处理特点：

1.在应用程序遇到异常情况（如被零除情况或内存不足警告）时，就会产生异常。

2.发生异常时，控制流立即跳转到关联的异常处理程序（如果存在）。

3.如果给定异常没有异常处理程序，则程序将停止执行，并显示一条错误信息。

4.可能导致异常的操作通过 try 关键字来执行。

5.异常处理程序是在异常发生时执行的代码块。在 C# 中，catch 关键字用于定义异常处理程序。

6.程序可以使用 throw 关键字显式地引发异常。

7.异常对象包含有关错误的详细信息，其中包括调用堆栈的状态以及有关错误的文本说明。

8.即使引发了异常，finally 块中的代码也会执行，从而使程序可以释放资源。

Ⅳ Python 在打开文件后为什么要close（），如果不关有什么危害

close()是为了释放资源。
如果不close()，那就要等到垃圾回收时，自动释放资源。垃圾回收的时机是不确定的，也无法控制的。

如果程序是一个命令，很快就执行完了，那么可能影响不大（注意：并不是说就保证没问题）。
但如果程序是一个服务，或是需要很长时间才能执行完，或者很大并发执行，就可能导致资源被耗尽，也有可能导致死锁。

Ⅳ python如何让程序一直运行且内存资源自动释放

这当然是和代码写法有关，不贴出来就无法解决

Ⅵ python中可以用del释放资源

del是删除对象
一般都是自动垃圾回收

Ⅶ 如何释放Python占用的内存

1.充分利用内存
任何一种图像处理软件对内存的要求都很高，Photoshop也一样。如果你在使用Photoshop时，没有使用其它的一些大软件，这时你就可以将Photoshop占用内存资源的比例提高。方法是：进行Photoshop，选择菜单下File\Preference\Memory & Image Cache命令，将Used by Photoshop的比例提高到80%~90%即可。
2.指定虚拟内存
在处理Photoshop时，内存被用完是很正常的，到时会大大影响Photoshop处理图像的时间，哪将怎么解决呢？方法是：你可以用硬盘来作为内存来使用，也就是常说的虚拟内存。请选择菜单下“File\Preference\Plug-Ins & Scratch Disks”命令。在这里的Scratch Disks下，你可以在硬盘上指定四个驱动器来作为虚拟内存，软件默认的虚拟内存是在Windows\temp之下。当第一个虚拟内存被使用光之后，Photoshop会自动去使用第二个Scratch Dsik，这样就提高了执行速度。
3.释放内存与硬盘空间
在进行图像处理时，你所进行的所有操作将会记录在Photoshop的History（历史记录）工作板中。这些操作包括：复制到Clipboard（粘贴板）、Undo（恢复）、Pattern（填充物）、Histories（记录）等几种，选择菜单下“Edit\Purge”命令。
进行这些操作之后，Photoshop会将这些图像和数据保存在内存里，使用该命令后，即将这些被占用的内存空间释放出来（RAM：Oh! Freeden）这样就让Photoshop有更多的Resource（资源）可用，自然就提高了效率。但注意，如果这些操作占用的内存比较少时，就没有必要使用啦！
除此之外，在处理大型图片时，Photoshop会自动产生一些临时文件，一般都很大，如果你处理的是一个20MB大小的宣传画时，那么临时文件可能就是100~150MB。请在Windows\temp或在你设定虚拟内存的驱动器里，将产生的Photoshop临时文件*.tmp删除掉。

Ⅷ Python其实很简单 第十五章 文件操作

在各种变量中保存的数据都是临时的，随着程序运行结束都会丢失。要做到数据长期有效，必须建立在磁盘中建立文件，将数据输入到文件中并保存。需要获取数据时需要打开文件读取。

而我们自己建立的程序都是应用程序，从本质上讲，应用程序是无法直接操作计算机的硬件的，譬如读写磁盘中文件，这就需要调用操作系统中的相应命令。接下来我们使用的Python内置函数open()、write()都是通过调用操作系统的相关命令才实现文件读写的，至于其中的细节，我们就不需要考虑了。

15.1创建和打开文件

在Python 中创建或打开文件，实际上是建立一个对象，该对象通过调用内置的open()函数创建或打开一个文件。

语法：

file object = open(filename [, mode][, buffering])

参数说明如下：

filename：file_name变量是一个包含了你要访问的文件名称的字符串值；

mode：mode决定了打开文件的模式：只读，写入，追加等。所有可取值见如下的完全列表。这个参数是非强制的，默认文件访问模式为只读(r)。

Buffering：如果buffering的值被设为0，就不会有寄存；如果buffering的值取1，访问文件时会寄存行；如果将buffering的值设为大于1的整数，表明了这就是的寄存区的缓冲大小；如果取负值，寄存区的缓冲大小则为系统默认。

mode参数的参数值及说明

对于其中最难区别的r、r+、w、w+、a、a+几个参数的区别总结如下，要特别注意指针的位置：

下面举例说明open( )函数的使用方法。

例1：

>>> file=open(Ƈ.py')

如果文件“1.py”存在，则可以打开此文件；如果文件“1.py”不存在，则会出现如下提示：

Traceback (most recent call last):

File " ", line 1, in

file=open(Ƈ.py')

FileNotFoundError: [Errno 2] No such file or directory: Ƈ.py'

例2：

>>> file=open(Ɗ.py',’a+’)

虽然文件“4.py”不存在，但运行并未出现错误，参见上表，“a+”的含义是以读写模式打开文件，如果该文件已经存在，新内容将以追加方式写入；如果该文件不存在，则新建文件用于写入。查看文件夹，发现已经生成了一个新的文件4.py。

例3：

file=open('python.png','rb')

print(file)

运行结果：

这就是说，虽然Python可以打开一个图片格式的文件，但print()并不能将其输出，还需要第三方库中模块的相应方法去处理，如PIL中的open()f方法。

例4：

file = open("f.txt", "w",encoding='utf-8')

# 以只写模式打开文件f.txt，编码方式为utf-8

print( "文件名: ", file.name) # 输出文件名

print( "是否已关闭 : ", file.closed) # 文件是否打开

print( "访问模式 : ", file.mode) # 文件访问模式

运行结果：

文件名: f.txt

是否已关闭 : False

访问模式 : w

例5：

15.2关闭文件

打开文件使用后要及时关闭，以免造成不必要的破坏，同时也可以释放内存。在Python中使用close()方法可以关闭文件。

语法格式：

file.close()

其中，file为文件对象。

15.3 with语句

with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。

with语句的语法格式如下：

with expression as target:

with-body

其中，expression用于指定一个表达式，譬如打开文件的open()函数。target用于指定一个变量，并且将expression的结果保存到该变量中，譬如文件对象file。with-body用于指定with语句体，譬如一些文件操作的相关语句，如果没有要执行的语句体，则直接用pass语句代替。

假设python当前目录下存在一个test.txt文件，其内容如下：

Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

Python是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。

Python是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

Python是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发。

举例如下：

with open('test.txt','r',encoding='utf-8') as file:

line=file.readline() # readline()方法可以读取文件一行数据，接下来就会讲到。

print(line)

运行结果如下：

Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

而此时，我们给该段代码with语句之外再增加一个读取文件的语句，代码如下：

with open('test.txt','r',encoding='utf-8') as file:

line=file.readline()

print(line)

line2=file.readline()

print(line2)

发现出现了如下错误提示：

Traceback (most recent call last):

File "C:/Users/zym/AppData/Local/Programs/Python/Python39/3.py", line 5, in

line2=file.readline()

ValueError: I/O operation on closed file.

意思是要读取的文件已经被关闭了。

由此可知，当with语句运行结束后，被打开的test.txt文件就自动关闭了。

15.4读取文件

在Python 中读取文件的方法有：

1、读取指定个数的字符

格式如下：

File.read([size])

其中，file为打开的文件对象。size为可选参数，可以指定要读取的字符个数，省缺表示读取所有内容。

在调用read()方法读取文件内容时，文件必须是以r（只读）或者r+(读写）方式打开。

如：

with open('test.txt','r',encoding='utf-8') as file:

txt=file.read() （或txt=file.read(10)）

print(txt)

将读取、输出test.txt文件的全部内容（或前10个字符）。

2、移动文件的指针

对于刚打开的文件，文件指针总是指向文件头的。也可以通过seek()方法将文件的指针移动到新的位置。

格式如下：

file.seek(offset[,whence])

其中，file表示已经打开的文件对象；offset用于指定移动的字符个数；whence表示从哪个位置起始计算个数，其值为0表示从文件头开始计算，其值为1表示从当前位置开始计算，其值为2表示从文件尾开始计算，默认值为0。

例如：

with open('test.txt','r',encoding='utf-8') as file:

string=file.read(9)

print('取9个字符： '+string)

file.seek(2) #指针从文件头开始移动2个字符

string=file.read(9) #从当前位置读取10个字符

输出结果：

取9个字符：

Python是一种

取9个字符：

thon是一种解释

而下面的代码会抛出错误：

with open('test.txt','r',encoding='utf-8') as file:

file.seek(2,1) #指针从当前位置开始移动2个字符

string=file.read(10) #从当前位置读取10个字符

print('取10个字符： '+string)

错误提示为：

Traceback (most recent call last):

File "C:.py", line 7, in

file.seek(2,1) #指针从当前位置开始移动2个字符

io.UnsupportedOperation: can't do nonzero cur-relative seeks

原因在于，必须使用b模式（即rb）打开文件，才能使用whence参数。但是，b模式（二进制）不适合文本文件。对于test.txt这样的文本文件，为了解决通过改变指针读取任意位置字符，可以采用加一个位置变量的方法来存储指针的值。

例如：

with open('test.txt','r',encoding='utf-8') as file:

#utf-8汉字与英文字符都占一个字符

string='' #设置一个空字符串

pointer=0 #当前指针为0

str1=file.read(6) #读取6个字符

pointer+=6 #指针变量后移6个字符

string+=str1 #string用来存放已读取的字符

print('取6个字符： ',str1)

file.seek(pointer) #指针从文件头开始移动2个字符

str1=file.read(8) #从当前位置读取10个字符

pointer+=8 #指针跳过已读取的字符

string+=str1

print('再取8个字符： ',str1)

print('所有读取的字符： ',string)

print('当前指针所处的位置： ',pointer)

str1=file.read(1)

print('当前指针所处的字符： ',str1)

运行结果如下：

取6个字符：

Python

再取8个字符：

是一种解释型语言

所有读取的字符：

Python是一种解释型语言

当前指针所处的位置：

14

当前指针所处的字符：

：

3、读取一行数据readline()方法

语法格式：

file.readline()

例：

with open('test.txt','r',encoding='utf-8') as f:

string=f.read(1) # 读取文件的第一个字符

if string != '': # 防止文件为空文件

lineno=0

while True:

line=f.readline()

if line != '':

lineno+=1

print('第'+str(lineno)+'行：'+line,end='')

# 因为每行都有自带的分行符，print()语句不允许换行

else:

break # 出现空行时停止读取

else:

print('要读取的文件为空文件！')

运行结果：

第1行：ython是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

第2行：Python是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。

第3行：Python是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

第4行：Python是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发。

4、读取全部行命令readlines()方法

语法格式：

File.readlines()

该方法与read()方法一样，在调用read()方法读取文件内容时，文件必须是以r（只读）或者r+(读写）方式打开。

例：

with open('test.txt','r',encoding='utf-8') as f:

txt=f.readlines()

print(txt)

运行结果：

['Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 ', 'Python是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。 ', 'Python是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。 ', 'Python是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发。 ']

从上面的运行结果可以看出，readlines()方法的返回值为一个字符串行表。所以，也可以以读取列表元素的方法输出。如下所示：

with open('test.txt','r',encoding='utf-8') as f:

txt=f.readlines()

for line in txt:

print(line,end='')

运行结果：

Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

Python是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。

Python是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

Python是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发。

15.5 写入文件内容

语法格式如下：

file.write(string)

其中，file为打开的文件对象，string为要写入的字符串。

写入文件内容时，文件必须以w（可写）或a（追加）模式打开。否则，会抛出如下异常提示：

Traceback (most recent call last):

File "C:.py", line 2, in

f.write('人生苦短，我用Python！')

io.UnsupportedOperation: not writable

关于write()方法的用法举例如下：

with open('test.txt','a',encoding='utf-8') as f:

f.write('人生苦短，我用Python！')

with open('test.txt','r',encoding='utf-8') as f:

txt=f.read()

print(txt)

运行结果：

Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。

Python是交互式语言： 这意味着，您可以在一个 Python 提示符 >>> 后直接执行代码。

Python是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。

Python是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发。

人生苦短，我用Python！

可以看出，由于文件的打开方式为a模式（追加模式），写入的内容被写入到文件的末尾。

在Python中，文件操作方法里没有类似于字符串内的计算长度、查找、替换、截取、分隔等方法，为什么没有？原因可能是文件的类型太复杂，譬如说二进制文件，上述操作的意义不大。如果仅仅要对文本文件进行上述操作，完全可以先把文件的内容读取到字符串中，再用相应的字符串函数或方法去操作就可以了。譬如，要将test.txt文件中的字符串‘Python’替换为’PHP’，则可以用如下代码完成：

txt1=''

with open('test.txt','r',encoding='utf-8') as f:

txt1=f.read() #先将文件内容存入字符串txt1中

txt2=txt1.replace('Python','PHP') #将txt1中的'Python'替换为'PHP'，并存入txt2

with open('test.txt','w',encoding='utf-8') as f:

f.write(txt2) #将字符串txt2的内容写回到文件中

这里之所以分两步打开文件（第一次为r模式，第二次为w模式），而没有采用一次读写（r+、w+方式），因为那样比较容易出错。实践证明，将文件的读操作和写操作分开其实是非常正确的选择。

Ⅸ Python对象

众所周知，Python是一门面向对象的语言，在Python无论是数值、字符串、函数亦或是类型、类，都是对象。
对象是在 堆 上分配的结构，我们定义的所有变量、函数等，都存储于堆内存，而变量名、函数名则是一个存储于 栈 中、指向堆中具体结构的引用。

要想深入学习Python，首先需要知道Python对象的定义。

我们通常说的Python都是指CPython，底层由C语言实现，源码地址： cpython [GitHub]
Python对象的定义位于 Include/object.h ，是一个名为 PyObject 的结构体：

Python中的所有对象都继承自PyObejct，PyObject包含一个用于垃圾回收的双向链表，一个引用计数变量 ob_refcnt 和 一个类型对象指针 ob_type

从PyObejct的注释中，我们可以看到这样一句：每个指向 可变大小Python对象 的指针也可以转换为 PyVarObject* （可变大小的Python对象会在下文中解释）。 PyVarObejct 就是在PyObject的基础上多了一个 ob_size 字段，用于存储元素个数：

在PyObject结构中，还有一个类型对象指针 ob_type ，用于表示Python对象是什么类型，定义Python对象类型的是一个 PyTypeObject 接口体

实际定义是位于 Include/cpython/object.h 的 _typeobject ：

在这个类型对象中，不仅包含了对象的类型，还包含了如分配内存大小、对象标准操作等信息，主要分为：

以Python中的 int类型 为例，int类型对象的定义如下：

从PyObject的定义中我们知道，每个对象的 ob_type 都要指向一个具体的类型对象，比如一个数值型对象 100 ，它的ob_type会指向 int类型对象PyLong_Type 。

PyTypeObject结构体第一行是一个PyObject_VAR_HEAD宏，查看宏定义可知PyTypeObject是一个变长对象

也就是说，归根结底 类型对象也是一个对象 ，也有ob_type属性，那 PyLong_Type 的 ob_type 是什么呢？
回到PyLong_Type的定义，第一行 PyVarObject_HEAD_INIT(&PyType_Type, 0) ，查看对应的宏定义

由以上关系可以知道， PyVarObject_HEAD_INIT(&PyType_Type, 0) = { { _PyObject_EXTRA_INIT 1, &PyType_Type } 0} ，将其代入 PyObject_VAR_HEAD ，得到一个变长对象：

这样看就很明确了，PyLong_Type的类型就是PyType_Typ，同理可知， Python类型对象的类型就是PyType_Type ，而 PyType_Type对象的类型是它本身

从上述内容中，我们知道了对象和对象类型的定义，那么根据定义，对象可以有以下两种分类

Python对象定义有 PyObject 和 PyVarObject ，因此，根据对象大小是否可变的区别，Python对象可以划分为 可变对象（变长对象） 和 不可变对象（定长对象）

原本的对象a大小并没有改变，只是s引用的对象改变了。这里的对象a、对象b就是定长对象

可以看到，变量l仍然指向对象a，只是对象a的内容发生了改变，数据量变大了。这里的对象a就是变长对象

由于存在以上特性，所以使用这两种对象还会带来一种区别：
声明 s2 = s ，修改s的值： s = 'new string' ，s2的值不会一起改变，因为只是s指向了一个新的对象，s2指向的旧对象的值并没有发生改变
声明 l2 = l ，修改l的值： l.append(6) ，此时l2的值会一起改变，因为l和l2指向的是同一个对象，而该对象的内容被l修改了

此外，对于 字符串 对象，Python还有一套内存复用机制，如果两个字符串变量值相同，那它们将共用同一个对象：

对于 数值型 对象，Python会默认创建0~2 8 以内的整数对象，也就是 0 ~ 256 之间的数值对象是共用的：

按照Python数据类型，对象可分为以下几类：

Python创建对象有两种方式，泛型API和和类型相关的API

这类API通常以 PyObject_xxx 的形式命名，可以应用在任意Python对象上，如:

使用 PyObjecg_New 创建一个数值型对象：

这类API通常只能作用于一种类型的对象上，如：

使用 PyLong_FromLong 创建一个数值型对象：

在我们使用Python声明变量的时候，并不需要为变量指派类型，在给变量赋值的时候，可以赋值任意类型数据，如：

从Python对象的定义我们已经可以知晓造成这个特点的原因了，Python创建对象时，会分配内存进行初始化，然后Python内部通过 PyObject* 变量来维护这个对象，所以在Python内部各函数直接传递的都是一种泛型指针 PyObject* ，这个指针所指向的对象类型是不固定的，只能通过所指对象的 ob_type 属性动态进行判断，而Python正是通过 ob_type 实现了多态机制

Python在管理维护对象时，通过引用计数来判断内存中的对象是否需要被销毁，Python中所有事物都是对象，所有对象都有引用计数 ob_refcnt 。
当一个对象的引用计数减少到0之后，Python将会释放该对象所占用的内存和系统资源。
但这并不意味着最终一定会释放内存空间，因为频繁申请释放内存会大大降低Python的执行效率，因此Python中采用了内存对象池的技术，是的对象释放的空间会还给内存池，而不是直接释放，后续需要申请空间时，优先从内存对象池中获取。