python二进制读取
① python读取C#写的二进制文件,byte类型unpack
近期有一部分早期记录数据,C#写的二进制数据,在读取的过程中,short和unshort类型还是比较好转换的,但是碰到byte类型,对照struct的说明是x,设置读取格式时,这部分会空出来,读不出来。查看说明C#的byte类型在python是no value,用x读不出来。因为大概知道数据是整数类型的,于是用b(与B区别,是否有负值),也是1个字节,和C#中的byte一样长度,可以正确显示出来数据。如果是字符类,可以考虑c,s,p。注意变量所占字节数。(读出来数据最好测试验证一下)。
def readWrite(fname):
with open(fname,'rb') as f:
if fname[-3:] == 'RPT' : #文件格式是RPT格式的二进制文件
data = f.read()
#fmt = 'H16x2H4x2H10x5H2h6H' #数据格式中x会导致数据忽略掉,读不出来
fmt = 'H16b2H4b2H10b5H2h6H' #采用b替换后,数据格式显示正常
data1= struct.unpack(fmt,data)
elif fname[-3:] == 'DAY': #文件格式时DAY格式的二进制文件
data = f.read()
fmt = '4i'
data1= struct.unpack(fmt,data)
else:
data1 = '不是指定文件或文件错误'
print('不是指定文件')
return data1
② python pdf二进制读取问题
可以使用numpy.fromfile(),也可以使用open(filename, 'rb'),其中的'b'就是二进制的意思,然后使用文件类型的read方法,读取一些字节,再用struct.unpack()方法来解析二进制。
第一种方法是一次性读入文件(或文件的前多少个连续字节)到一个数组中,因此,灵活性差。
第二种方法灵活性很高,可以读取任意位置(使用文件的seek()方法跳跃位置)的二进制数据,再使用struct.unpack()方法来进行各种二进制解析。
提示:二进制文件是不保留存储方式的数据格式,因此,读二进制文件时应该知道二进制文件的存储格式。
③ python读取二进制并转为其他类型数据
file = open("test.spc", 'rb')
content = file.read()
unpack('H', binary_string) # unsigned short
unpack('d', binary_string) # double
unpack('Q', binary_string) # unsigned long long
unpack('l', binary_string) # long
pack('H',1) # unsigned short
pack('d', 5.23) # double
pack('Q', 11111111) # unsigned long long
pack('l', 1111) # long</pre>
详见官方文档: struct官方文档
④ python3二进制文件读写直接加b不行吗
二进制模式,通常用来读取图片、视频等二进制文件。注意,它在读写的时候是以bytes类型读写的,因此获得的是一个bytes对象而不是字符串。在这个读写过程中,需要自己指定编码格式。在使用带b的模式时一定要注意传入的数据类型,确保为bytes类型。
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','w')
f.write(s)
##这样没问题,正常写入了文件。
##-------------------------------------------------
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','wb') ##注意多了个b
f.write(s)
##报错
TypeError: a bytes-like object is required, not 'str'
##意思是它需要一个bytes类型数据,你却给了个字符串
##---------------------------------------------------
s = 'this is a test'
b = bytes(s,encoding='utf-8')
f = open('test.txt','wb') ##注意多了个b
f.write(b) ##将变量b传给它,b是个bytes类型
二、 + 模式:
对于w+模式,在读写之前都会清空文件的内容,建议不要使用!
对于a+模式,永远只能在文件的末尾写入,有局限性,建议不要使用!
对于r+模式,也就是读写模式,配合seek()和tell()方法,可以实现更多操作。
三、 编码问题
要读取非UTF-8编码的文件,需要给open()函数传入encoding参数,例如,读取GBK编码的文件:
>>> f = open('gbk.txt', 'r', encoding='gbk')
>>> f.read()
'GBK'
遇到有些编码不规范的文件,可能会抛出UnicodeDecodeError异常,这表示在文件中可能夹杂了一些非法编码的字符。遇到这种情况,可以提供errors参数,表示如果遇到编码错误后如何处理。
>>> f = open('gbk.txt', 'r', encoding='gbk', errors='ignore')
四、 文件对象操作
每当我们用open方法打开一个文件时,将返回一个文件对象。这个对象内置了很多操作方法。下面假设,已经打开了一个f文件对象。
1. f.read(size)
读取一定大小的数据, 然后作为字符串或字节对象返回。size是一个可选的数字类型的参数,用于指定读取的数据量。当size被忽略了或者为负值,那么该文件的所有内容都将被读取并且返回。
f = open("1.txt", "r")
str = f.read()
print(str)
f.close()
如果文件体积较大,请不要使用read()方法一次性读入内存,而是read(512)这种一点一点的读。
2. f.readline()
从文件中读取一行n内容。换行符为' '。如果返回一个空字符串,说明已经已经读取到最后一行。这种方法,通常是读一行,处理一行,并且不能回头,只能前进,读过的行不能再读了。
f = open("1.txt", "r")
str = f.readline()
print(str)
f.close()
3. f.readlines()
将文件中所有的行,一行一行全部读入一个列表内,按顺序一个一个作为列表的元素,并返回这个列表。readlines方法会一次性将文件全部读入内存,所以也存在一定的风险。但是它有个好处,每行都保存在列表里,可以随意存取。
f = open("1.txt", "r")
a = f.readlines()
print(a)
f.close()
4. 遍历文件
实际上,更多的时候,我们将文件对象作为一个迭代器来使用。
# 打开一个文件
f = open("1.txt", "r")
for line in f:
print(line, end='')
# 关闭打开的文件
f.close()
这个方法很简单, 不需要将文件一次性读出,但是同样没有提供一个很好的控制,与readline方法一样只能前进,不能回退。
几种不同的读取和遍历文件的方法比较:如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便。普通情况,使用for循环更好,速度更快。
5. f.write()
将字符串或bytes类型的数据写入文件内。write()动作可以多次重复进行,其实都是在内存中的操作,并不会立刻写回硬盘,直到执行close()方法后,才会将所有的写入操作反映到硬盘上。在这过程中,如果想将内存中的修改,立刻保存到硬盘上,可以使用f.flush()方法,但这可能造成数据的不一致。
# 打开一个文件
f = open("/tmp/foo.txt", "w")
f.write("Python 是一种非常好的语言。
我喜欢Python!!
")
# 关闭打开的文件
f.close()
6. f.tell()
返回文件读写指针当前所处的位置,它是从文件开头开始算起的字节数。一定要注意了,是字节数,不是字符数。
7. f.seek()
如果要改变位置指针的位置, 可以使用f.seek(offset, from_what)方法。seek()经常和tell()方法配合使用。
from_what的值,如果是0表示从文件开头计算,如果是1表示从文件读写指针的当前位置开始计算,2表示从文件的结尾开始计算,默认为0,例如:
offset:表示偏移量。
seek(x,0) : 从起始位置即文件首行首字符开始移动 x 个字符
seek(x,1) : 表示从当前位置往后移动x个字符
seek(-x,2):表示从文件的结尾往前移动x个字符
看一个例子:
>>> f = open("d:\1.txt", "rb+")
>>> f.write(b"1232312adsfalafds")
17
>>> f.tell()
17
>>> f.seek(5)
5
>>> f.read(1)
b'1'
>>> f.seek(-3, 2)
14
>>> f.read(1)
b'f'
8. f.close()
关闭文件对象。当处理完一个文件后,调用f.close()来关闭文件并释放系统的资源。文件关闭后,如果尝试再次调用该文件对象,则会抛出异常。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了,或者更糟糕的结果。也就是说大象塞进冰箱后,一定不要忘记关上冰箱的门。
⑤ python读写文件
读文件
1)使用open()方法打开文件,返回一个文件对象
原型:open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)
举例:f = open('test.txt', 'r')
test.txt表示文件路径(包含文件名,这个file参数可以是绝对或者相对路径)
r表示是读文本文件,rb是读二进制文本文件。(这个mode参数默认值就是r)
2)使用close()方法关闭文件
f.close()
打开后的文件必须关闭,因为文件对象会占用系统资源,系统打开文件数量也就有限了
3)打开文件时的异常处理
f=open('test.txt', 'r')
f.read()
f.close()
FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'
文件读写时都有可能产生异常IOError(比如文件不存在),这样其后面的f.read(),f.close()就不会调用。为保证无论是否异常都可以关闭文件,一般使用try ... finally来处理:
try:
f = open('test.txt', 'r')
f.read()
finally:
if f:
f.close()
但这种写法过于繁琐,所以Python引入了with语句来自动调用close()方法:
with open('test.txt', 'r') as f:
f.read()
4)读文件 - read()、readline() 和 readlines()
read() 一次读取整个文件,它通常用于将文件内容放到一个字符串变量中。如果文件过大,内存不够,可以通过反复调用read(size)方法,每次最多读取size个字节的内容。
readline() 一次读取文件中一行内容,可反复调用
readlines() 一次读取所有内容并按行返回列表,该列表可以由for ... in ... 结构再进一步处理。
特别注意:
这三种方法是把每行末尾的'\n'也读进来了,如有需要就得我们手动去掉'\n'
with open('test.txt', 'r') as f:
list = f.readlines()
for i in range(0, len(list)):
list[i] = list[i].rstrip('\n')
写文件
1)写文件和读文件是一样的,唯一区别是open文件时,传入标识符不同,即'w'或者'wb'表示写文本文件或写二进制文件
f = open('test.txt', 'w')
f = open('test.txt', 'wb')
f = open('test.txt', 'a')
f.close()
特别注意:
1. 如果没有这个文件,会自动创建一个新文件;如果有,就会先把原文件的内容清空再写入;若不想清空原来的内容而是直接在后面追加新的内容,就用'a'这个模式
2. 写文件,操作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入。只有调用close()方法时,操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。
2)写文件 - write()、writelines()
write()方法和read()、readline()方法对应,是将字符串写入到文件中。
writelines()方法和readlines()方法对应,也是针对 列表 的操作。它接收一个 字符串行表 作为参数,将他们写入到文件中。
特别注意:
换行符不会自动的加入,需要显式的加入换行符。
f = open('test.txt', 'w')
f.writelines(["111\n", "222\n", "333\n"])
补充说明:
1)对于非默认编码(utf-8)的文件,需要open时添加encording参数,选择对应的编码方式
2)r+, w+, a+,可读可写
3)seek()方法,移动文件指针
seek(offset[, whence]) ,offset是相对于某个位置的偏移量。位置由whence决定,默认whence=0,从开头起;whence=1,从当前位置算起;whence=2相对于文件末尾移动,通常offset取负值。
⑥ 在python中如何从二进制文件中读取信息
你是指读入二进制文件吧?
可以使用numpy.fromfile(),也可以使用open(filename, 'rb'),其中的'b'就是二进制的意思,然后使用文件类型的read方法,读取一些字节,再用struct.unpack()方法来解析二进制。
第一种方法是一次性读入文件(或文件的前多少个连续字节)到一个数组中,因此,灵活性差。
第二种方法灵活性很高,可以读取任意位置(使用文件的seek()方法跳跃位置)的二进制数据,再使用struct.unpack()方法来进行各种二进制解析。
提示:二进制文件是不保留存储方式的数据格式,因此,读二进制文件时应该知道二进制文件的存储格式。