当前位置:首页 » 编程语言 » python数据保存

python数据保存

发布时间: 2024-09-18 08:52:35

1. python 文本文件数据处理

  1. 分隔日志文件存为小文件

  2. #coding:utf-8

  3. #file: FileSplit.py

  4. import os,os.path,time

  5. def FileSplit(sourceFile, targetFolder):

  6. sFile = open(sourceFile, 'r')

  7. number = 100000 #每个小文件中保存100000条数据

  8. dataLine = sFile.readline()

  9. tempData = [] #缓存列表

  10. fileNum = 1

  11. if not os.path.isdir(targetFolder): #如果目标目录不存在,则创建

  12. os.mkdir(targetFolder)

  13. while dataLine: #有数据

  14. for row in range(number):

  15. tempData.append(dataLine) #将一行数据添加到列表中

  16. dataLine = sFile.readline()

  17. if not dataLine :

  18. break

  19. tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")

  20. tFile = open(tFilename, 'a+') #创建小文件

  21. tFile.writelines(tempData) #将列表保存到文件中

  22. tFile.close()

  23. tempData = [] #清空缓存列表

  24. print(tFilename + " 创建于: " + str(time.ctime()))

  25. fileNum += 1 #文件编号

  26. sFile.close()

  27. if __name__ == "__main__" :

  28. FileSplit("access.log","access")


分类汇总小文件:

#coding:utf-8

#file: Map.py


import os,os.path,re


def Map(sourceFile, targetFolder):

sFile = open(sourceFile, 'r')

dataLine = sFile.readline()

tempData = {} #缓存列表

if not os.path.isdir(targetFolder): #如果目标目录不存在,则创建

os.mkdir(targetFolder)

while dataLine: #有数据

p_re = re.compile(r'(GET|POST)s(.*?)sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据

match = p_re.findall(dataLine)

if match:

visitUrl = match[0][1]

if visitUrl in tempData:

tempData[visitUrl] += 1

else:

tempData[visitUrl] = 1

dataLine = sFile.readline() #读入下一行数据

sFile.close()


tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + ' ')


tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")

tFile = open(tFilename, 'a+') #创建小文件

tFile.writelines(tList) #将列表保存到文件中

tFile.close()


if __name__ == "__main__" :

Map("access\access.log1.txt","access")

Map("access\access.log2.txt","access")

Map("access\access.log3.txt","access")

3. 再次将多个文件分类汇总为一个文件。

#coding:utf-8

#file: Rece.py


import os,os.path,re


def Rece(sourceFolder, targetFile):

tempData = {} #缓存列表

p_re = re.compile(r'(.*?)(d{1,}$)',re.IGNORECASE) #用正则表达式解析数据

for root,dirs,files in os.walk(sourceFolder):

for fil in files:

if fil.endswith('_map.txt'): #是rece文件

sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')

dataLine = sFile.readline()

while dataLine: #有数据

subdata = p_re.findall(dataLine) #用空格分割数据

#print(subdata[0][0]," ",subdata[0][1])

if subdata[0][0] in tempData:

tempData[subdata[0][0]] += int(subdata[0][1])

else:

tempData[subdata[0][0]] = int(subdata[0][1])

dataLine = sFile.readline() #读入下一行数据

sFile.close()


tList = []

for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):

tList.append(key + " " + str(value) + ' ')


tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")

tFile = open(tFilename, 'a+') #创建小文件

tFile.writelines(tList) #将列表保存到文件中

tFile.close()


if __name__ == "__main__" :

Rece("access","access")

2. 请问python tk如何生成图片这种表格,并且可以在空白处添加内容后保存到新的word

如何利用python爬取数据并保存为word文档?请看下面的经验吧! 方法/步骤 在做爬取数据之前,你需要下载安装两个东西,一个是urllib,另外一个是python-docx. 然后在python的编辑器中输入import选项,提供这两个库的服务 urllib主要负责抓取网页的数据,单纯的抓取网页数据其实很简单,输入如图所示的命令,后面带链接即可. 抓取下来了,还不算,必须要进行读取,否则无效. 接下来就是抓码了,不转码是完成不了保存的,将读取的函数read转码.再随便标记一个比如XA. 最后
如何利用python爬取数据并保存为word文档?请看下面的经验吧!

方法/步骤

在做爬取数据之前,你需要下载安装两个东西,一个是urllib,另外一个是python-docx。

然后在python的编辑器中输入import选项,提供这两个库的服务

urllib主要负责抓取网页的数据,单纯的抓取网页数据其实很简单,输入如图所示的命令,后面带链接即可。

抓取下来了,还不算,必须要进行读取,否则无效。

接下来就是抓码了,不转码是完成不了保存的,将读取的函数read转码。再随便标记一个比如XA。

最后再输入三句,第一句的意思是新建一个空白的word文档。

第二句的意思是在文档中添加正文段落,将变量XA抓取下来的东西导进去。

第三句的意思是保存文档docx,名字在括号里面。

这个爬下来的是源代码,如果还需要筛选的话需要自己去添加各种正则表达式。

3. python爬取网页数据,为啥保存到Excel里面没有东西

如果您使用 Python 从网页中抓取数据并将其保存到 Excel 文件,但 Excel 文件不包含任何数据,则可能有多种原因。以下是一些可能的原因和解决方案:

  • 您没有使用正确的方法将数据写入 Excel 文件。若要将数据保存到 Excel 文件,需要态燃使用库,例如 或 。这些库提供可用于创建和写入 Excel 文件的函数和类。确保已导入正确的库,并使用正确的方法将数据写入文件。openpyxlxlsxwriter

  • 将数据写入 Excel 文件后,您不会保存该文件。将数据写入磨闭族 Excel 文件后,需要使用 or 方法保存对文件的更改。如果不保存文件,则不会保留写入文件的瞎弊数据。save()save_as()

  • 您没有在正确的模式下打开 Excel 文件。使用 Python 打开 Excel 文件时,需要指定是要读取文件还是写入文件。如果以只读模式打开文件,则无法向其写入数据。确保在写入模式下打开文件,在调用该方法时使用该选项。write_onlyopen()

  • 您没有将数据写入 Excel 文件中的正确工作表。一个 Excel 文件可以包含多个工作表,您需要指定要将数据写入哪个工作表。请确保在调用 or 方法将数据写入 Excel 文件时使用正确的工作表名称。append()write()

回答不易望请采纳

4. 如何将python运行结果保存成txt

将python运行结果保存成txt的具体操作步骤如下:

1、首先我们打开电脑桌面,在电脑桌面上点按win+R进入运行,在搜索框里输入cmd并点击确定。

热点内容
树莓派3编译文件之后保存退出 发布:2024-09-19 17:30:23 浏览:107
手机版我的世界如何做服务器 发布:2024-09-19 16:59:05 浏览:491
编译器错误都怎么解决 发布:2024-09-19 16:51:53 浏览:472
洛达三代安卓怎么用 发布:2024-09-19 16:41:02 浏览:88
androideclipse目录 发布:2024-09-19 16:10:37 浏览:933
linux系统是什么系统 发布:2024-09-19 16:10:35 浏览:122
数据库财经 发布:2024-09-19 16:03:23 浏览:935
直接脚本 发布:2024-09-19 15:49:09 浏览:242
安卓代码怎么用 发布:2024-09-19 15:35:38 浏览:385
微信为什么要用服务器 发布:2024-09-19 15:35:29 浏览:883