python數據保存
1. python 文本文件數據處理
分隔日誌文件存為小文件
#coding:utf-8
#file: FileSplit.py
import os,os.path,time
def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每個小文件中保存100000條數據
dataLine = sFile.readline()
tempData = [] #緩存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目標目錄不存在,則創建
os.mkdir(targetFolder)
while dataLine: #有數據
for row in range(number):
tempData.append(dataLine) #將一行數據添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tempData) #將列表保存到文件中
tFile.close()
tempData = [] #清空緩存列表
print(tFilename + " 創建於: " + str(time.ctime()))
fileNum += 1 #文件編號
sFile.close()
if __name__ == "__main__" :
FileSplit("access.log","access")
分類匯總小文件:
#coding:utf-8
#file: Map.py
import os,os.path,re
def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #緩存列表
if not os.path.isdir(targetFolder): #如果目標目錄不存在,則創建
os.mkdir(targetFolder)
while dataLine: #有數據
p_re = re.compile(r'(GET|POST)s(.*?)sHTTP/1.[01]',re.IGNORECASE) #用正則表達式解析數據
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + ' ')
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Map("access\access.log1.txt","access")
Map("access\access.log2.txt","access")
Map("access\access.log3.txt","access")
3. 再次將多個文件分類匯總為一個文件。
#coding:utf-8
#file: Rece.py
import os,os.path,re
def Rece(sourceFolder, targetFile):
tempData = {} #緩存列表
p_re = re.compile(r'(.*?)(d{1,}$)',re.IGNORECASE) #用正則表達式解析數據
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()
while dataLine: #有數據
subdata = p_re.findall(dataLine) #用空格分割數據
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + ' ')
tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Rece("access","access")
2. 請問python tk如何生成圖片這種表格,並且可以在空白處添加內容後保存到新的word
如何利用python爬取數據並保存為word文檔?請看下面的經驗吧! 方法/步驟 在做爬取數據之前,你需要下載安裝兩個東西,一個是urllib,另外一個是python-docx. 然後在python的編輯器中輸入import選項,提供這兩個庫的服務 urllib主要負責抓取網頁的數據,單純的抓取網頁數據其實很簡單,輸入如圖所示的命令,後面帶鏈接即可. 抓取下來了,還不算,必須要進行讀取,否則無效. 接下來就是抓碼了,不轉碼是完成不了保存的,將讀取的函數read轉碼.再隨便標記一個比如XA. 最後
如何利用python爬取數據並保存為word文檔?請看下面的經驗吧!
方法/步驟
在做爬取數據之前,你需要下載安裝兩個東西,一個是urllib,另外一個是python-docx。
然後在python的編輯器中輸入import選項,提供這兩個庫的服務
urllib主要負責抓取網頁的數據,單純的抓取網頁數據其實很簡單,輸入如圖所示的命令,後面帶鏈接即可。
抓取下來了,還不算,必須要進行讀取,否則無效。
接下來就是抓碼了,不轉碼是完成不了保存的,將讀取的函數read轉碼。再隨便標記一個比如XA。
最後再輸入三句,第一句的意思是新建一個空白的word文檔。
第二句的意思是在文檔中添加正文段落,將變數XA抓取下來的東西導進去。
第三句的意思是保存文檔docx,名字在括弧裡面。
這個爬下來的是源代碼,如果還需要篩選的話需要自己去添加各種正則表達式。
3. python爬取網頁數據,為啥保存到Excel裡面沒有東西
如果您使用 Python 從網頁中抓取數據並將其保存到 Excel 文件,但 Excel 文件不包含任何數據,則可能有多種原因。以下是一些可能的原因和解決方案:
您沒有使用正確的方法將數據寫入 Excel 文件。若要將數據保存到 Excel 文件,需要態燃使用庫,例如 或 。這些庫提供可用於創建和寫入 Excel 文件的函數和類。確保已導入正確的庫,並使用正確的方法將數據寫入文件。openpyxlxlsxwriter
將數據寫入 Excel 文件後,您不會保存該文件。將數據寫入磨閉族 Excel 文件後,需要使用 or 方法保存對文件的更改。如果不保存文件,則不會保留寫入文件的瞎弊數據。save()save_as()
您沒有在正確的模式下打開 Excel 文件。使用 Python 打開 Excel 文件時,需要指定是要讀取文件還是寫入文件。如果以只讀模式打開文件,則無法向其寫入數據。確保在寫入模式下打開文件,在調用該方法時使用該選項。write_onlyopen()
您沒有將數據寫入 Excel 文件中的正確工作表。一個 Excel 文件可以包含多個工作表,您需要指定要將數據寫入哪個工作表。請確保在調用 or 方法將數據寫入 Excel 文件時使用正確的工作表名稱。append()write()
回答不易望請採納
4. 如何將python運行結果保存成txt
將python運行結果保存成txt的具體操作步驟如下:
1、首先我們打開電腦桌面,在電腦桌面上點按win+R進入運行,在搜索框里輸入cmd並點擊確定。