python處理日誌
1. python里如何提取日誌中的錯誤信息
只要進行提取日誌中的錯誤信息，那麼你可以編輯一段程序，然後這樣的話才能夠完成達到提取的。
2. 怎樣調試 日誌 python 代碼
使用 pdb 進行調試
pdb 是 python 自帶的一個包，為 python 程序提供了一種交互的源代碼調試功能，主要特性包括設置斷點、單步調試、進入函數調試、查看當前代碼、查看棧片段、動態改變變數的值等。pdb 提供了一些常用的調試命令，詳情見表 1。
表 1. pdb 常用命令
命令
解釋
break 或 b 設置斷點
設置斷點
continue 或 c
繼續執行程序
list 或 l
查看當前行的代碼段
step 或 s
進入函數
return 或 r
執行代碼直到從當前函數返回
exit 或 q
中止並退出
next 或 n
執行下一行
pp
列印變數的值
help
幫助
下面結合具體的實例講述如何使用 pdb 進行調試。
清單 1. 測試代碼示例
import pdb
a = "aaa"
pdb.set_trace()
b = "bbb"
c = "ccc"
final = a + b + c
print final
開始調試：直接運行腳本，會停留在 pdb.set_trace() 處，選擇 n+enter 可以執行當前的 statement。在第一次按下了 n+enter 之後可以直接按 enter 表示重復執行上一條 debug 命令。
清單 2. 利用 pdb 調試
[root@rcc-pok-idg-2255 ~]# python epdb1.py
> /root/epdb1.py(4)?()
-> b = "bbb"
(Pdb) n
> /root/epdb1.py(5)?()
-> c = "ccc"
(Pdb)
> /root/epdb1.py(6)?()
-> final = a + b + c
(Pdb) list
1 import pdb
2 a = "aaa"
3 pdb.set_trace()
4 b = "bbb"
5 c = "ccc"
6 -> final = a + b + c
7 print final
[EOF]
(Pdb)
[EOF]
(Pdb) n
> /root/epdb1.py(7)?()
-> print final
(Pdb)
退出 debug：使用 quit 或者 q 可以退出當前的 debug，但是 quit 會以一種非常粗魯的方式退出程序，其結果是直接 crash。
清單 3. 退出 debug
[root@rcc-pok-idg-2255 ~]# python epdb1.py
> /root/epdb1.py(4)?()
-> b = "bbb"
(Pdb) n
> /root/epdb1.py(5)?()
-> c = "ccc"
(Pdb) q
Traceback (most recent call last):
File "epdb1.py", line 5, in ?
c = "ccc"
File "epdb1.py", line 5, in ?
c = "ccc"
File "/usr/lib64/python2.4/bdb.py", line 48, in trace_dispatch
return self.dispatch_line(frame)
File "/usr/lib64/python2.4/bdb.py", line 67, in dispatch_line
if self.quitting: raise BdbQuit
bdb.BdbQuit
列印變數的值：如果需要在調試過程中列印變數的值，可以直接使用 p
加上變數名，但是需要注意的是列印僅僅在當前的 statement 已經被執行了之後才能看到具體的值，否則會報 NameError: <
exceptions.NameError … ....> 錯誤。
清單 4. debug 過程中列印變數
[root@rcc-pok-idg-2255 ~]# python epdb1.py
> /root/epdb1.py(4)?()
-> b = "bbb"
(Pdb) n
> /root/epdb1.py(5)?()
-> c = "ccc"
(Pdb) p b
'bbb'
(Pdb)
'bbb'
(Pdb) n
> /root/epdb1.py(6)?()
-> final = a + b + c
(Pdb) p c
'ccc'
(Pdb) p final
*** NameError: <exceptions.NameError instance at 0x1551b710 >
(Pdb) n
> /root/epdb1.py(7)?()
-> print final
(Pdb) p final
'aaabbbccc'
(Pdb)
使用 c 可以停止當前的 debug 使程序繼續執行。如果在下面的程序中繼續有 set_statement() 的申明，則又會重新進入到 debug 的狀態，讀者可以在代碼 print final 之前再加上 set_trace() 驗證。
清單 5. 停止 debug 繼續執行程序
[root@rcc-pok-idg-2255 ~]# python epdb1.py
> /root/epdb1.py(4)?()
-> b = "bbb"
(Pdb) n
> /root/epdb1.py(5)?()
-> c = "ccc"
(Pdb) c
aaabbbccc
顯示代碼：在 debug 的時候不一定能記住當前的代碼塊，如要要查看具體的代碼塊，則可以通過使用 list 或者 l 命令顯示。list 會用箭頭 -> 指向當前 debug 的語句。
清單 6. debug 過程中顯示代碼
[root@rcc-pok-idg-2255 ~]# python epdb1.py
> /root/epdb1.py(4)?()
-> b = "bbb"
(Pdb) list
1 import pdb
2 a = "aaa"
3 pdb.set_trace()
4 -> b = "bbb"
5 c = "ccc"
6 final = a + b + c
7 pdb.set_trace()
8 print final
[EOF]
(Pdb) c
> /root/epdb1.py(8)?()
-> print final
(Pdb) list
3 pdb.set_trace()
4 b = "bbb"
5 c = "ccc"
6 final = a + b + c
7 pdb.set_trace()
8 -> print final
[EOF]
(Pdb)
在使用函數的情況下進行 debug
清單 7. 使用函數的例子
import pdb
def combine(s1,s2): # define subroutine combine, which...
s3 = s1 + s2 + s1 # sandwiches s2 between copies of s1, ...
s3 = '"' + s3 +'"' # encloses it in double quotes,...
return s3 # and returns it.
a = "aaa"
pdb.set_trace()
b = "bbb"
c = "ccc"
final = combine(a,b)
print final
如果直接使用 n 進行 debug 則到 final=combine(a,b)
這句的時候會將其當做普通的賦值語句處理，進入到 print final。如果想要對函數進行 debug 如何處理呢 ? 可以直接使用 s
進入函數塊。函數裡面的單步調試與上面的介紹類似。如果不想在函數里單步調試可以在斷點處直接按 r 退出到調用的地方。
清單 8. 對函數進行 debug
[root@rcc-pok-idg-2255 ~]# python epdb2.py
> /root/epdb2.py(10)?()
-> b = "bbb"
(Pdb) n
> /root/epdb2.py(11)?()
-> c = "ccc"
(Pdb) n
> /root/epdb2.py(12)?()
-> final = combine(a,b)
(Pdb) s
--Call--
> /root/epdb2.py(3)combine()
-> def combine(s1,s2): # define subroutine combine, which...
(Pdb) n
> /root/epdb2.py(4)combine()
-> s3 = s1 + s2 + s1 # sandwiches s2 between copies of s1, ...
(Pdb) list
1 import pdb
2
3 def combine(s1,s2): # define subroutine combine, which...
4 -> s3 = s1 + s2 + s1 # sandwiches s2 between copies of s1, ...
5 s3 = '"' + s3 +'"' # encloses it in double quotes,...
6 return s3 # and returns it.
7
8 a = "aaa"
9 pdb.set_trace()
10 b = "bbb"
11 c = "ccc"
(Pdb) n
> /root/epdb2.py(5)combine()
-> s3 = '"' + s3 +'"' # encloses it in double quotes,...
(Pdb) n
> /root/epdb2.py(6)combine()
-> return s3 # and returns it.
(Pdb) n
--Return--
> /root/epdb2.py(6)combine()->'"aaabbbaaa"'
-> return s3 # and returns it.
(Pdb) n
> /root/epdb2.py(13)?()
-> print final
(Pdb)
在調試的時候動態改變值 。在調試的時候可以動態改變變數的值，具體如下實例。需要注意的是下面有個錯誤，原因是 b 已經被賦值了，如果想重新改變 b 的賦值，則應該使用！ B。
清單 9. 在調試的時候動態改變值
[root@rcc-pok-idg-2255 ~]# python epdb2.py
> /root/epdb2.py(10)?()
-> b = "bbb"
(Pdb) var = "1234"
(Pdb) b = "avfe"
*** The specified object '= "avfe"' is not a function
or was not found along sys.path.
(Pdb) !b="afdfd"
(Pdb)
pdb
調試有個明顯的缺陷就是對於多線程，遠程調試等支持得不夠好，同時沒有較為直觀的界面顯示，不太適合大型的 python 項目。而在較大的
python 項目中，這些調試需求比較常見，因此需要使用更為高級的調試工具。接下來將介紹 PyCharm IDE 的調試方法 .
3. 日誌文件太大，python怎麼分割文件，多線程操作
python的多線程為偽多線程，多線程並不能提高文件IO的速度，在讀取文件時使用直接讀取 for line in open('文件名', 'r') 效率最高，因為此方式為直接讀取，不像其它方式要把文件全部載入到內存再讀取，所以效率最高。分割時文件時，提前計算好行數，把讀取的每固定數量的行數存入新文件，直接讀取完成，最後刪除舊文件，即可實現文件分割。
示意代碼：
line_count=0
index=0
fw=open('part'+str(index)+'.log','w')
forlineinopen('filename.log','r'):
fw.write(line)
line_count+=1
#假設每10000行寫一個文件
ifline_count>10000:
fw.close()
index+=1
fw=open('part'+str(index)+'.log','w')
fw.close()
4. python怎麼實現遠程動態輸出日誌
#!/usr/bin/python
#encoding=utf-8
#Filename:monitorLog.py
importos
importsignal
importsubprocess
importtime
logFile1="test1.log"
logFile2='test2.log'
#日誌文件一般是按天產生，則通過在程序中判斷文件的產生日期與當前時間，更換監控的日誌文件
#程序只是簡單的示例一下，監控test1.log10秒，轉向監控test2.log
defmonitorLog(logFile):
print'監控的日誌文件是%s'%logFile
#程序運行10秒，監控另一個日誌
stoptime=time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time()+10))
popen=subprocess.Popen('tail-f'+logFile,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)
pid=popen.pid
print('Popen.pid:'+str(pid))
whileTrue:
line=popen.stdout.readline().strip()
#判斷內容是否為空
ifline:
print(line)
#當前時間
thistime=time.strftime('%Y-%m-%d%H:%M:%S',time.localtime(time.time()))
ifthistime>=stoptime:
#終止子進程
popen.kill()
print'殺死subprocess'
break
time.sleep(2)
monitorLog(logFile2)
if__name__=='__main__':
monitorLog(logFile1)
5. 如何把數據寫入日誌里（python）
#coding=utf-8
def
initlog():
import
logging
#
生成一個日誌對象
logger
=
logging.getLogger()
#
生成一個Handler。logging支持許多Handler，
#
象FileHandler,
SocketHandler,
SMTPHandler等，我由於要寫
#
文件就使用了FileHandler。
#
logfile是一個全局變數，它就是一個文件名，如：'crawl.log'
logfile
=
'test.log'
hdlr
=
logging.FileHandler(logfile)
#
成一個格式器，用於規范日誌的輸出格式。如果沒有這行代碼，那麼預設的
#
格式就是："%(message)s"。也就是寫日誌時，信息是什麼日誌中就是什麼，
#
沒有日期，沒有信息級別等信息。logging支持許多種替換值，詳細請看
#
Formatter的文檔說明。這里有三項：時間，信息級別，日誌信息
formatter
=
logging.Formatter('%(asctime)s
%(levelname)s
%(message)s')
#
將格式器設置到處理器上
hdlr.setFormatter(formatter)
#
將處理器加到日誌對象上
logger.addHandler(hdlr)
#
設置日誌信息輸出的級別。logging提供多種級別的日誌信息，如：NOTSET,
#
DEBUG,
INFO,
WARNING,
ERROR,
CRITICAL等。每個級別都對應一個數值。
#
如果不執行此句，預設為30(WARNING)。可以執行：logging.getLevelName
#
(logger.getEffectiveLevel())來查看預設的日誌級別。日誌對象對於不同
#
的級別信息提供不同的函數進行輸出，如：info(),
error(),
debug()等。當
#
寫入日誌時，小於指定級別的信息將被忽略。因此為了輸出想要的日誌級別一定
#
要設置好此參數。這里我設為NOTSET（值為0），也就是想輸出所有信息
logger.setLevel(logging.NOTSET)
return
logger
logging=initlog()
logging.info(u'注冊')
6. python的日誌,如何做到一天是單獨一個日誌,並且定期清理
創建以日期為文件的log文件（如：20140911.log），寫日誌前判斷存放日誌路徑是否存在以當天日期為文件名的文件，如果存在添加日誌信息，不存在就創建，在寫日誌信息。
定期清理亦可以按照此思路來做
7. 如何用python分析網站日誌
#coding:utf-8
#file: FileSplit.py
import os,os.path,time
def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每個小文件中保存100000條數據
dataLine = sFile.readline()
tempData = [] #緩存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建
os.mkdir(targetFolder)
while dataLine: #有數據
for row in range(number):
tempData.append(dataLine) #將一行數據添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tempData) #將列表保存到文件中
tFile.close()
tempData = [] #清空緩存列表
print(tFilename + " 創建於: " + str(time.ctime()))
fileNum += 1 #文件編號
sFile.close()
if __name__ == "__main__" :
FileSplit("access.log","access")
#coding:utf-8
#file: Map.py
import os,os.path,re
def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #緩存列表
if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建
os.mkdir(targetFolder)
while dataLine: #有數據
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正則表達式解析數據
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
#coding:utf-8
#file: Rece.py
import os,os.path,re
def Rece(sourceFolder, targetFile):
tempData = {} #緩存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正則表達式解析數據
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()
while dataLine: #有數據
subdata = p_re.findall(dataLine) #用空格分割數據
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Rece("access","access")
8. 如何用 python 分析網站日誌
日誌的記錄
Python有一個logging模塊，可以用來產生日誌。
（1）學習資料
http://blog.sina.com.cn/s/blog_4b5039210100f1wv.html
http://blog.donews.com/limodou/archive/2005/02/16/278699.aspx
http://kenby.iteye.com/blog/1162698
http://blog.csdn.NET/fxjtoday/article/details/6307285
前邊幾篇文章僅僅是其它人的簡單學習經驗，下邊這個鏈接中的內容比較全面。
http://www.red-dove.com/logging/index.html
（2）我需要關注內容
日誌信息輸出級別
logging模塊提供了多種日誌級別，如：NOTSET（0），DEBUG（10），
INFO（20），WARNING（30），WARNING（40），CRITICAL（50）。
設置方法：
logger = getLogger()
logger.serLevel(logging.DEBUG)
日誌數據格式
使用Formatter設置日誌的輸出格式。
設置方法：
logger = getLogger()
handler = loggingFileHandler(XXX)
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")
%(asctime)s表示記錄日誌寫入時間，"%Y-%m-%d,%H:%M:%S「設定了時間的具體寫入格式。
%(levelname)s表示記錄日誌的級別。
%(message)s表示記錄日誌的具體內容。
日誌對象初始化
def initLog():
logger = logging.getLogger()
handler = logging.FileHandler("日誌保存路徑")
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel
寫日誌
logging.getLogger().info(), logging.getLogger().debug()......
2. 日誌的分析。
（1）我的日誌的內容。(log.txt)
2011-12-12,12:11:31 INFO Client1: 4356175.0 1.32366309133e+12 1.32366309134e+12
2011-12-12,12:11:33 INFO Client1: 4361320.0 1.32366309334e+12 1.32366309336e+12
2011-12-12,12:11:33 INFO Client0: 4361320.0 1.32366309389e+12 1.32366309391e+12
2011-12-12,12:11:39 INFO Client1: 4366364.0 1.32366309934e+12 1.32366309936e+12
2011-12-12,12:11:39 INFO Client0: 4366364.0 1.32366309989e+12 1.32366309991e+12
2011-12-12,12:11:43 INFO Client1: 4371416.0 1.32366310334e+12 1.32366310336e+12
2011-12-12,12:11:43 INFO Client0: 4371416.0 1.32366310389e+12 1.32366310391e+12
2011-12-12,12:11:49 INFO Client1: 4376450.0 1.32366310934e+12 1.32366310936e+12
我需要將上述內容逐行讀出，並將三個時間戳提取出來，然後將其圖形化。
(2) 文件操作以及字元串的分析。
打開文件，讀取出一行日誌。
file = file("日誌路徑"，「r」)
while True:
line = file.readline()
if len(len) == 0:
break;
print line
file.close()
從字元串中提取數據。
字元串操作學習資料：
http://reader.you.com/sharelite?itemId=-4646262544179865983&method=viewSharedItemThroughLink&sharedBy=-1137845767117085734
從上面展示出來的日誌內容可見，主要數據都是用空格分隔，所以需要使用字元串的
split函數對字元串進行分割：
paraList = line.split(),該函數默認的分割符是空格,返回值為一個list。
paraList[3], paraList[4], paraList[5]中分別以字元串形式存儲著我需要的時間戳。
使用float(paraList[3])將字元串轉化為浮點數。
（3）將日誌圖形化。
matplotlib是python的一個繪圖庫。我打算用它來將日誌圖形化。
matplotlib學習資料。
matplotlib的下載與安裝：
http://yexin218.iteye.com/blog/645894
http://blog.csdn.Net/sharkw/article/details/1924949
對matplotlib的宏觀介紹：
http://apps.hi..com/share/detail/21928578
對matplotlib具體使用的詳細介紹：
http://blog.sina.com.cn/s/blog_4b5039210100ie6a.html
在matplotlib中設置線條的顏色和形狀：
http://blog.csdn.net/kkxgx/article/details/python
如果想對matplotlib有一個全面的了解，就需要閱讀教程《Matplotlib for Python developers》,教程下載地址:
http://download.csdn.net/detail/nmgfrank/4006691
使用實例
import matplotlib.pyplot as plt
listX = [] #保存X軸數據
listY = [] #保存Y軸數據
listY1 = [] #保存Y軸數據
file = file("../log.txt","r")#打開日誌文件
while True:
line = file.readline()#讀取一行日誌
if len(line) == 0:#如果到達日誌末尾，退出
break
paraList = line.split()
print paraList[2]
print paraList[3]
print paraList[4]
print paraList[5]
if paraList[2] == "Client0:": #在坐標圖中添加兩個點，它們的X軸數值是相同的
listX.append(float(paraList[3]))
listY.append(float(paraList[5]) - float(paraList[3]))
listY1.append(float(paraList[4]) - float(paraList[3]))
file.close()
plt.plot(listX,listY,'bo-',listX,listY1,'ro')#畫圖
plt.title('tile')#設置所繪圖像的標題
plt.xlabel('time in sec')#設置x軸名稱
plt.ylabel('delays in ms'')#設置y軸名稱
plt.show()
9. 如何把數據寫入日誌里（python）
#coding=utf-8
def initlog():
import logging
# 生成一個日誌對象
logger = logging.getLogger()
# 生成一個Handler。logging支持許多Handler，
# 象FileHandler, SocketHandler, SMTPHandler等，我由於要寫
# 文件就使用了FileHandler。
# logfile是一個全局變數，它就是一個文件名，如：'crawl.log'
logfile = 'test.log'
hdlr = logging.FileHandler(logfile)
# 成一個格式器，用於規范日誌的輸出格式。如果沒有這行代碼，那麼預設的
# 格式就是："%(message)s"。也就是寫日誌時，信息是什麼日誌中就是什麼，
# 沒有日期，沒有信息級別等信息。logging支持許多種替換值，詳細請看
# Formatter的文檔說明。這里有三項：時間，信息級別，日誌信息
formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
# 將格式器設置到處理器上
hdlr.setFormatter(formatter)
# 將處理器加到日誌對象上
logger.addHandler(hdlr)
# 設置日誌信息輸出的級別。logging提供多種級別的日誌信息，如：NOTSET,
# DEBUG, INFO, WARNING, ERROR, CRITICAL等。每個級別都對應一個數值。
# 如果不執行此句，預設為30(WARNING)。可以執行：logging.getLevelName
# (logger.getEffectiveLevel())來查看預設的日誌級別。日誌對象對於不同
# 的級別信息提供不同的函數進行輸出，如：info(), error(), debug()等。當
# 寫入日誌時，小於指定級別的信息將被忽略。因此為了輸出想要的日誌級別一定
# 要設置好此參數。這里我設為NOTSET（值為0），也就是想輸出所有信息
logger.setLevel(logging.NOTSET)
return logger
logging=initlog()
logging.info(u'注冊')
10. python 分析系統日誌
這個不用做計劃任務。直接用tail -f 文件名|grep executing too slow
這樣就可以了。然後wc統計行數。
如果你一定要用python做。就使用文件對象中的seek方法，移到上次處理的位置。