python多个文件logging

A. python - 日志记录模块(logging)的二次封装

上篇文章 对logging做了基本介绍，我们可以使用logging来做日志的简单记录。但实际项目应用时，我们一般会根据自身需要对其做二次封装(loggingV2)，然后在其他python文件中, 先import申明后直接调用。

废话不多说，下面给几个二次封装的简单示例：

示例一：

loggingV2.py - 封装

logMain.py - 应用

示例二：

    对上述示例进行 模块化封局凳装 ，如下log.py

则任何声明了log模块的python文件都可以调用logging日志系统，如下logMain.py

示例三：

    对上述示例进行 定制化封装 ，如下myLog.py

    需求：

    1）同时实现终端显示与日志文件保存

    2）日志文件名除日期外，增加显示时间，精确到秒

    3）日志输出级别可配置

    4）日志保存路径与文件名可配置

    5）日志跨天(或者小时/分钟)，另生成新文件保存

改写logMain.py，如下：

示例四：

    对上述示例进行 异步线程封装 ，如下myThreadLog.py

    需求：

        1）独立线程处理日志，不影响主程序性能

        2）使用队列缓嫌异步处理日志记录

 继续改写logMain.py，如下：

    注意 - 线程相关操作函数(如下)：

        1.threading.Thread() — 创建线程并初始化线程，可以为线程传递参数

        2.threading.enumerate() — 返回一个包含正在运行的线程的list

        3.threading.activeCount(): 返回正桐哪旅在运行的线程数量，与len(threading.enumerate())有相同的结果

        4.Thread.start() — 启动线程

        5.Thread.join() — 阻塞函数，一直等到线程结束

        6.Thread.isAlive() — 返回线程活动状态

        7.Thread.setName() — 设置线程名

        8.Thread.getName() — 获取线程名

        9.Thread.setDaemon() — 设置为后台线程，这里默认是False，设置为True之后则主线程不会再等待子线程结束才结束，而是主线程结束意味程序退出，子线程也立即结束，注意调用时必须设置在start()之前；

        10.除了以上常用函数，线程还经常与互斥锁Lock/事件Event/信号量Condition/队列Queue等函数配合使用

B. 如何动态修改python logging配置文件

配置文件:

#Configuration for log output
#Naiveloafer
#2012-06-04

[loggers]
keys=root,xzs

[handlers]
keys=consoleHandler,fileHandler,rotatingFileHandler

[formatters]
keys=simpleFmt

[logger_root]
level=DEBUG
#handlers=consoleHandler
#handlers=fileHandler
handlers=rotatingFileHandler

[logger_xzs]
level=DEBUG
handlers=rotatingFileHandler
qualname=xzs
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFmt
args=(sys.stdout,)

[handler_fileHandler]
class=FileHandler
level=DEBUG
formatter=simpleFmt
args=("../log/p2pplayer.log", "a")

[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=DEBUG
formatter=simpleFmt
args=("../log/p2pplayer.log", "a", 20*1024*1024, 10)

[formatter_simpleFmt]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s - [%(filename)s:%(lineno)s]
datefmt=

测试代码:

def log_test02():
import logging
import logging.config
CONF_LOG = "../conf/p2pplayer_logging.conf"
logging.config.fileConfig(CONF_LOG); # 采用配置文件
logger = logging.getLogger("xzs")
logger.debug("Hello xzs")

logger = logging.getLogger()
logger.info("Hello root")

if __name__ == "__main__":
log_test02()

输出：

2012-06-04 15:28:05,751 - xzs - DEBUG - Hello xzs - [xlog.py:29]
2012-06-04 15:28:05,751 - root - INFO - Hello root - [xlog.py:32]

具体就不详细说明了，总之是能够运行的，这个文件配置搞了我两天时间。

特别是class=XXXX要注意！！！

C. python 多线程logger问题

因为logging是threadsafe的，但不是process-safe（应该没有这个词儿，只是为了便于理解）的。这段代码就是多个进程共同操作一个日志文件。这种情况下，logging的行为就很难说了。

我测试了一下，日志中大概几百行。而且，可以看到一些顺序错乱现象：

Fri, 08 Aug 2014 01:19:38 logging_in_multithread.py[line:40] theadWorking ERROR 2
FFri, 08 Aug 2014 01:19:36 logging_in_multithread.py[line:40] theadWorking ERROR 11（注意这里的FFri）

把代码这样改：

fornuminrange(processNum):
p=Process(target=processWorking,args=('2',))
processs.append(p)
p.start()
p.join()

还有其他方法，比如：为logging实现一个FileHandler，以使logging在multiple process的环境下也能正常工作。这是我从网上了解到的做法，自己还没实践过。

Python Manual中logging Cookbook中有这么一段话：

Logging to a single file from multiple processes

Although logging is thread-safe, and logging to a single file from multiple threads in a single process is supported, logging to a single file from multiple processes is not supported, because there is no standard way to serialize access to a single file across multiple processes in Python. If you need to log to a single file from multiple processes, one way of doing this is to have all the processes log to a SocketHandler, and have a separate process which implements a socket server which reads from the socket and logs to file. (If you prefer, you can dedicate one thread in one of the existing processes to perform this function.)

这段话中也提出了另外一种解决方案。

D. python里的logging怎么写多个文件

an example:

#coding:utf-8
#filename:cfg/logger.yml

version:1
formatters:
simple:
format:'%(asctime)s-%(name)s-%(levelname)s-%(message)s'
consolefmt:
format:'%(name)s-%(levelname)s-%(message)s'
handlers:
console:
class:logging.StreamHandler
formatter:consolefmt
level:WARNING
stream:ext://sys.stdout
ownerloggerfile:
class:logging.handlers.RotatingFileHandler
formatter:simple
level:INFO
filename:log/billingcodeowner.log
maxBytes:1048576
backupCount:3
phnloggerfile:
class:logging.handlers.RotatingFileHandler
formatter:simple
level:INFO
filename:log/phnparser.log
maxBytes:1048576
backupCount:3
loggers:
billingcodeowner:
level:DEBUG
handlers:[ownerloggerfile]
propagate:no
phoneparser:
level:DEBUG
handlers:[console,phnloggerfile]
propagate:no
root:
level:DEBUG
handlers:[console,phnloggerfile]

usage in python application:

importlogging
importlogging.config
importcodecs
importyaml

logging.config.dictConfig(codecs.open("cfg/logger.yml",'r','utf-8').read())
logger=logging.getLogger("billingcodeowner")

E. python logging 问题

请参考我下面的代码以及对应的 log，看上去没有问题，我怀疑是 log config 的问题

importlogging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s%(filename)s[line:%(lineno)d]%(message)s',
datefmt='%a,%d%b%Y%H:%M:%S',
filename='log.log',
filemode='w')
classA:
def__init__(self):
logging.info('A')
__c=C()
__d=D()

classB:
def__init__(self):
logging.info('B')

classC:
def__init__(self):
logging.info('C')
__e=E()
__f=F()

classD:
def__init__(self):
logging.info('D')

classE:
def__init__(self):
logging.info('E')

classF:
def__init__(self):
logging.info('F')

if__name__=='__main__':
a=A()
b=B()

F. 多进程环境python logging打印日志混乱问题

解决办法如下：

多么痛的领悟，困扰了这么久的问题其实就是一个参数配置错了。
fileMode：表示日志文件的打开方式。w-直接写，使用这个配置当系统重启的时候日志会清空，一个进程打开后其他进程是无法使用的；a-尾部追加，大家都可以打开往文件结尾进行追加写入。

本人主语言是java，转到python后日志这块踩了几个坑。再说说另外一个坑，就是异常堆栈的打印问题，在java中logger是可以使用error直接打印出来的。在python中error跟其他日志记录方法没太大差别，是无法打印异常堆栈的，打印堆栈请使用 logger.exception("异常说明", e) 。

G. python程序中logging怎么用

简单将日志打印到屏幕：

[python] view plain
import logging
logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')

输出：

WARNING:root:warning message
ERROR:root:error message
CRITICAL:root:critical message

可见，默认情况下Python的
logging模块将日志打印到了标准输出中，且只显示了大于等于WARNING级别的日志，这说明默认的日志级别设置为WARNING（日志级别等级
CRITICAL > ERROR > WARNING > INFO > DEBUG >
NOTSET），默认的日志格式为日志级别：Logger名称：用户输出消息。

灵活配置日志级别，日志格式，输出位置

[python] view plain
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='/tmp/test.log',
filemode='w')

logging.debug('debug message')
logging.info('info message')
logging.warning('warning message')
logging.error('error message')
logging.critical('critical message')
查看输出：
cat /tmp/test.log
Mon, 05 May 2014 16:29:53 test_logging.py[line:9] DEBUG debug message
Mon, 05 May 2014 16:29:53 test_logging.py[line:10] INFO info message
Mon, 05 May 2014 16:29:53 test_logging.py[line:11] WARNING warning message
Mon, 05 May 2014 16:29:53 test_logging.py[line:12] ERROR error message
Mon, 05 May 2014 16:29:53 test_logging.py[line:13] CRITICAL critical message

可见在logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为，可用参数有
filename：用指定的文件名创建FiledHandler（后边会具体讲解handler的概念），这样日志会被存储在指定的文件中。
filemode：文件打开方式，在指定了filename时使用这个参数，默认值为“a”还可指定为“w”。
format：指定handler使用的日志显示格式。
datefmt：指定日期时间格式。
level：设置rootlogger（后边会讲解具体概念）的日志级别
stream：用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件，默认为sys.stderr。若同时列出了filename和stream两个参数，则stream参数会被忽略。

format参数中可能用到的格式化串：
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(mole)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

H. logging：多线程调试时用来代替print和单步调试

当你要写多线程项目时，不免要调试错误，要debug。

一般debug的工具就是打印函数print, 调试工具gdb进行单步调试，但是多线程时，单步调试就很鸡肋了，这时就需要打印日志了

没错，打印日志无疑是调试多线程工程的高效工具了。

在python中开发，就要用到logging日志库了

logging库已经封装好日志需要的基本功能，能够实现在文件里，在命令行等写日志

还能输出日志信息的类型，如debug,warning,error等

细节在这里有所介绍：

https://docs.python.org/3/howto/logging.html

文本介绍一下，第一次使用logging时，要熟悉logging时，需要用一个非常简单的例子

先看一个最简单的例子:

运行以上代码:

printed out on the console. The INFO message doesn’t appear because the default level is WARNING . The printed message includes the indication of the level and the description of the event provided in the logging call, i.e. ‘Watch out!’. Don’t worry about the ‘root’ part for now: it will be explained later. The actual output can be formatted quite flexibly if you need that; formatting options will also be explained later.

输出结果为：

如果你想每次都在一个新的日志文件中写日志，那么使用filemode='w'参数：

分别在main 函数里，在mylib.py里写日志

运行后的输出：

以上代码会显示：

该 format参数的值

以上代码会显示：

还是该format:

以上代码会输出

如果想自己设定时间的格式：

会这样显示：

logging库中用了模块化的思路，把日志的整体功能用了4个基本的模块来完成：

Loggers,Handlers,Filters,Formatters

其中,Handlers,主要配置将信息写到命令行，还是写到文件里。

Filters,是对信息本身的过滤，决定那些信息不写，那些信息写。

Formatters决定信息输出的格式。比如是否输出时间，是否输出logger本身的名字等，决定那些信息在前，那些信息在后等。

Logger就是Handler,Filter,Formatter配置的一个日志对象了。

下面我们逐个说一下这4个类：

它有三个功能，1 提供分级日志的输出，比如 WARNING，ERROR，INFO等不同等级。2. 它可以决定哪些信息输出，哪些信息不输出。3 它可以将一条信息发给命令行和文件，可以把一条信息发给多个handler去处理。

logger 最常用的成员方法大概分两类：配置和信息发送

以下是常用的配置函数：

Logger.setLevel() 设定信息记录的等级。如果一条信息的等级比我们设定的低，那么就不对此条信息进行处理。信息一共分为：DEBUG,INFO,WARNING,ERROR,CRITICAL 五个级别，其中DEBUG是最低的等级，CRITICAL是最高的等级。

Logger.addHandler() 和 Logger.removeHandler(),添加或者删除信息处理器Handler。这个信息处理器就是定义了将日志写入命令行，还是写入文件，或者写入邮件等。

Logger.addFilter() 和 Logger.removeFilter() .添加或者删除信息过滤器Filter。这个信息过滤器，决定了哪些信息不显示。

可以看到，信息过滤器，信息处理器，信息等级共同配置了logger.

并不是每个logger你都需要去配置一遍，你可以利用logger的继承机制，只配置父logger.

一旦配置好logger之后，就可以用以下函数来在你自己代码的任意位置来记录日志了。

Logger.debug(),Logger.info(),Logger.warning(),Logger.error()和Logger.critical.这些函数的功能都是建立了日志记录信息，不同的是，函数名字就代表了其建立的日志信息的等级。

Logger.exeception()建立一个与Logger.error()比较相似的信息。但是Logger.exception()是放入一个追踪盏里面的。所以，只有在exception handler处理器中，才能使用它。

Logger.log()发送一个LOG 等级的信息，使用LOG等级的信息稍微繁琐些，因为使用LOG等级可以自定义等级。

getLogger() 返回一个logger的引用，如果指定了名字，那么返回特定名字对应的logger,如果没有指定名字，那就返回一个名字为root的loger的引用名字root,或者你指定的名字是一种级连结构。用同样的名字去调用getLogger(),会得到同样的值。logger的名字也决定了logger在树结构中的层级。例如：这里有一个logger的名字为foo,那么foo.bar,foo.bar.baz,还有foo.bam都是foo的子孙，logger还有一个有效等级level的概念。这个有效等级其实就是决定debug,info,warning等不同类型的消息是否进行记录。因为logger本身有了父子那样的继承关系，所以有效等级level也是可以继承的。如果子logger没有设定了自身的level,那么就把父logger的level继承过来使用。如果子logger本身设定了level,就用自身这个level.如果父logger仍然没有设定level,那就看父logger的父logger,一直这么追述下去，就会追述到root上，所以，我们必须给root设定一个level,或者默认一个level,方便root的子logger去继承。我们给root设定的默认levle为WARNING.如果有些日志的level,相比我们设定的WARNING低，那么它就不会被传递给Handler去处理，就不会被打印出来，或者记录进日志文件。另外logger的属性也是可继承的，所以就只配置一下root logger即可,没有root logger时，只用配置一个相对的那个根logger就行了

handler 信息处理器是负责信息分发给不同的目的地的，这个目的地可能是命令行，也可能是文件，或者邮件。分发时，同样要检查信息本身的等级severity.一个logger可以用addHandler()函数添加0个或者多个handlers。比如有这样一个场景，希望发送所有的log等级的信息到一个log文件内。所有的等级为错误的信息到stdout 标准输出上，发送所有的critical信息到邮件上。这样的场景需要3个不同的处理器,每个处理器负责发送相应等级的信息到相应的目的地。

标准库里包含一些处理器类型，本教程主要使用StreamHandler 和 FileHandler两种信息处理器。

处理器中的成员函数非常少，我们用来配置处理器的成员函数大概有这个几个：

setLevel()，用来设置处理器处理的信息等级。注意到logger中有setLevel(),而处理器中也有setLevel(),也就是说，logger把信息通过信息等级过滤一遍后，logger内的处理器需要根据处理器自身的功能设定，再根据信息等级来过滤一遍。

setFormatter() 为处理器设定一种信心记录的格式Formatter

addFilter() removeFilter()函数添加信息过滤器或者删除信息过滤器的函数。

到这里，我们发现，logger类中，将信息发送到不同的目的地就依赖Handlers实现的，

所有Handler就需要用Formatter和Filter来配置一下。接下来，我们看看Formatter和Filter.

它决定了信息显示的顺序，结构和内容。可以直接操作formatter的相关类，也可以自己继承 formatter类，去完成自己的设定。formatter的构造函数需要3个可选的参数：字符串格式的信息，日期，一个符号。

logging.Formatter.__init__(fmt=None,datafmt=None,style='%')

如果这里没有设定参数，就使用默认参数。对于fmt来说，就显示原来信息，对于datafmt来说，就以年-月-日 时：分：秒的合适显示。

下面的fmt就定义了一个按照 时间-信息等级-信息本身 来记录日志的方法：

这里有三种方法：

写代码配置logging的例子：

运行结果为:

写配置文件配置logging的例子：

代码中所需要的配置文件ogging.conf的具体内容为 :

以上代码的输出为:

显然，配置文件修改起来相对容易很多。

还有更方便的配置方式，使用字典来配置：

运行结果与上面一样。

到这里，基本完成了logging库的比较常用的使用方式。

比如在什么情况下，需要使用一个什么都不做的处理器NullHandler(),

还有关于信息等级的更详细的解释：

以及如何自定义信息等级。

还有关于异常的处理

还有关于信息的，信息都是字符串的。不过你也可以直接把某个类作为信息抛出来，因为类会自动调用其__str__()函数，返回一个类的字符串回来。

还有就是优化性能的一些小技巧

这里就编写expensive_func1 和 expensive_func2 来完成设定数据格式。

以下表格也显示了如何收集运行log的代码文件信息，线程信息，进程信息，处理器信息

以及如何操作才能收集代码文件信息，线程信息，进程信息，以及处理器信息。

我们一般会使用收集代码文件，线程，进程等信息，因为这样大大方便了多线程多进程工程的调试。

I. python logging 意图：根据运行的不同时间来创建log文件，而不是固定命名，如：2013-06-13.log

原生loggging类+TimedRotatingFileHandler类实现按dayhoursecond切分
importlogging
fromlogging.
log=logging.getLogger(loggerName)
formatter=logging.Formatter('%(name)-12s%(asctime)slevel-%(levelname)-8sthread-%(thread)-8d%(message)s')#每行日志的前缀设置
fileTimeHandler=TimedRotatingFileHandler(BASIC_LOG_PATH+filename,"S",1,10)
fileTimeHandler.suffix="%Y%m%d.log"#设置切分后日志文件名的时间格式默认filename+"."+suffix如果需要更改需要改logging源码
fileTimeHandler.setFormatter(formatter)
logging.basicConfig(level=logging.INFO)
fileTimeHandler.setFormatter(formatter)
log.addHandler(fileTimeHandler)
try:
log.error(msg)
exceptException,e:
print"writeLogerror"
finally:
log.removeHandler(fileTimeHandler)

值 interval的类型
S 秒
M 分钟
H 小时
D 天
W 周
midnight 在午夜