python报文解析

Ⅰ 如何使用python解析超大XML文档

在工作时最有吸引力的地方在于可以尽量避免使用昔日的技术。主机、租用线路、COBOL语言......没有人应该要处理这些东西了，对不对？不幸的是，你最终会与现实发生冲突，即使是2014年，大家都知道JSON是最好的方式，你的票务供应商（你无法控制的）会告诉你，只有使用XML导出才能让大容量的数据输出他们的系统。
唉~~~~，好,很好,无所谓。这只是一次性的事情,我不需要照顾和养活这个XML,我只需要解析它并将数据保存到Postgres中,我们就可以利用它。不应该太困难,我需要写一点python脚本…
import xml.etree.cElementTree as ET
tree = ET.parse('huge.xml')
for ticket_node in tree.findall('ticket'):
#etc...
......这将工作的非常好，如果我们谈论的是一个几MB的XML文档，但是如果遇到的是huge.xml它是1.3GB的巨大文档，这种方法只会融化你的笔记本电脑（以16GB的MacBookPro，一旦python的过程花了超过约3GB的内存，系统变得几乎完全反应迟钝，并且它几乎还没有完成）。回到原点。
首先让我们快速浏览一下我们的数据。
<?xml version="1.0" encoding="UTF-8"?>
<tickets report_date="20140217">
<ticket>
<!-- various ticket fields, some of which I want -->
<comments type="array">
<comment>
<!-- various comment fields, some of which I want -->
</comment>
<!-- possibly more comment tags -->
</comments>
</ticket>
<!-- many, many ticket tags -->
</tickets>
不是很复杂，作为一个整体它不是一个真正的文件中，<ticket>节点只是一个列表，每一类又是一个小文件，我想挑出几部分出来。我不需要做针对树的任何复杂的遍历，只是希望从每个<ticket>节点获得一些数据然后把它扔掉再读下一个。原来ElementTree的对眼前这个场景提供了一个工具：iterparse()。让我们再试一次：
import xml.etree.cElementTree as ET
for event, element in ET.iterparse('huge.xml'):
if event == 'end' and element.tag == 'ticket':
#process ticket...
…什么? !我的笔记本电脑又融化了!跟parse-the-whole-file的方法一样使用了完全相同的内存(和系统响应能力)。到底发生了什么事?
好吧,稍微google了一下，google告诉我,当iterparse()读取元素时,它仍然是在内存中建立了一个完整的文档树，就像我一开始使用parse()方法一样。几个博客和stackoverflow的答案推荐添加element.clear()方法在循环结束时清理你不需要的对象,可以限制内存消耗。我拯救了你的麻烦:它不工作。其他博客,so的答案,甚至一个IBM白皮书表明需要在循环结束时进行更彻底的清扫工作结束:
import lxml.etree as ET #the IBM piece used lxml but I tried cElementTree also
for event, element in ET.iterparse('huge.xml'):
if event == 'end' and element.tag == 'ticket':
#process ticket...
element.clear()
while elem.getprevious() is not None:
del elem.getparent()[0]
......哎呀！我溶化了另一台笔记本电脑！
为什么不工作？坦率地说，我不知道。
我稍微离题一下来说说为什么我爱Python。作为一个DBA和系统工程师，我面对着大量的一次性编程挑战。移动这个从这里到那里、Munge数据、将数据从这里迁移到哪里。这种类型的挑战是非常适合于蛮力编程解决问题的这种方式。总之，有时是不值得在建立一个优雅的、易于维护的解决方案上花费任何时间。有时候，你只需要解决这个问题，然后忘掉它。 在处理这类问题上Python最棒的，简洁的语法、良好的设计理念、丰富的库都有助于这个工具，很容易快速解决您碰到的任何问题。即使速度比同等的Java解决方案的10倍还慢，如果需要5分钟的时间写而不是5小时，我更愿意使用python，因为人类工时比CPU工时更有价值。
所有这一切都证明下述方式解决了我的问题，而不会融化的笔记本电脑：
import xml.etree.cElementTree as ET
def process_buffer(buf):
tnode = ET.fromstring(buf)
#pull it apart and stick it in the database
inputbuffer = ''
with open('huge.xml','rb') as inputfile:
append = False
for line in inputfile:
if '<ticket>' in line:
inputbuffer = line
append = True
elif '</ticket>' in line:
inputbuffer += line
append = False
process_buffer(inputbuffer)
inputbuffer = None
del inputbuffer #probably rendant...
elif append:
inputbuffer += line
不是最优雅，或有效率，或者通用的解决方案，但它可以工作。刚刚看了手边的手册，利用其结构的简单性，在解析之前根据xml文件的内容将它切成可管理的块，然后解析和处理每个块，终于可以确保不再需要更长的时间来把它全部处理完。

Ⅱ Python 解析WEB上的JSON数据

python有个包是json的：

#!/usr/local/bin/python
#coding=utf-8
importos
importjsonRes='[{"brief":"ooooo","class_extid":13,"create_time":1131783174,"face_id":4,"flag":6777217,"flag_ext":0,"level":0,"max_member":100,"memo":"m~F~M0m~Zm~@~B","name":"10502","option":2,"ul":[{"flag":4,"u":285},{"flag":4,"u":35}]}]'
qDic=json.loads(Res)
foriinqDic:
printi["class_extid"]
forjini["ul"]:
printstr(j["flag"])+"==="+str(j["u"])

这是一段代码，试着自己改写下。

Ⅲ Python 怎么解析 xml字符串

1. 我上面这段xml代码，一开始没有注意看，在每一个元素的结尾元素中都含有转义符，这就是为什么我用xml解析插件时一直保报错的原因，因为他不是正规的xml格式。我的方法是用正则替换掉：re.sub(r'(<)\\(/.+?>)',r'\g<1>\g<2>',f_xml) 对于Python中的正则re的sub用法
2. 处理成正规的xml格式后，我这里还是用ElementTree来解析的，但在加载时又报错：
cElementTree.ParseError: XML or text declaration not at start of entity: line 2, column 0
这个错误我在网上没有找到合适的答案，不过根据字面意思来解决，就是在开头的地方有错误。这里我尝试这吧xml的文档声明给去掉了，居然没有报错。这里有些不理解为什么不能加？ 我的方法：f_xml=test_xml.replace('<?xml version="1.0" encoding="gbk"?>','')
3. 然后再加载，就能获取到相应的节点了。

Ⅳ Python网络请求和解析json数据

Python 的 json 模块提供了两个函数 json.mps() 和 json.loads() 来编码和解码JSON数据。

如果要处理的是文件而不是字符串，可以使用 json.mp() 和 json.load() 来编码和解码JSON数据。例如：

Ⅳ python3.0怎么用json从文件解析

1、说明：
python3通过json模块load函数来解析文件。
2、代码示例：
首先编写一个json文件j.txt,内容如下：
{"errno":1,"errmsg":"操作成功！","data":[]}
python代码如下：

importjson
withopen('j.txt','r')asfr:
o=json.load(fr)
print(o['errno'])
print(o['errmsg'])
print(len(o['data']))

输出如下：
1
操作成功！
0
3、函数说明：
load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)
反序列化fp（一个.read（）包含 - 支持类文件对象一个JSON文件），以一个Python对象。
object_hook是将与被调用的可选功能任何对象文本解码（一个``dict``）的结果。返回值object_hook将用来代替dict。此功能可用于实现自定义解码器（例如JSON-RPC级提示）。
object_pairs_hook是将与被调用的可选功能任何对象的结果与对的有序列表字面解码。该的返回值object_pairs_hook将用来代替dict。
此功能可用于实现依赖于定制解码器命令该键和值对被解码（例如，collections.OrderedDict会记得插入的顺序）。如果object_hook也定义了object_pairs_hook优先。
要使用自定义JSONDecoder子类，与cls指定它kwarg;否则JSONDecoder使用。
4、其它说明：
也可以使用json.loads函数来直接处理字符串，方法如下：
o=json.loads('{"errno":0,"errmsg":"操作成功！","data":[]}')