pythondom解析
【導語】對於一個軟體工程開發項目來說，一定是從獲取數據開始的。不管文本怎麼處理，機器學習和數據發掘，都需求數據，除了通過一些途徑購買或許下載的專業數據外，常常需求咱們自己著手爬數據，爬蟲就顯得格外重要，那麼Python編程網頁爬蟲東西集有哪些呢?下面就來給大家一一介紹一下。
1、 Beautiful Soup
客觀的說，Beautifu Soup不完滿是一套爬蟲東西，需求協作urllib運用，而是一套HTML / XML數據分析，清洗和獲取東西。
2、Scrapy
Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同學都有耳聞，課程圖譜中的許多課程都是依託Scrapy抓去的，這方面的介紹文章有許多，引薦大牛pluskid早年的一篇文章：《Scrapy
輕松定製網路爬蟲》，歷久彌新。
3、 Python-Goose
Goose最早是用Java寫得，後來用Scala重寫，是一個Scala項目。Python-Goose用Python重寫，依靠了Beautiful
Soup。給定一個文章的URL, 獲取文章的標題和內容很便利，用起來非常nice。
以上就是Python編程網頁爬蟲工具集介紹，希望對於進行Python編程的大家能有所幫助，當然Python編程學習不止需要進行工具學習，還有很多的編程知識，也需要好好學起來哦，加油!
2. 用python解析XML格式的字元串
你這樣的數據還沒有用正則來的簡單
r'(?<=\<Result\>)(.+?)(?=\</Result\>)'
用XML會比較麻煩：
dom1 = minidom.parseString(xml)
result = dom1.getElementsByTagName("Result")
result = result[0].childNodes[0].nodeValue
3. python十大必學模塊是什麼
這個不能一概而論的，據說python目前高達27萬+個庫，看你學習的方向必學模塊也有不同，簡單列舉：
1、網路通用方面：
urllib-網路庫
requests-網路庫
pycurl– 網路庫
httplib2– 網路庫
RoboBrowser– 瀏覽網頁
MechanicalSoup-一個與網站自動交互Python庫
socket– 底層網路介面
2、爬蟲方面：
grab– 爬蟲框架
scrapy– 網路爬蟲框架，不支持Python3
pyspider–爬蟲系統。
cola– 爬蟲框架
portia– 可視化爬蟲
lxml– 高效HTML/ XML處理庫
cssselect– 解析DOM樹和CSS選擇器。
pyquery– 解析DOM樹和jQuery選擇器。
html5lib– 根據WHATWG規范生成HTML/ XML文檔的DOM
feedparser– 解析RSS/ATOM feeds。
MarkupSafe– 為XML/HTML/XHTML提供了安全轉義的字元串。
xhtml2pdf– 將HTML/CSS轉換為PDF。
untangle– XML文件轉Python對象
xpinyin– 將中國漢字轉為拼音
tablib– 數據導出為XLS、CSV、JSON、等格式的模塊
textract– 從文件中提取文本
messytables– 解析表格數據
rows– 常用數據介面
Office
python-docx– 讀取，查詢和修改docx文件
xlwt/xlrd– 從Excel文件讀取寫入數據和格式信息
PDF
Markdown
Python-Markdown– 一個用Python實現的John Gruber的Markdown。
3、HTML/XML解析方面：
4、文件處理方面：
4. python怎麼獲取網頁上html dom element 對象
可以使用Python自帶的HTMLParser模塊解析HTML文檔：
HTMLParser的核心模塊是org.htmlparser.Parser類，這個類實際完成了對於HTML頁面的分析工作。這個類有下面幾個構造函數：
public Parser ();
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;
public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
和一個靜態類public static Parser createParser (String html, String charset);
5. python怎樣將網頁內容解析成DOM對象
可以使用Python自帶的HTMLParser模塊解析HTML文檔：
HTMLParser的核心模塊是org.htmlparser.Parser類，這個類實際完成了對於HTML頁面的分析工作。這個類有下面幾個構造函數：
public Parser ();
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;
public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
和一個靜態類public static Parser createParser (String html, String charset);
6. python 解析xml需要什麼模塊
Python的標准庫中，提供了6種可以用於處理XML的包。
（1）xml.dom
xml.dom實現的是W3C制定的DOM API。如果你習慣於使用DOM API或者有人要求這這樣做，可以使用這個包。不過要注意，在這個包中，還提供了幾個不同的模塊，各自的性能有所區別。
DOM解析器在任何處理開始之前，必須把基於XML文件生成的樹狀數據放在內存，所以DOM解析器的內存使用量完全根據輸入資料的大小。
（2）xml.dom.minidom
xml.dom.minidom是DOM API的極簡化實現，比完整版的DOM要簡單的多，而且這個包也小的多。那些不熟悉DOM的朋友，應該考慮使用xml.etree.ElementTree模塊。據lxml的作者評價，這個模塊使用起來並不方便，效率也不高，而且還容易出現問題。
相關推薦：《Python教程》
（3）xml.dom.pulldom
與其他模塊不同，xml.dom.pulldom模塊提供的是一個「pull解析器」，其背後的基本概念指的是從XML流中pull事件，然後進行處理。雖然與SAX一樣採用事件驅動模型（event-driven processing model），但是不同的是，使用pull解析器時，使用者需要明確地從XML流中pull事件，並對這些事件遍歷處理，直到處理完成或者出現錯誤。
pull解析（pull parsing）是近來興起的一種XML處理趨勢。此前諸如SAX和DOM這些流行的XML解析框架，都是push-based，也就是說對解析工作的控制權，掌握在解析器的手中。
（4）xml.sax
xml.sax模塊實現的是SAX API，這個模塊犧牲了便捷性來換取速度和內存佔用。SAX是Simple API for XML的縮寫，它並不是由W3C官方所提出的標准。它是事件驅動的，並不需要一次性讀入整個文檔，而文檔的讀入過程也就是SAX的解析過程。所謂事件驅動，是指一種基於回調（callback）機制的程序運行方法。
（5）xml.parser.expat
xml.parser.expat提供了對C語言編寫的expat解析器的一個直接的、底層API介面。expat介面與SAX類似，也是基於事件回調機制，但是這個介面並不是標准化的，只適用於expat庫。
expat是一個面向流的解析器。您注冊的解析器回調（或handler）功能，然後開始搜索它的文檔。當解析器識別該文件的指定的位置，它會調用該部分相應的處理程序（如果您已經注冊的一個）。該文件被輸送到解析器，會被分割成多個片斷，並分段裝到內存中。因此expat可以解析那些巨大的文件。
（6）xml.etree.ElementTree（以下簡稱ET）
xml.etree.ElementTree模塊提供了一個輕量級、Pythonic的API，同時還有一個高效的C語言實現，即xml.etree.cElementTree。與DOM相比，ET的速度更快，API使用更直接、方便。與SAX相比，ET.iterparse函數同樣提供了按需解析的功能，不會一次性在內存中讀入整個文檔。ET的性能與SAX模塊大致相仿，但是它的API更加高層次，用戶使用起來更加便捷。
建議：在使用Python進行XML解析時，首選使用ET模塊，除非你有其他特別的需求，可能需要另外的模塊來滿足。
7. python xml.dom.minidom.parse
這個函數不是只打開文件，而是讀取整個文件的內容到內存，然後關掉文件。
想釋放讀取到內存的dom節點，可以調用unlink()函數
示例：
dom1=parse('c:\temp\mydata.xml')
dom1.unlink()另外，python是有自動內存回收的。如果一個dom節點變數不再被使用，也會自動釋放。
8. 「python爬蟲保姆級教學」urllib的使用以及頁面解析
使用urllib來獲取網路首頁的源碼
get請求參數，如果是中文，需要對中文進行編碼，如下面這樣，如果不編碼會報錯。
urlencode應用場景：多個參數的時候。如下
為什麼要學習handler？
為什麼需要代理？因為有的網站是禁止爬蟲的，如果用真實的ip去爬蟲，容易被封掉。
2.解析技術
1.安裝lxml庫
2.導入lxml.etree
3.etree.parse() 解析本地文件
4.etree.HTML() 伺服器響應文件
5.解析獲取DOM元素
1.路徑查詢
2.謂詞查詢
3.屬性查詢
4.模糊查詢
5.內容查詢
6.邏輯運算
示例：
JsonPath只能解析本地文件。
pip安裝：
jsonpath的使用：
示例：
解析上面的json數據
缺點：效率沒有lxml的效率高
優點：介面設計人性化，使用方便
pip install bs4 -i https://pypi.douban.com/simple
from bs4 import BeautifulSoup
1.根據標簽名查找節點
soup.a.attrs
2.函數
find(『a』)：只找到第一個a標簽
find(『a』, title=『名字』)
find(『a』, class_=『名字』)
find_all(『a』) ：查找到所有的a
find_all([『a』, 『span』]) 返回所有的a和span
find_all(『a』, limit=2) 只找前兩個a
obj.string
obj.get_text()【推薦】
tag.name：獲取標簽名
tag.attrs：將屬性值作為一個字典返回
obj.attrs.get(『title』)【常用】
obj.get(『title』)
obj[『title』]
示例：
使用BeautifulSoup解析上面的html
9. 如何用python讀取xml文件
一、簡介
XML（eXtensible Markup Language）指可擴展標記語言，被設計用來傳輸和存儲數據，已經日趨成為當前許多新生技術的核心，在不同的領域都有著不同的應用。它是web發展到一定階段的必然產物，既具有SGML的核心特徵，又有著HTML的簡單特性，還具有明確和結構良好等許多新的特性。
python解析XML常見的有三種方法：一是xml.dom.*模塊，它是W3C DOM API的實現，若需要處理DOM API則該模塊很適合，注意xml.dom包裡面有許多模塊，須區分它們間的不同；二是xml.sax.*模塊，它是SAX API的實現，這個模塊犧牲了便捷性來換取速度和內存佔用，SAX是一個基於事件的API，這就意味著它可以「在空中」處理龐大數量的的文檔，不用完全載入進內存；三是xml.etree.ElementTree模塊（簡稱 ET），它提供了輕量級的Python式的API，相對於DOM來說ET 快了很多，而且有很多令人愉悅的API可以使用，相對於SAX來說ET的ET.iterparse也提供了 「在空中」 的處理方式，沒有必要載入整個文檔到內存，ET的性能的平均值和SAX差不多，但是API的效率更高一點而且使用起來很方便。
二、詳解
解析的xml文件（country.xml）：
在CODE上查看代碼片派生到我的代碼片
<?xml version="1.0"?>
<data>
<country name="Singapore">
<rank>4</rank>
<year>2011</year>
<gdppc>59900</gdppc>
<neighbor name="Malaysia" direction="N"/>
</country>
<country name="Panama">
<rank>68</rank>
<year>2011</year>
<gdppc>13600</gdppc>
<neighbor name="Costa Rica" direction="W"/>
<neighbor name="Colombia" direction="E"/>
</country>
</data>
1、xml.etree.ElementTree
ElementTree生來就是為了處理XML，它在Python標准庫中有兩種實現：一種是純Python實現的，如xml.etree.ElementTree，另一種是速度快一點的xml.etree.cElementTree。注意：盡量使用C語言實現的那種，因為它速度更快，而且消耗的內存更少。
在CODE上查看代碼片派生到我的代碼片
try:
import xml.etree.cElementTree as ET
except ImportError:
import xml.etree.ElementTree as ET
這是一個讓Python不同的庫使用相同API的一個比較常用的辦法，而從Python 3.3開始ElementTree模塊會自動尋找可用的C庫來加快速度，所以只需要import xml.etree.ElementTree就可以了。
在CODE上查看代碼片派生到我的代碼片
#!/usr/bin/evn python
#coding:utf-8
try:
import xml.etree.cElementTree as ET
except ImportError:
import xml.etree.ElementTree as ET
import sys
try:
tree = ET.parse("country.xml") #打開xml文檔
#root = ET.fromstring(country_string) #從字元串傳遞xml
root = tree.getroot() #獲得root節點
except Exception, e:
print "Error:cannot parse file:country.xml."
sys.exit(1)
print root.tag, "---", root.attrib
for child in root:
print child.tag, "---", child.attrib
print "*"*10
print root[0][1].text #通過下標訪問
print root[0].tag, root[0].text
print "*"*10
for country in root.findall('country'): #找到root節點下的所有country節點
rank = country.find('rank').text #子節點下節點rank的值
name = country.get('name') #子節點下屬性name的值
print name, rank
#修改xml文件
for country in root.findall('country'):
rank = int(country.find('rank').text)
if rank > 50:
root.remove(country)
tree.write('output.xml')
運行結果：
三、總結
（1）Python中XML解析可用的類庫或模塊有xml、libxml2 、lxml 、xpath等，需要深入了解的還需參考相應的文檔。
（2）每一種解析方式都有自己的優點和缺點，選擇前可以綜合各個方面的性能考慮。
（3）若有不足，請留言，在此先感謝！