源碼爬取工具
㈠ 如何通過網路爬蟲獲取網站數據
這里以python為例，簡單介紹一下如何通過python網路爬蟲獲取網站數據，主要分為靜態網頁數據的爬埋山差取和動態網頁數據的爬取，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
靜態網頁數據
這里的數據都嵌套在網頁源碼中，所以直接requests網頁源碼進行解析就行，下面我簡單介紹一下，這里以爬取糗事網路上的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的欄位包括昵稱、內容、好笑數和評論數：
接著查看網頁源碼，如下，可以看的出來，所有的數據都嵌套在網頁中：
2.然後針對以上網頁結構，我們就可以直接編寫爬蟲代碼，解析網頁並提取出我們需要的數據了，測試代碼如下，非常簡單，主要用到requests+BeautifulSoup組合，其中requests用於獲取網頁源碼，BeautifulSoup用於解析網頁提取數據：
點擊運行這個程序，效果如下，已經成功爬取了到我們需要的數據：
動態網頁數據
這里的數據都沒有在網頁源碼中（所以直接請求頁面是獲取不到任何數據的），大部分情況下都是存儲在一唯唯個json文件中，只有在網頁更新的時候，才會載入數據，下面我簡單介紹一下這種方式，這里以爬取人人貸上面的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的數據包括年利率，借款標題，期限，金額和進度：
接著按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找打動態載入的json文件，如下，也就是我們需要爬彎皮取的數據：
2.然後就是根據這個json文件編寫對應代碼解析出我們需要的欄位信息，測試代碼如下，也非常簡單，主要用到requests+json組合，其中requests用於請求json文件，json用於解析json文件提取數據：
點擊運行這個程序，效果如下，已經成功爬取到我們需要的數據：
至此，我們就完成了利用python網路爬蟲來獲取網站數據。總的來說，整個過程非常簡單，python內置了許多網路爬蟲包和框架（scrapy等），可以快速獲取網站數據，非常適合初學者學習和掌握，只要你有一定的爬蟲基礎，熟悉一下上面的流程和代碼，很快就能掌握的，當然，你也可以使用現成的爬蟲軟體，像八爪魚、後羿等也都可以，網上也有相關教程和資料，非常豐富，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。
㈡ 如何用用網路爬蟲代碼爬取任意網站的任意一段文字
網路爬蟲是一種自動化的程序，可以自動地訪問網站並抓取網頁內容。要用網路爬蟲代碼爬取任意網站的任肢哪意一段文字，可以按照如下步驟進行：
准備工作：需要了解目標網站的結構，以及想要爬取的文字所在的網頁的URL。此外，還需要選擇一種編程語言，如Python、Java、C++等，一般建議用PYTHON，因為有完善的工具庫，並准備好相應的編程環境。
確定目標：通過研究目標網站的結構，確定想要爬取的文字所在的網頁的URL。
獲取網頁源代碼：使用編程語言的相應庫歷孫碼（如Python的urllib庫），訪問目標網頁的URL，獲取網頁的源代碼。
解析網頁源代碼：使用編程語言的相應庫（如Python的BeautifulSoup庫），解析網頁源代凱運碼，找到想要爬取的文字所在的HTML標簽。
提取文字：獲取HTML標簽的文本內容，即為所要爬取的文字。
保存結果：將爬取的文字保存到文件中或資料庫中，以便後續使用。
㈢ 如何用python 爬蟲抓取金融數據
獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。
本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。
一、網頁源碼的獲取
很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。
為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。
pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息
其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。
語法 說明
. 匹配任意除換行符「 」外的字元
* 匹配前一個字元0次或無限次
？ 匹配前一個字元0次或一次
s 空白字元：[<空格> fv]
S 非空白字元：[^s]
[...] 字元集，對應的位置可以是字元集中任意字元
(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容
正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。
三、所得結果的整理
通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。
stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')
最後，我們可以列印幾列數據看下效果，代碼如下
print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])
㈣ 開源爬蟲框架各有什麼優缺點
首先爬蟲框架有三種
分布式爬蟲：Nutch
JAVA單機爬蟲：Crawler4j，WebMagic，WebCollector
非JAVA單機爬蟲：scrapy
第一類:分布式爬蟲
優點：
海量URL管理
網速快
缺點：
Nutch是為搜索引擎設計的爬蟲，大多數用戶是需要一個做精準數據爬取（精抽取）的爬蟲。Nutch運行的一套流程里，有三分之二是為了搜索引擎而設計的。對精抽取沒有太大的意義。
用Nutch做數據抽取，會浪費很多的時間在不必要的計算上。而且如果你試圖通過對Nutch進行二次開發，來使得它適用於精抽取的業務，基本上就要破壞Nutch的框架，把Nutch改的面目全非。
Nutch依賴hadoop運行，hadoop本身會消耗很多的時間。如果集群機器數量較少，爬取速度反而不如單機爬蟲。
Nutch雖然有一套插件機制，而且作為亮點宣傳。可以看到一些開源的Nutch插件，提供精抽取的功能。但是開發過Nutch插件的人都知道，Nutch的插件系統有多蹩腳。利用反射的機制來載入和調用插件，使得程序的編寫和調試都變得異常困難，更別說在上面開發一套復雜的精抽取系統了。
Nutch並沒有為精抽取提供相應的插件掛載點。Nutch的插件有隻有五六個掛載點，而這五六個掛載點都是為了搜索引擎服務的，並沒有為精抽取提供掛載點。大多數Nutch的精抽取插件，都是掛載在「頁面解析」(parser)這個掛載點的，這個掛載點其實是為了解析鏈接（為後續爬取提供URL），以及為搜索引擎提供一些易抽取的網頁信息(網頁的meta信息、text)
用Nutch進行爬蟲的二次開發，爬蟲的編寫和調試所需的時間，往往是單機爬蟲所需的十倍時間不止。了解Nutch源碼的學習成本很高，何況是要讓一個團隊的人都讀懂Nutch源碼。調試過程中會出現除程序本身之外的各種問題(hadoop的問題、hbase的問題)。
Nutch2的版本目前並不適合開發。官方現在穩定的Nutch版本是nutch2.2.1，但是這個版本綁定了gora-0.3。Nutch2.3之前、Nutch2.2.1之後的一個版本，這個版本在官方的SVN中不斷更新。而且非常不穩定（一直在修改）。
第二類:JAVA單機爬蟲
優點：
支持多線程。
支持代理。
能過濾重復URL的。
負責遍歷網站和下載頁面。爬js生成的信息和網頁信息抽取模塊有關，往往需要通過模擬瀏覽器(htmlunit,selenium)來完成。
缺點：
設計模式對軟體開發沒有指導性作用。用設計模式來設計爬蟲，只會使得爬蟲的設計更加臃腫。
第三類:非JAVA單機爬蟲
優點：
先說python爬蟲，python可以用30行代碼，完成JAVA
50行代碼乾的任務。python寫代碼的確快，但是在調試代碼的階段，python代碼的調試往往會耗費遠遠多於編碼階段省下的時間。
使用python開發，要保證程序的正確性和穩定性，就需要寫更多的測試模塊。當然如果爬取規模不大、爬取業務不復雜，使用scrapy這種爬蟲也是蠻不錯的，可以輕松完成爬取任務。
缺點：
bug較多，不穩定。
㈤ 如何用Python爬取數據
方法/步驟
在做爬取數據之前，你需要下載安裝兩個東西，一個是urllib,另外一個是python-docx。
7
這個爬下來的是源代碼，如果還需要篩選的話需要自己去添加各種正則表達式。
㈥ python3 怎麼爬取新聞網站
需求：
從門戶網站爬取新聞，將新聞標題，作者，時間，內容保存到本地txt中。
用到的python模塊：
importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題
其中bs4需要自己裝一下，安裝方法可以參考：Windows命令行下pip安裝python whl包
程序：
#coding=utf-8
importre#正則表達式
importbs4#BeautifulSoup4解析模塊
importurllib2#網路訪問模塊
importNews#自己定義的新聞結構
importcodecs#解決編碼問題的關鍵，使用codecs.open打開文件
importsys#1解決不同頁面編碼問題
reload(sys)#2
sys.setdefaultencoding('utf-8')#3
#從首頁獲取所有鏈接
defGetAllUrl(home):
html=urllib2.urlopen(home).read().decode('utf8')
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'
links=soup.find_all('a',href=re.compile(pattern))
forlinkinlinks:
url_set.add(link['href'])
defGetNews(url):
globalNewsCount,MaxNewsCount#全局記錄新聞數量
whilelen(url_set)!=0:
try:
#獲取鏈接
url=url_set.pop()
url_old.add(url)
#獲取代碼
html=urllib2.urlopen(url).read().decode('utf8')
#解析
soup=bs4.BeautifulSoup(html,'html.parser')
pattern='http://w+.jia..com/article/w+'#鏈接匹配規則
links=soup.find_all('a',href=re.compile(pattern))
#獲取URL
forlinkinlinks:
iflink['href']notinurl_old:
url_set.add(link['href'])
#獲取信息
article=News.News()
article.url=url#URL信息
page=soup.find('div',{'id':'page'})
article.title=page.find('h1').get_text()#標題信息
info=page.find('div',{'class':'article-info'})
article.author=info.find('a',{'class':'name'}).get_text()#作者信息
article.date=info.find('span',{'class':'time'}).get_text()#日期信息
article.about=page.find('blockquote').get_text()
pnode=page.find('div',{'class':'article-detail'}).find_all('p')
article.content=''
fornodeinpnode:#獲取文章段落
article.content+=node.get_text()+' '#追加段落信息
SaveNews(article)
printNewsCount
break
exceptExceptionase:
print(e)
continue
else:
print(article.title)
NewsCount+=1
finally:
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break
defSaveNews(Object):
file.write("【"+Object.title+"】"+" ")
file.write(Object.author+" "+Object.date+" ")
file.write(Object.content+" "+" ")
url_set=set()#url集合
url_old=set()#爬過的url集合
NewsCount=0
MaxNewsCount=3
home='http://jia..com/'#起始位置
GetAllUrl(home)
file=codecs.open("D:\test.txt","a+")#文件操作
forurlinurl_set:
GetNews(url)
#判斷數據是否收集完成
ifNewsCount==MaxNewsCount:
break
file.close()
新聞文章結構
#coding:utf-8
#文章類定義
classNews(object):
def__init__(self):
self.url=None
self.title=None
self.author=None
self.date=None
self.about=None
self.content=None
對爬取的文章數量就行統計。