淘寶python
發布時間: 2023-11-25 01:05:11
① 怎樣用python抓取淘寶評論
#coding=utf-8
importurllib2
importsys
importjson
importre
#設置系統默認編碼為utf-8
reload(sys)
sys.setdefaultencoding("utf-8")
#Onlyforpython2
'''
只是簡單的示例,沒有檢查無評論的情況,其它異常也可能沒有檢查,
你可以根據自己的需要再對代碼修改
'''
#解析網頁數據
defparseData(html_data,reg_str):
pattern=re.compile(reg_str)
result=re.search(pattern,html_data)
ifresult:
returnresult.groups()
#commodity_url為商品詳情頁面
commodity_url="http://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-9140345655.2.y3LCj0&id=44454286657"
html_data=urllib2.urlopen(commodity_url).read()
#獲取用戶ID和商品ID
auction_msg=parseData(html_data,r'userNumId=(.*?)&auctionNumId=(.*?)&')
ifnotauction_msg:
print"Getreviewsfailed!"#獲取失敗,退出
sys.exit()
reviews_url="http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list¤tPageNum=1&rateType=&orderType=sort_weight&userNumId=%s&auctionNumId=%s"%auction_msg
response=urllib2.urlopen(reviews_url)
reviews_data=response.read().decode("gbk")
#獲取評論數據
json_str=parseData(reviews_data,r'((.*))')[0]
ifnotjson_str:
print"Getreviewsfailed!"#獲取失敗,退出
sys.exit()
jdata=json.loads(json_str)
#下面只列印了第一條評論,如需要列印所有,則遍歷jdata["comments"]即可
printjdata["comments"][0]["content"]
② 如何用python寫一個爬蟲統計淘寶某件商品的銷量
如何寫?用python爬蟲!
源碼附上:
爬取淘寶銷量統計數據
③ 如何用python實現淘寶搜索商品並點擊進入商品頁面
這個和用不用python沒啥關系,是數據來源的問題。 調用淘寶API,使用 api相關介面獲得你想要的內容,我 記得api中有相關的介面,你可以看一下介面的說明。 用python做爬蟲來進行頁面數據的獲齲 希望能幫到你。
④ 如何用python抓取淘寶京東網頁所有審查元素,不是源代碼
審查元素顯示的其實就是格式化之後的源代碼,你可以用對比一下。
下面是一個Python3使用urllib庫讀取源代碼的例子,如果要處理成審查元素那樣的格式,需要對html標簽逐個處理下
importhttp.cookiejar
importurllib.request
ckjar=http.cookiejar.MozillaCookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(ckjar))
res=opener.open("http://jd.com")
htm=res.read().decode('gbk')
print(htm)
熱點內容