python爬蟲保存
㈠ python爬取數據後儲存數據到mysql資料庫後如何覆蓋舊
python爬取數據後儲存數據到mysql資料庫後添加新數據覆蓋舊。
1、先根據PRIMARY_KEY或UNIQUE欄位查詢庫里是否存在數據（select）。
2、如果存在數據，則更改許要更改的欄位（update）。
3、如果不粗在數據，則進行添加新數據（insert）。
㈡ python爬蟲是幹嘛的
爬蟲技術是一種自動化程序。
爬蟲就是一種可以從網頁上抓取數據信息並保存的自動化程序，它的原理就是模擬瀏覽器發送網路請求，接受請求響應，然後按照一定的規則自動抓取互聯網數據。
搜索引擎通過這些爬蟲從一個網站爬到另一個網站，跟蹤網頁中的鏈接，訪問更多的網頁，這個過程稱為爬行，這些新的網址會被存入資料庫等待搜索。簡而言之，爬蟲就是通過不間斷地訪問互聯網，然後從中獲取你指定的信息並返回給你。而我們的互聯網上，隨時都有無數的爬蟲在爬取數據，並返回給使用者。
爬蟲技術的功能
1、獲取網頁
獲取網頁可以簡單理解為向網頁的伺服器發送網路請求，然後伺服器返回給我們網頁的源代碼，其中通信的底層原理較為復雜，而Python給我們封裝好了urllib庫和requests庫等，這些庫可以讓我們非常簡單的發送各種形式的請求。
2、提取信息
獲取到的網頁源碼內包含了很多信息，想要進提取到我們需要的信息，則需要對源碼還要做進一步篩選。可以選用python中的re庫即通過正則匹配的形式去提取信息，也可以採用BeautifulSoup庫（bs4）等解析源代碼，除了有自動編碼的優勢之外，bs4庫還可以結構化輸出源代碼信息，更易於理解與使用。
3、保存數據
提取到我們需要的有用信息後，需要在Python中把它們保存下來。可以使用通過內置函數open保存為文本數據，也可以用第三方庫保存為其它形式的數據，例如可以通過pandas庫保存為常見的xlsx數據，如果有圖片等非結構化數據還可以通過pymongo庫保存至非結構化資料庫中。
㈢ python爬蟲下來的數據怎麼存
如果是存到mysql中，可以設置為欄位類型為text。
mysql中text 最大長度為65,535(2的16次方–1)字元的TEXT列。
如果你覺得text長度不夠，可以選擇
MEDIUMTEXT最大長度為16,777,215。
LONGTEXT最大長度為4,294,967,295
Text主要是用來存放非二進制的文本，如論壇帖子,題目，或者網路知道的問題和回答之類。
需要弄清楚的是text 和 char varchar blob這幾種類型的區別
如果真的特別大，就用python在某一路徑下建一個文件，把內容write到文件中就可以了
㈣ python 網路爬蟲，怎麼自動保存圖片
defdownload_poster_image(movie):#定義一個下載圖片函數
src=movie#取出它的url
r=requests.get(src)#去獲取這個url
fname=url.split('/')[-1]#從url裡面獲取這個文件名
withopen(fname,'wb')asf:#應答的內容寫進去並且使用二進制
f.write(s.content)
movie['poster-path']=fname
res=requests.get(url)
img_url=res.xpath('//img[@class="q-img-item"]/@src')
movie=img_url
download_poster_image(movie)#執行函數
㈤ 4.python爬蟲之新建 scrapy 爬蟲項目(抓取和保存)
1.win10 下 win + r 打開cmd 切換新項目的目錄
2.新建scrapy項目的命令:
可以利用pycharm 打開項目文件夾編輯項目
3.items.py
聲明爬取的欄位
4.新建scrapy 爬蟲
用命令 scrapy genspider doubanmovie "movie.douban.com" 創建爬蟲。
5.運行爬蟲
5.1 創建運行腳本
(一)、在 scrapy.cfg 同級目錄下創建 pycharm 調試腳本 run.py，避免每次運行爬蟲輸入密碼,內容如下：
6.修改robottxt協議
修改 settings 中的 ROBOTSTXT_OBEY = True 參數為 False,因為默認為 True，就是要遵守 robots.txt 的規則， robots.txt 是遵循 Robot協議 的一個文件，它保存在網站的伺服器中，它的作用是，告訴搜索引擎爬蟲，本網站哪些目錄下的網頁不希望你進行爬取收錄。在 Scrapy 啟動後，會在第一時間訪問網站的 robots.txt 文件，然後決定該網站的爬取范圍。查看 robots.txt 可以直接網址後接 robots.txt 即可。
一般構建爬蟲系統，建議自己編寫Item Pipeline,就可以在open(path)選擇自己的保存路徑
參考: # scrapy爬蟲事件以及數據保存為txt,json,mysql
7.1保存為json格式時出現亂碼的解決方式:
scrapy抓取豆瓣書籍保存json文件亂碼問題
中文默認是Unicode,如:
\u5317\u4eac\u5927\u5b66
在setting文件settings.py中設置：
就可以解決了
第二種解決辦法
或在cmd中傳入 -s FEED_EXPORT_ENCODING='utf-8'
參考: https://www.cnblogs.com/tinghai8/p/9700300.html
㈥ python爬蟲怎麼把csv文件保存到指定路徑
用控制台還真沒試過，如果是用腳本來保存的話就是在open那裡給定文件的絕對路徑就可以了。如果是沒用with的話，要記得把文件close掉，不然會佔用系統資源的。
with open（" xxx/xxx/xxx. csv","w"）:
要輸入的內容