python爬虫保存

㈠ python爬取数据后储存数据到mysql数据库后如何覆盖旧

python爬取数据后储存数据到mysql数据库后添加新数据覆盖旧。
1、先根据PRIMARY_KEY或UNIQUE字段查询库里是否存在数据（select）。
2、如果存在数据，则更改许要更改的字段（update）。
3、如果不粗在数据，则进行添加新数据（insert）。

㈡ python爬虫是干嘛的

爬虫技术是一种自动化程序。

爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。

爬虫技术的功能

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

㈢ python爬虫下来的数据怎么存

如果是存到mysql中，可以设置为字段类型为text。
mysql中text 最大长度为65,535(2的16次方–1)字符的TEXT列。
如果你觉得text长度不够，可以选择
MEDIUMTEXT最大长度为16,777,215。
LONGTEXT最大长度为4,294,967,295
Text主要是用来存放非二进制的文本，如论坛帖子,题目，或者网络知道的问题和回答之类。
需要弄清楚的是text 和 char varchar blob这几种类型的区别

如果真的特别大，就用python在某一路径下建一个文件，把内容write到文件中就可以了

㈣ python 网络爬虫，怎么自动保存图片

defdownload_poster_image(movie):#定义一个下载图片函数
src=movie#取出它的url
r=requests.get(src)#去获取这个url
fname=url.split('/')[-1]#从url里面获取这个文件名
withopen(fname,'wb')asf:#应答的内容写进去并且使用二进制
f.write(s.content)
movie['poster-path']=fname

res=requests.get(url)
img_url=res.xpath('//img[@class="q-img-item"]/@src')

movie=img_url
download_poster_image(movie)#执行函数

㈤ 4.python爬虫之新建 scrapy 爬虫项目(抓取和保存)

1.win10 下 win + r 打开cmd 切换新项目的目录
2.新建scrapy项目的命令:

可以利用pycharm 打开项目文件夹编辑项目
3.items.py
声明爬取的字段

4.新建scrapy 爬虫

用命令 scrapy genspider doubanmovie "movie.douban.com" 创建爬虫。

5.运行爬虫

5.1 创建运行脚本
(一)、在 scrapy.cfg 同级目录下创建 pycharm 调试脚本 run.py，避免每次运行爬虫输入密码,内容如下：

6.修改robottxt协议
修改 settings 中的 ROBOTSTXT_OBEY = True 参数为 False,因为默认为 True，就是要遵守 robots.txt 的规则， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在 Scrapy 启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。查看 robots.txt 可以直接网址后接 robots.txt 即可。

一般构建爬虫系统，建议自己编写Item Pipeline,就可以在open(path)选择自己的保存路径
参考: # scrapy爬虫事件以及数据保存为txt,json,mysql

7.1保存为json格式时出现乱码的解决方式:
scrapy抓取豆瓣书籍保存json文件乱码问题
中文默认是Unicode,如:

\u5317\u4eac\u5927\u5b66
在setting文件settings.py中设置：

就可以解决了
第二种解决办法
或在cmd中传入 -s FEED_EXPORT_ENCODING='utf-8'

参考: https://www.cnblogs.com/tinghai8/p/9700300.html

㈥ python爬虫怎么把csv文件保存到指定路径

用控制台还真没试过，如果是用脚本来保存的话就是在open那里给定文件的绝对路径就可以了。如果是没用with的话，要记得把文件close掉，不然会占用系统资源的。
with open（" xxx/xxx/xxx. csv","w"）:
要输入的内容