pythonscrapy安装
‘壹’ win8环境下python3.4怎么样配置才能把scrapy安装成功
建议在环境目录path中 添加D:Python34Scripts; 这个路径 D是自己安装python的盘符 后打开cmd窗口 输入 pip3 install scrapy 或命令 pip install scrapy 回车即可
pip是python的一个包管理器 一般的第三方包直接使用cmd命令 pip3 install 包名
即可 类似的包管理器还有easy_install 可使用命令: easy_install 包名
‘贰’ python3怎么安装scrapy
安装方法
首先安装wheel
pip install wheel11
安装完成后验证是否成功
wheel11
安装成功是这样
然后去上边的网站下载Scrapy库,
进到网站=>搜索’Scrapy’=>下载
把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)
然后在控制台进入该地址
在该地址下输入
pip install [whl]11
注:[whl]表示你的.whl文件,一定要全名,XXXX.whl
不过现在直接安装就行了,现在版本的pip直接安装的就是whl版本的。
‘叁’ scrapy怎么安装急!!
1.安装Python
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载网站,www.ddooo.com/softdown/102344.htm。请选择对应的Python版本安装。我装了2.7
(记得设置环境变量)
2.安装lxmllxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。下载地址 www.ddooo.com/softdown/20939.htm,可用pip下载,
下载命令:python -m pip install lxml
3.安装setuptools 一般都已经安装了的,可在cmd中用 python -m pip list 查看是否已经安装,如果没安装,用下载命令:python -m pip install setuptools安装,下载地址https://pypi.python.org/packages/2.7/s/setuptools/
4.安装zope.interface
可在cmd中用下载命令:python -m pip install zope.interface
也可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击https://pypi.python.org/pypi/zope.interface/4.1.0#downloads下载。
5.安装Twisted
可在cmd中用下载命令:python -m pip install Twisted,它是用Python实现的基于事件驱动的网络引擎框架。下载地址:
http://twistedmatrix.com/trac/wiki/Downloads
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,可在cmd中用下载命令:python -m pip install pyOpenSSL安装,下载地址:https://launchpad.net/pyopenssl
7.安装win32py 提供win32api,下载地址:https://sourceforge.net/projects/pywin32/files/
8.安装Scrapy
直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行输入scrapy,如果出现下图,则安装成功。
‘肆’ 怎样在pythonpath中安装scrapy
安装python
根据自己的电脑是32位还是64位进行,选择适合的python版本,我们常用的是2.7版。安装python很简单,直接点下一步,下一步就行了,这里我就不做过多介绍,但是要注意的是要配置环境变量。如图所示,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
如下图所示,测试python是否安装及环境变量配置成功。
安装pywin32
安装pywin32相当简单,首先是下载
根据自己的电脑进行选择,下载后,直接点下一步下一步就行了,很简单。
安装setuptools
在页面中找到
点击 ez_setup.py进入, 并将内容复制下来, 保存为本地的python脚本
接着切换到 ez_setup.py所在的目录下,在Windows的命令窗口CMD下运行命令
python ez_setup.py
我们使用如下命令来确定setuptools是否安装成功。
安装twisted
安装zope.interface
根据自己的电脑选择版本,下载。然后将下载的文件放到python中的Scripts目录下,利用easy_install安装
如下为我自己的执行命令:
安装pyopenssl
将其下载下来,安装方式,如下面的代码:
安装twisted
下载之后,直接点下一步下一步就行了。
安装lxml
根据自己的电脑选择自己的版本,下载后,点击下一步下一步就行了。
安装w3lib
下载完毕后将其解压到某一个目录下,如下图
在cmd中,到此目录下执行:
安装Scrapy
和前面安装w3lib类似安装Scrapy,下载解压。然后cmd运行。
Scrapy测试
‘伍’ python3.6怎么装scrapy爬虫框架,我安装中出现了好多问题
newX3中的脚本安装比较麻烦。首先你需要先安装X Plugin Manager,安装好后运行里面的脚本管理器XPMInstaller,XPMInstaller打开后,点击Install new script按钮安装你需要的脚本就ok了。 P.S 放脚本的文件夹的名字必须为英文
‘陆’ 在python3.5.2中怎么安装scrapy
安装方法
首先安装wheel
pip install wheel11
安装完成后验证是否成功
wheel11
安装成功是这样
然后去上边的网站下载Scrapy库,
进到网站=>搜索’Scrapy’=>下载
把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)
然后在控制台进入该地址
‘柒’ 如何安装python以及scrapy框架
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
‘捌’ 如何在centos中安装pythonscapy
在CentOs6.5下安装Python2.7.6和Scrapy
总在网上看大家的安装教程,这回自己也贡献一份!!!
和民航大学合作项目,去给人家装环境,连简单的Scrapy都没装上,虽然有对方硬件设施坑爹的因素,但主要还是自己准备不充分。
一份好的安装文档应该是可以完美重现的。
所以做了下面这份:
我按照这套方法连着重装了四次,如果各位直接复制命令,应该是一点问题都没有。安装成功的样子见那两张截图。
对了,确保电脑能上网,鼠标能用,哈哈
1.#su – root
2.#yum install gcc zlib-devel bzip2-devel openssl-devel ncurses-devel libffi-devel libxslt-devel libxml2-devel sqlite-devel
3.#cd /usr
4.安装Python
#wget python/2.7.6/Python-2.7.6.tar.xz
#xz -d Python-2.7.6.tar.xz
#tar xvf Python-2.7.6.tar
#cd Python-2.7.6
#./configure
#vim Moles/Setup
找到下面这句,去掉注释
#zlib zlibmole.c -I$(prefix)/include -L$(exec_prefix)/lib -lz
编译安装:make & make install
5.修改Python链接
#/usr/local/bin/python2.7 -V
#mv /usr/bin/python /usr/bin/python.bak
# ln -s /usr/local/bin/python2.7 /usr/bin/python
6.#vim /usr/bin/yum
在打开的文件里的头一行,也就是指定python环境的那行代码,修改成:
#!/usr/bin/python2.6
7.#wget --no-check-certificate
#python ez_setup.py
8.#wget --no-check-certificate
#python get-pip.py
9.#pip install scrapy
10.#scrapy
11.建立测试脚本
12.# cat > myspider.py <<EOF
from scrapy import Spider, Item, Field
class Post(Item):
title = Field()
class BlogSpider(Spider):
name, start_urls = 'blogspider', ['wsblog/']
def parse(self, response):
return [Post(title=e.extract()) for e in response.css("h2 a::text")]
EOF
13.试建工程
scrapy startproject tutorial
‘玖’ 搞不懂怎么安装python的scrapy
python路径下 找到easy_install.exe或者bat什么的所在路径,把这个路径设置到系统的Path里,或者在cmd下转到这个路径下 再执行easy_install
‘拾’ Python安装Scrapy出现以下错误怎么办
scapy安装的错误有几种类型。
因为网络限制,你无法自动下载依赖的库
因为版本冲突问题,导致你安装scapy时无法完成安装,或者是安装无法正确使用
因为编译的位数不同64位和32位不同,导致的问题
解决办法:
简单的解决办法。如果scrapy对你很重要。重新安装一套python2.7然后从头安装scrapy,可以从pypi网站上下载。也可以从unofficial来源,一口气安装好的包。
耐心的解决办法。把scrapy的源码拿过来,执行python
setup.py
install,遇到哪个包不好用,就替换掉。办法是将那个包的源代码拿过来,先删除site-packages里的相应包,再手工执行python
setup.py
install。要有心理准备,很可能需要vc++
2010的编译器。
最简单的办法,使用pip
install
scrapy。
如果你是在ubuntu下面apt-get
install
python-scrapy就搞定了。