pythonscrapy安裝
『壹』 win8環境下python3.4怎麼樣配置才能把scrapy安裝成功
建議在環境目錄path中 添加D:Python34Scripts; 這個路徑 D是自己安裝python的盤符 後打開cmd窗口 輸入 pip3 install scrapy 或命令 pip install scrapy 回車即可
pip是python的一個包管理器 一般的第三方包直接使用cmd命令 pip3 install 包名
即可 類似的包管理器還有easy_install 可使用命令: easy_install 包名
『貳』 python3怎麼安裝scrapy
安裝方法
首先安裝wheel
pip install wheel11
安裝完成後驗證是否成功
wheel11
安裝成功是這樣
然後去上邊的網站下載Scrapy庫,
進到網站=>搜索』Scrapy』=>下載
把下載的.whl文件放在一個容易尋找的地址(我放在了D:\)
然後在控制台進入該地址
在該地址下輸入
pip install [whl]11
註:[whl]表示你的.whl文件,一定要全名,XXXX.whl
不過現在直接安裝就行了,現在版本的pip直接安裝的就是whl版本的。
『叄』 scrapy怎麼安裝急!!
1.安裝Python
安裝完了記得配置環境,將python目錄和python目錄下的Scripts目錄添加到系統環境變數的Path里。在cmd中輸入python如果出現版本信息說明配置完畢(如下面截圖)。python下載網站,www.ddooo.com/softdown/102344.htm。請選擇對應的Python版本安裝。我裝了2.7
(記得設置環境變數)
2.安裝lxmllxml是一種使用 Python 編寫的庫,可以迅速、靈活地處理 XML。下載地址 www.ddooo.com/softdown/20939.htm,可用pip下載,
下載命令:python -m pip install lxml
3.安裝setuptools 一般都已經安裝了的,可在cmd中用 python -m pip list 查看是否已經安裝,如果沒安裝,用下載命令:python -m pip install setuptools安裝,下載地址https://pypi.python.org/packages/2.7/s/setuptools/
4.安裝zope.interface
可在cmd中用下載命令:python -m pip install zope.interface
也可以使用第三步下載的setuptools來安裝egg文件,現在也有exe版本,點擊https://pypi.python.org/pypi/zope.interface/4.1.0#downloads下載。
5.安裝Twisted
可在cmd中用下載命令:python -m pip install Twisted,它是用Python實現的基於事件驅動的網路引擎框架。下載地址:
http://twistedmatrix.com/trac/wiki/Downloads
6.安裝pyOpenSSL
pyOpenSSL是Python的OpenSSL介面,可在cmd中用下載命令:python -m pip install pyOpenSSL安裝,下載地址:https://launchpad.net/pyopenssl
7.安裝win32py 提供win32api,下載地址:https://sourceforge.net/projects/pywin32/files/
8.安裝Scrapy
直接在cmd中輸入easy_install scrapy回車即可。安裝後在cmd命令行輸入scrapy,如果出現下圖,則安裝成功。
『肆』 怎樣在pythonpath中安裝scrapy
安裝python
根據自己的電腦是32位還是64位進行,選擇適合的python版本,我們常用的是2.7版。安裝python很簡單,直接點下一步,下一步就行了,這里我就不做過多介紹,但是要注意的是要配置環境變數。如圖所示,將python目錄和python目錄下的Scripts目錄添加到系統環境變數的Path里。
如下圖所示,測試python是否安裝及環境變數配置成功。
安裝pywin32
安裝pywin32相當簡單,首先是下載
根據自己的電腦進行選擇,下載後,直接點下一步下一步就行了,很簡單。
安裝setuptools
在頁面中找到
點擊 ez_setup.py進入, 並將內容復制下來, 保存為本地的python腳本
接著切換到 ez_setup.py所在的目錄下,在Windows的命令窗口CMD下運行命令
python ez_setup.py
我們使用如下命令來確定setuptools是否安裝成功。
安裝twisted
安裝zope.interface
根據自己的電腦選擇版本,下載。然後將下載的文件放到python中的Scripts目錄下,利用easy_install安裝
如下為我自己的執行命令:
安裝pyopenssl
將其下載下來,安裝方式,如下面的代碼:
安裝twisted
下載之後,直接點下一步下一步就行了。
安裝lxml
根據自己的電腦選擇自己的版本,下載後,點擊下一步下一步就行了。
安裝w3lib
下載完畢後將其解壓到某一個目錄下,如下圖
在cmd中,到此目錄下執行:
安裝Scrapy
和前面安裝w3lib類似安裝Scrapy,下載解壓。然後cmd運行。
Scrapy測試
『伍』 python3.6怎麼裝scrapy爬蟲框架,我安裝中出現了好多問題
newX3中的腳本安裝比較麻煩。首先你需要先安裝X Plugin Manager,安裝好後運行裡面的腳本管理器XPMInstaller,XPMInstaller打開後,點擊Install new script按鈕安裝你需要的腳本就ok了。 P.S 放腳本的文件夾的名字必須為英文
『陸』 在python3.5.2中怎麼安裝scrapy
安裝方法
首先安裝wheel
pip install wheel11
安裝完成後驗證是否成功
wheel11
安裝成功是這樣
然後去上邊的網站下載Scrapy庫,
進到網站=>搜索』Scrapy』=>下載
把下載的.whl文件放在一個容易尋找的地址(我放在了D:\)
然後在控制台進入該地址
『柒』 如何安裝python以及scrapy框架
Scrapy是一個為了爬取網站數據,提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列的程序中。
其最初是為了 頁面抓取 (更確切來說, 網路抓取 )所設計的, 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。
『捌』 如何在centos中安裝pythonscapy
在CentOs6.5下安裝Python2.7.6和Scrapy
總在網上看大家的安裝教程,這回自己也貢獻一份!!!
和民航大學合作項目,去給人家裝環境,連簡單的Scrapy都沒裝上,雖然有對方硬體設施坑爹的因素,但主要還是自己准備不充分。
一份好的安裝文檔應該是可以完美重現的。
所以做了下面這份:
我按照這套方法連著重裝了四次,如果各位直接復制命令,應該是一點問題都沒有。安裝成功的樣子見那兩張截圖。
對了,確保電腦能上網,滑鼠能用,哈哈
1.#su – root
2.#yum install gcc zlib-devel bzip2-devel openssl-devel ncurses-devel libffi-devel libxslt-devel libxml2-devel sqlite-devel
3.#cd /usr
4.安裝Python
#wget python/2.7.6/Python-2.7.6.tar.xz
#xz -d Python-2.7.6.tar.xz
#tar xvf Python-2.7.6.tar
#cd Python-2.7.6
#./configure
#vim Moles/Setup
找到下面這句,去掉注釋
#zlib zlibmole.c -I$(prefix)/include -L$(exec_prefix)/lib -lz
編譯安裝:make & make install
5.修改Python鏈接
#/usr/local/bin/python2.7 -V
#mv /usr/bin/python /usr/bin/python.bak
# ln -s /usr/local/bin/python2.7 /usr/bin/python
6.#vim /usr/bin/yum
在打開的文件里的頭一行,也就是指定python環境的那行代碼,修改成:
#!/usr/bin/python2.6
7.#wget --no-check-certificate
#python ez_setup.py
8.#wget --no-check-certificate
#python get-pip.py
9.#pip install scrapy
10.#scrapy
11.建立測試腳本
12.# cat > myspider.py <<EOF
from scrapy import Spider, Item, Field
class Post(Item):
title = Field()
class BlogSpider(Spider):
name, start_urls = 'blogspider', ['wsblog/']
def parse(self, response):
return [Post(title=e.extract()) for e in response.css("h2 a::text")]
EOF
13.試建工程
scrapy startproject tutorial
『玖』 搞不懂怎麼安裝python的scrapy
python路徑下 找到easy_install.exe或者bat什麼的所在路徑,把這個路徑設置到系統的Path里,或者在cmd下轉到這個路徑下 再執行easy_install
『拾』 Python安裝Scrapy出現以下錯誤怎麼辦
scapy安裝的錯誤有幾種類型。
因為網路限制,你無法自動下載依賴的庫
因為版本沖突問題,導致你安裝scapy時無法完成安裝,或者是安裝無法正確使用
因為編譯的位數不同64位和32位不同,導致的問題
解決辦法:
簡單的解決辦法。如果scrapy對你很重要。重新安裝一套python2.7然後從頭安裝scrapy,可以從pypi網站上下載。也可以從unofficial來源,一口氣安裝好的包。
耐心的解決辦法。把scrapy的源碼拿過來,執行python
setup.py
install,遇到哪個包不好用,就替換掉。辦法是將那個包的源代碼拿過來,先刪除site-packages里的相應包,再手工執行python
setup.py
install。要有心理准備,很可能需要vc++
2010的編譯器。
最簡單的辦法,使用pip
install
scrapy。
如果你是在ubuntu下面apt-get
install
python-scrapy就搞定了。