pythonurllib3安裝
Ⅰ python3 已經安裝了requests模塊,還是會提示MoleNotFoundError: No mole named 'urllib3'
先把已將安裝的requests模塊刪除
打開python3x.exe文件的安裝目錄
Ⅱ 如何查看python包安裝到哪裡的
python使用pip包管理器來安裝、刪除、管理軟體包,使用pip安裝軟體包會自動安裝包所依賴的其它包,而無需手動安裝。最新版本的python中已經默認安裝了pip包管理器,老版本的需要自己手動安裝。pip包管理器的使用方法如下:依次點擊開始>運行,輸入cmd打開命令提示符 pip install 包名稱 通過以上兩步即可實現包的安裝,同樣在命令提示符下輸入:pip list 可以查看所有已經安裝的包。
Ⅲ python爬蟲用什麼庫
以下是爬蟲經常用到的庫
請求庫
1. requests
requests庫應該是現在做爬蟲最火最實用的庫了,非常的人性化。有關於它的使用我之前也寫過一篇文章 一起看看Python之Requests庫 ,大家可以去看一下。
2.urllib3
urllib3是一個非常強大的http請求庫,提供一系列的操作URL的功能。
3.selenium
自動化測試工具。一個調用瀏覽器的 driver,通過這個庫你可以直接調用瀏覽器完成某些操作,比如輸入驗證碼。
對於這個庫並非只是Python才能用,像JAVA、Python、C#等都能夠使用selenium這個庫
4.aiohttp
基於 asyncio 實現的 HTTP 框架。非同步操作藉助於 async/await 關鍵字,使用非同步庫進行數據抓取,可以大大提高效率。
這個屬於進階爬蟲時候必須掌握的非同步庫。有關於aiohttp的詳細操作,可以去官方文檔:https://aiohttp.readthedocs.io/en/stable/
Python學習網- 專業的python自學、交流公益平台!
解析庫
1、beautifulsoup
html 和 XML 的解析,從網頁中提取信息,同時擁有強大的API和多樣解析方式。一個我經常使用的解析庫,對於html的解析是非常的好用。對於寫爬蟲的人來說這也是必須掌握的庫。
2、lxml
支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
3、pyquery
jQuery 的 Python 實現,能夠以 jQuery 的語法來操作解析 HTML 文檔,易用性和解析速度都很好。
數據存儲
1、pymysql
官方文檔:https://pymysql.readthedocs.io/en/latest/
一個純 Python 實現的 MySQL 客戶端操作庫。非常的實用、非常的簡單。
2、pymongo
官方文檔:https://api.mongodb.com/python/
顧名思義,一個用於直接連接 mongodb 資料庫進行查詢操作的庫。
3、redismp
redis-mp是將redis和json互轉的工具;redis-mp是基於ruby開發,需要ruby環境,而且新版本的redis-mp要求2.2.2以上的ruby版本,centos中yum只能安裝2.0版本的ruby。需要先安裝ruby的管理工具rvm安裝高版本的ruby。
Ⅳ python爬蟲需要安裝哪些庫
一、 請求庫
1. requests
requests 類庫是第三方庫,比 Python 自帶的 urllib 類庫使用方便和
2. selenium
利用它執行瀏覽器動作,模擬操作。
3. chromedriver
安裝chromedriver來驅動chrome。
4. aiohttp
aiohttp是非同步請求庫,抓取數據時可以提升效率。
二、 解析庫
1. lxml
lxml是Python的一個解析庫,支持解析HTML和XML,支持XPath的解析方式,而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的從 HTML 文檔中提取數據。
3. pyquery
pyquery是一個網頁解析庫,採用類似jquery的語法來解析HTML文檔。
三、 存儲庫
1. mysql
2. mongodb
3. redis
四、 爬蟲框架scrapy
Scrapy 是一套非同步處理框架,純python實現的爬蟲框架,用來抓取網頁內容以及各種圖片
需要先安裝scrapy基本依賴庫,比如lxml、pyOpenSSL、Twisted
Ⅳ python常用函數包有哪些
一些python常用函數包:
1、Urllib3
Urllib3是一個 Python 的 HTTP 客戶端,它擁有 Python 標准庫中缺少的許多功能:
線程安全
連接池
客戶端 SSL/TLS 驗證
使用分段編碼上傳文件
用來重試請求和處理 HTTP 重定向的助手
支持 gzip 和 deflate 編碼
HTTP 和 SOCKS 的代理支持
2、Six
six 是一個是 Python 2 和 3 的兼容性庫。這個項目旨在支持可同時運行在 Python 2 和 3 上的代碼庫。它提供了許多可簡化 Python 2 和 3 之間語法差異的函數。
3、botocore、boto3、s3transfer、awscli
Botocore是 AWS 的底層介面。Botocore是 Boto3 庫(#22)的基礎,後者讓你可以使用 Amazon S3 和 Amazon EC2 一類的服務。Botocore 還是 AWS-CLI 的基礎,後者為 AWS 提供統一的命令行界面。
S3transfer(#7)是用於管理 Amazon S3 傳輸的 Python 庫。它正在積極開發中,其介紹頁面不推薦人們現在使用,或者至少等版本固定下來再用,因為其 API 可能發生變化,在次要版本之間都可能更改。Boto3、AWS-CLI和其他許多項目都依賴s3transfer。
4、Pip
pip是「Pip Installs Packages」的首字母遞歸縮寫。
pip很容易使用。要安裝一個包只需pip install <package name>即可,而刪除包只需pip uninstall <package name>即可。
最大優點之一是它可以獲取包列表,通常以requirements.txt文件的形式獲取。該文件能選擇包含所需版本的詳細規范。大多數 Python 項目都包含這樣的文件。
如果結合使用pip與virtualenv(列表中的 #57),就可以創建可預測的隔離環境,同時不會干擾底層系統,反之亦然。
5、Python-dateutil
python-dateutil模塊提供了對標准datetime模塊的強大擴展。我的經驗是,常規的Python datetime缺少哪些功能,python-dateutil就能補足那一塊。
6、Requests
Requests建立在我們的 #1 庫——urllib3基礎上。它讓 Web 請求變得非常簡單。相比urllib3來說,很多人更喜歡這個包。而且使用它的最終用戶可能也比urllib3更多。後者更偏底層,並且考慮到它對內部的控制級別,它一般是作為其他項目的依賴項。
7、Certifi
近年來,幾乎所有網站都轉向 SSL,你可以通過地址欄中的小鎖符號來識別它。加了小鎖意味著與該站點的通信是安全和加密的,能防止竊聽行為。
8、Idna
根據其 PyPI 頁面,idna提供了「對 RFC5891 中指定的應用程序中國際化域名(IDNA)協議的支持。」
IDNA的核心是兩個函數:ToASCII和ToUnicode。ToASCII會將國際 Unicode 域轉換為 ASCII 字元串。ToUnicode則逆轉該過程。在IDNA包中,這些函數稱為idna.encode()和idna.decode()
9、PyYAML
YAML是一種數據序列化格式。它的設計宗旨是讓人類和計算機都能很容易地閱讀代碼——人類很容易讀寫它的內容,計算機也可以解析它。
PyYAML是 Python 的YAML解析器和發射器,這意味著它可以讀寫YAML。它會把任何 Python 對象寫成YAML:列表、字典,甚至是類實例都包括在內。
10、Pyasn1
像上面的IDNA一樣,這個項目也非常有用:
ASN.1 類型和 DER/BER/CER 編碼(X.208)的純 Python 實現
所幸這個已有數十年歷史的標准有很多信息可用。ASN.1是 Abstract Syntax Notation One 的縮寫,它就像是數據序列化的教父。它來自電信行業。也許你知道協議緩沖區或 Apache Thrift?這就是它們的 1984 年版本。
11、Docutils
Docutils是一個模塊化系統,用來將純文本文檔處理為很多有用的格式,例如 HTML、XML 和 LaTeX 等。Docutils能讀取reStructuredText格式的純文本文檔,這種格式是類似於 MarkDown 的易讀標記語法。
12、Chardet
你可以用chardet模塊來檢測文件或數據流的字元集。比如說,需要分析大量隨機文本時,這會很有用。但你也可以在處理遠程下載的數據,但不知道用的是什麼字元集時使用它。
13、RSA
rsa包是一個純 Python 的 RSA 實現。它支持:
加密和解密
簽名和驗證簽名
根據 PKCS#1 1.5 版生成密鑰
它既可以用作 Python 庫,也能在命令行中使用。
14、Jmespath
JMESPath,發音為「James path」,使 Python 中的 JSON 更容易使用。它允許你聲明性地指定如何從 JSON 文檔中提取元素。
15、Setuptools
它是用於創建 Python 包的工具。不過,其文檔很糟糕。它沒有清晰描述它的用途,並且文檔中包含無效鏈接。最好的信息源是這個站點,特別是這個創建 Python 包的指南。
16、Pytz
像dateutils一樣,這個庫可幫助你處理日期和時間。有時候,時區處理起來可能很麻煩。幸好有這樣的包,可以讓事情變得簡單些。
17、Futures
從 Python 3.2 開始,python 提供current.futures模塊,可幫助你實現非同步執行。futures 包是該庫適用於 Python 2 的 backport。它不適用於 Python3 用戶,因為 Python 3 原生提供了該模塊。
18、Colorama
使用 Colorama,你可以為終端添加一些顏色:
更多Python知識請關注Python自學網
Ⅵ 通過自製的Python Wx問題,怎麼解決
在github上下載了,安裝了之後在idle上運行,好像是說Python不能上網。新手求助。現在問題已經解決,是ssl 證書的問題,不能用最新的
復制內容到剪貼板
代碼:
sudo pip uninstall -y certifi
sudo pip install certifi==2015.04.28
>>> bot=Bot()
Traceback (most recent call last):
File "D:\Python34\lib\site-packages\urllib3\connectionpool.py", line 600, in urlopen
chunked=chunked)
File "D:\Python34\lib\site-packages\urllib3\connectionpool.py", line 345, in _make_request
self._validate_conn(conn)
File "D:\Python34\lib\site-packages\urllib3\connectionpool.py", line 844, in _validate_conn
conn.connect()
File "D:\Python34\lib\site-packages\urllib3\connection.py", line 326, in connect
ssl_context=context)
File "D:\Python34\lib\site-packages\urllib3\util\ssl_.py", line 325, in ssl_wrap_socket
return context.wrap_socket(sock, server_hostname=server_hostname)
File "D:\Python34\lib\ssl.py", line 365, in wrap_socket
_context=self)
File "D:\Python34\lib\ssl.py", line 583, in __init__
self.do_handshake()
File "D:\Python34\lib\ssl.py", line 810, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600)
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "D:\Python34\lib\site-packages\requests\adapters.py", line 440, in send
timeout=timeout
File "D:\Python34\lib\site-packages\urllib3\connectionpool.py", line 630, in urlopen
raise SSLError(e)
urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600)
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "D:\Python34\lib\site-packages\itchat\utils.py", line 124, in test_connect
r = requests.get(config.BASE_URL)
File "D:\Python34\lib\site-packages\requests\api.py", line 72, in get
return request('get', url, params=params, **kwargs)
File "D:\Python34\lib\site-packages\requests\api.py", line 58, in request
return session.request(method=method, url=url, **kwargs)
File "D:\Python34\lib\site-packages\requests\sessions.py", line 502, in request
resp = self.send(prep, **send_kwargs)
File "D:\Python34\lib\site-packages\requests\sessions.py", line 612, in send
r = adapter.send(request, **kwargs)
File "D:\Python34\lib\site-packages\requests\adapters.py", line 514, in send
raise SSLError(e, request=request)
requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600)
You can't get access to internet or wechat domain, so exit.