pythonlru
A. python導入模塊或包需要注意哪些點
Python是一種面向對象的編程語言,裡麵包含有豐富強大的庫,想要學習Python開發,首先需要學習如何導入模塊或包。下面就跟大家一起討論下Python導入模塊的幾種方法:
常規導入
最常用的導入方式,大概是這樣的:
import sys
只需要使用 import ,然後指定希望導入的模塊或包即可。用這種方法導入的好處是可以一次性導入多個包或模塊:
import os, sys, time
雖然這節省了空間,但是卻違背了Python風格指南。 Python風格指南建議將每個導入語句單獨成行 。
有時在導入模塊時,你想要重命名這個模塊。這個功能很容易實現:
import sys as system
print(system.platform)
上面的代碼將我們導入的 sys 模塊重命名為 system 。我們可以按照和以前一樣的方式調用模塊的方法,但是可以用一個新的模塊名。也有某些子模塊必須要使用點標記法才能導入。
import urllib.error
這個情況不常見,但是對此有所了解總是沒有壞處的。
使用from語句導入
有時我們只想要導入一個模塊或庫中的某個部分。那麼Python是如何實現這點:
from functools import lru_cache
上面這行代碼可以讓你直接調用 lru_cache 。如果按常規方式導入 functools ,那麼就必須像這樣調用 lru_cache :
functools.lru_cache(*args)
根據實際的使用場景,上面的做法可能是更好的。在復雜的代碼庫中,能夠看出某個函數是從哪裡導入的這點很有用的。不過,如果你的代碼維護的很好,模塊化程度高,那麼只從某個模塊中導入一部分內容也是非常方便和簡潔的。
當然,你還可以使用from方法導入模塊的全部內容,就像這樣:
from os import *
這種做法在少數情況下是挺方便的,但是這樣也會打亂你的命名空間。問題在於,你可能定義了一個與導入模塊中名稱相同的變數或函數,這時如果你試圖使用
os 模塊中的同名變數或函數,實際使用的將是你自己定義的內容。因此,你最後可能會碰到一個相當讓人困惑的邏輯錯誤。
標准庫中我唯一推薦全盤導入的模塊只有Tkinter 。
如果你正好要寫自己的模塊或包,有人會建議你在 __init__.py 文件中導入所有內容,讓模塊或者包使用起來更方便。我個人更喜歡顯示地導入,而非隱式地導入。
你也可以採取折中方案,從一個包中導入多個項:
from os import path, walk, unlinkfrom os import uname, remove
在上述代碼中,我們從 os 模塊中導入了5個函數。你可能注意到了,我們是通過多次從同一個模塊中導入實現的。當然,如果你願意的話,你也可以使用圓括弧一次性導入多個項:
from os import (path, walk, unlink, uname,
remove, rename)
這是一個有用的技巧,不過你也可以換一種方式:
from os import path, walk, unlink, uname, \
remove, rename
上面的反斜杠是Python中的續行符,告訴解釋器這行代碼延續至下一行。
相對導入
PEP 328 介紹了引入相對導入的原因,以及選擇了哪種語法。具體來說,是使用句點來決定如何相對導入其他包或模塊。這么做的原因是為了避免偶然情況下導入標准庫中的模塊產生沖突。這里我們以PEP 328中給出的文件夾結構為例,看看相對導入是如何工作的:
my_package/
__init__.py
subpackage1/
__init__.py
mole_x.py
mole_y.py
subpackage2/
__init__.py
mole_z.py
mole_a.py
在本地磁碟上找個地方創建上述文件和文件夾。在頂層的 __init__.py 文件中,輸入以下代碼:
from . import subpackage1from . import subpackage2
接下來進入 subpackage1 文件夾,編輯其中的 __init__.py 文件,輸入以下代碼:
from . import mole_xfrom . import mole_y
現在編輯 mole_x.py 文件,輸入以下代碼:
from .mole_y import spam as ham
def main():
ham()
最後編輯 mole_y.py 文件,輸入以下代碼:
def spam():
print('spam ' * 3)
打開終端, cd 至 my_package 包所在的文件夾,但不要進入 my_package 。在這個文件夾下運行Python解釋器。我使用的是IPython,因為它的自動補全功能非常方便:
In [1]: import my_package
In [2]: my_package.subpackage1.mole_xOut[2]: <mole
'my_package.subpackage1.mole_x' from
'my_package/subpackage1/mole_x.py'>
In [3]: my_package.subpackage1.mole_x.main()spam spam spam
相對導入適用於你最終要放入包中的代碼。如果你編寫了很多相關性強的代碼,那麼應該採用這種導入方式。
你會發現PyPI上有很多流行的包也是採用了相對導入 。還要注意一點,如果你想要跨越多個文件層級進行導入,只需要使用多個句點即可。不過, PEP
328建議相對導入的層級不要超過兩層 。
還要注意一點,如果你往 mole_x.py 文件中添加了 if __name__ == 『__main__』 ,然後試圖運行這個文件,你會碰到一個很難理解的錯誤。編輯一下文件,試試看吧!
from . mole_y import spam as ham
def main():
ham()
if __name__ == '__main__':
# This won't work!
main()
現在從終端進入 subpackage1 文件夾,執行以下命令:
python mole_x.py
如果你使用的是Python 2,你應該會看到下面的錯誤信息:
Traceback (most recent call last):
File "mole_x.py", line 1, in <mole>
from . mole_y import spam as hamValueError: Attempted relative import in non-package
如果你使用的是Python 3,錯誤信息大概是這樣的:
Traceback (most recent call last):
File "mole_x.py", line 1, in <mole>
from . mole_y import spam as hamSystemError: Parent mole '' not loaded, cannot perform relative import
這指的是, mole_x.py 是某個包中的一個模塊,而你試圖以腳本模式執行,但是 這種模式不支持相對導入 。
如果你想在自己的代碼中使用這個模塊,那麼你必須將其添加至Python的導入檢索路徑(import search path)。最簡單的做法如下:
import syssys.path.append('/path/to/folder/containing/my_package')import my_package
注意,你需要添加的是 my_package 的上一層文件夾路徑,而不是 my_package 本身。原因是 my_package 就是我們想要使用的包,所以如果你添加它的路徑,那麼將無法使用這個包。
我們接下來談談可選導入。
可選導入(Optional imports)
如果你希望優先使用某個模塊或包,但是同時也想在沒有這個模塊或包的情況下有備選,你就可以使用可選導入這種方式。這樣做可以導入支持某個軟體的多種版本或者實現性能提升。以 github2包 中的代碼為例:
try:
# For Python 3
from http.client import responsesexcept ImportError: # For Python 2.5-2.7
try:
from httplib import responses # NOQA
except ImportError: # For Python 2.4
from BaseHTTPServer import BaseHTTPRequestHandler as _BHRH
responses = dict([(k, v[0]) for k, v in _BHRH.responses.items()])
lxml 包也有使用可選導入方式:
try:
from urlparse import urljoin
from urllib2 import urlopenexcept ImportError:
# Python 3
from urllib.parse import urljoin
from urllib.request import urlopen
正如以上示例所示, 可選導入的使用很常見,是一個值得掌握的技巧 。
局部導入
當你在局部作用域中導入模塊時,你執行的就是局部導入。如果你在Python腳本文件的頂部導入一個模塊,那麼你就是在將該模塊導入至全局作用域,這意味著之後的任何函數或方法都可能訪問該模塊。例如:
import sys # global scope
def square_root(a):
# This import is into the square_root functions local scope
import math
return math.sqrt(a)
def my_pow(base_num, power):
return math.pow(base_num, power)
if __name__ == '__main__':
print(square_root(49))
print(my_pow(2, 3))
這里,我們將 sys 模塊導入至全局作用域,但我們並沒有使用這個模塊。然後,在 square_root 函數中,我們將 math
模塊導入至該函數的局部作用域,這意味著 math 模塊只能在 square_root 函數內部使用。如果我們試圖在 my_pow 函數中使用
math ,會引發 NameError 。試著執行這個腳本,看看會發生什麼。
使用局部作用域的好處之一,是你使用的模塊可能需要很長時間才能導入,如果是這樣的話,將其放在某個不經常調用的函數中或許更加合理,而不是直接在全局作
用域中導入。老實說,我幾乎從沒有使用過局部導入,主要是因為如果模塊內部到處都有導入語句,會很難分辨出這樣做的原因和用途。
根據約定,所有的導入語句都應該位於模塊的頂部 。
導入注意事項
在導入模塊方面,有幾個程序員常犯的錯誤。這里我們介紹兩個。
循環導入(circular imports)
覆蓋導入(Shadowed imports,暫時翻譯為覆蓋導入)
先來看看循環導入。
循環導入
如果你創建兩個模塊,二者相互導入對方,那麼就會出現循環導入。例如:
# a.pyimport b
def a_test():
print("in a_test")
b.b_test()
a_test()
然後在同個文件夾中創建另一個模塊,將其命名為 b.py 。
import a
def b_test():
print('In test_b"')
a.a_test()
b_test()
如果你運行任意一個模塊,都會引發 AttributeError 。這是因為這兩個模塊都在試圖導入對方。簡單來說,模塊 a 想要導入模塊 b
,但是因為模塊 b 也在試圖導入模塊 a (這時正在執行),模塊 a 將無法完成模塊 b
的導入。我看過一些解決這個問題的破解方法(hack),但是 一般來說,你應該做的是重構代碼,避免發生這種情況 。
覆蓋導入
當你創建的模塊與標准庫中的模塊同名時,如果你導入這個模塊,就會出現覆蓋導入。舉個例子,創建一個名叫 math.py 的文件,在其中寫入如下代碼:
import math
def square_root(number):
return math.sqrt(number)
square_root(72)
現在打開終端,試著運行這個文件,你會得到以下回溯信息(traceback):
Traceback (most recent call last):
File "math.py", line 1, in <mole>
import math
File "/Users/michael/Desktop/math.py", line 6, in <mole>
square_root(72)
File "/Users/michael/Desktop/math.py", line 4, in square_root
return math.sqrt(number)AttributeError: mole 'math' has no attribute 'sqrt'
這到底是怎麼回事?其實,你運行這個文件的時候,Python解釋器首先在當前運行腳本所處的的文件夾中查找名叫 math
的模塊。在這個例子中,解釋器找到了我們正在執行的模塊,試圖導入它。但是我們的模塊中並沒有叫 sqrt 的函數或屬性,所以就拋出了
AttributeError 。
B. python函數的閉包怎麼理解
1. 閉包的概念
首先還得從基本概念說起,什麼是閉包呢?來看下維基上的解釋:
復制代碼代碼如下:
在計算機科學中,閉包(Closure)是詞法閉包(Lexical Closure)的簡稱,是引用了自由變數的函數。這個被引用的自由變數將和這個函數一同存在,即使已經離開了創造它的環境也不例外。所以,有另一種說法認為閉包是由函數和與其相關的引用環境組合而成的實體。閉包在運行時可以有多個實例,不同的引用環境和相同的函數組合可以產生不同的實例。
....
上面提到了兩個關鍵的地方: 自由變數 和 函數, 這兩個關鍵稍後再說。還是得在贅述下「閉包」的意思,望文知意,可以形象的把它理解為一個封閉的包裹,這個包裹就是一個函數,當然還有函數內部對應的邏輯,包裹裡面的東西就是自由變數,自由變數可以在隨著包裹到處游盪。當然還得有個前提,這個包裹是被創建出來的。
在通過Python的語言介紹一下,一個閉包就是你調用了一個函數A,這個函數A返回了一個函數B給你。這個返回的函數B就叫做閉包。你在調用函數A的時候傳遞的參數就是自由變數。
舉個例子:
復制代碼代碼如下:
def func(name):
def inner_func(age):
print 'name:', name, 'age:', age
return inner_func
bb = func('the5fire')
bb(26) # >>> name: the5fire age: 26
這裡面調用func的時候就產生了一個閉包——inner_func,並且該閉包持有自由變數——name,因此這也意味著,當函數func的生命周期結束之後,name這個變數依然存在,因為它被閉包引用了,所以不會被回收。
另外再說一點,閉包並不是Python中特有的概念,所有把函數做為一等公民的語言均有閉包的概念。不過像Java這樣以class為一等公民的語言中也可以使用閉包,只是它得用類或介面來實現。
更多概念上的東西可以參考最後的參考鏈接。
2. 為什麼使用閉包
基於上面的介紹,不知道讀者有沒有感覺這個東西和類有點相似,相似點在於他們都提供了對數據的封裝。不同的是閉包本身就是個方法。和類一樣,我們在編程時經常會把通用的東西抽象成類,(當然,還有對現實世界——業務的建模),以復用通用的功能。閉包也是一樣,當我們需要函數粒度的抽象時,閉包就是一個很好的選擇。
在這點上閉包可以被理解為一個只讀的對象,你可以給他傳遞一個屬性,但它只能提供給你一個執行的介面。因此在程序中我們經常需要這樣的一個函數對象——閉包,來幫我們完成一個通用的功能,比如後面會提到的——裝飾器。
3. 使用閉包
第一種場景 ,在python中很重要也很常見的一個使用場景就是裝飾器,Python為裝飾器提供了一個很友好的「語法糖」——@,讓我們可以很方便的使用裝飾器,裝飾的原理不做過多闡述,簡言之你在一個函數func上加上@decorator_func, 就相當於decorator_func(func):
復制代碼代碼如下:
def decorator_func(func):
def wrapper(*args, **kwargs):
return func(*args, **kwargs)
return wrapper
@decorator_func
def func(name):
print 'my name is', name
# 等價於
decorator_func(func)
在裝飾器的這個例子中,閉包(wrapper)持有了外部的func這個參數,並且能夠接受外部傳過來的參數,接受過來的參數在原封不動的傳給func,並返回執行結果。
這是個簡單的例子,稍微復雜點可以有多個閉包,比如經常使用的那個LRUCache的裝飾器,裝飾器上可以接受參數@lru_cache(expire=500)這樣。實現起來就是兩個閉包的嵌套:
復制代碼代碼如下:
def lru_cache(expire=5):
# 默認5s超時
def func_wrapper(func):
def inner(*args, **kwargs):
# cache 處理 bala bala bala
return func(*args, **kwargs)
return inner
return func_wrapper
@lru_cache(expire=10*60)
def get(request, pk)
# 省略具體代碼
return response()
不太懂閉包的同學一定得能夠理解上述代碼,這是我們之前面試經常會問到的面試題。
第二個場景 ,就是基於閉包的一個特性——「惰性求值」。這個應用比較常見的是在資料庫訪問的時候,比如說:
復制代碼代碼如下:
# 偽代碼示意
class QuerySet(object):
def __init__(self, sql):
self.sql = sql
self.db = Mysql.connect().corsor() # 偽代碼
def __call__(self):
return db.execute(self.sql)
def query(sql):
return QuerySet(sql)
result = query("select name from user_app")
if time > now:
print result # 這時才執行資料庫訪問
上面這個不太恰當的例子展示了通過閉包完成惰性求值的功能,但是上面query返回的結果並不是函數,而是具有函數功能的類。有興趣的可以去看看Django的queryset的實現,原理類似。
第三種場景 , 需要對某個函數的參數提前賦值的情況,當然在Python中已經有了很好的解決訪問 functools.parial,但是用閉包也能實現。
復制代碼代碼如下:
def partial(**outer_kwargs):
def wrapper(func):
def inner(*args, **kwargs):
for k, v in outer_kwargs.items():
kwargs[k] = v
return func(*args, **kwargs)
return inner
return wrapper
@partial(age=15)
def say(name=None, age=None):
print name, age
say(name="the5fire")
# 當然用functools比這個簡單多了
# 只需要: functools.partial(say, age=15)(name='the5fire')
看起來這又是一個牽強的例子,不過也算是實踐了閉包的應用。
C. Python性能提升神器!lru_cache的介紹和講解
我們經常談論的緩存一詞,更多的類似於將硬碟中的數據存放到內存中以至於提高讀取速度,比如常說的redis,就經常用來做數據的緩存。 Python的緩存(lru_cache)是一種裝飾在被執行的函數上,將其執行的結果緩存起來,當下次請求的時候,如果請求該函數的傳參未變則直接返回緩存起來的結果而不再執行函數的一種緩存裝飾器。
那它和redis的區別在哪?有什麼優勢?怎麼使用? 下面為你講解
1.現在我們先不使用緩存來寫一個求兩數之和的函數,並調用執行它兩次:
執行結果
可以看到 test 被執行了兩次,現在我們加上緩存再進行執行:
執行結果
可以看到 test 函數只被執行了一次,第二次的調用直接輸出了結果,使用了緩存起來的值。
2.當我們使用遞歸求斐波拉契數列 (斐波那契數列指的是這樣一個數列:0,1,1,2,3,5,8,它從第3項開始,每一項都等於前兩項之和) 的時候,緩存對性能的提升就尤其明顯了:
不使用緩存求第40項的斐波拉契數列
執行時間
使用緩存求第40項的斐波拉契數列:
執行時間
兩個差距是非常明顯的,因為不使用緩存時,相當於要重復執行了很多的函數,而使用了 lru_cache 則把之前執行的函數結果已經緩存了起來,就不需要再次執行了。
查看lru_cache源碼會發現它可以傳遞兩個參數: maxsize 、 typed :
代表被lru_cache裝飾的方法最大可緩存的結果數量 (被裝飾方法傳參不同一樣,則結果不一樣;如果傳參一樣則為同一個結果) , 如果不指定傳參則默認值為128,表示最多緩存128個返回結果,當達到了128個時,有新的結果要保存時,則會刪除最舊的那個結果。如果maxsize傳入為None則表示可以緩存無限個結果;
默認為false,代表不區分數據類型,如果設置為True,則會區分傳參類型進行緩存,官方是這樣描述的:
但在python3.9.8版本下進行測試,typed為false時,按照官方的測試方法測試得到的還是會被當成不同的結果處理,這個時候typed為false還是為true都會區別緩存,這與官方文檔的描述存在差異:
執行結果
但如果是多參數的情況下,則會被當成一個結果:
執行結果
這個時候設置typed為true時,則會區別緩存:
執行結果
當傳參個數大於1時,才符合官方的說法,不清楚是不是官方舉例有誤
當傳遞的參數是dict、list等的可變參數時,lru_cache是不支持的,會報錯:
報錯結果
緩存 緩存位置 是否支持可變參數 是否支持分布式 是否支持過期時間設置 支持的數據結構 需單獨安裝 redis 緩存在redis管理的內存中 是 是 是 支持5種數據結構 是 lru_cache 緩存在應用進程的內存中,應用被關閉則被清空 否 否 否 字典(參數為:key,結果為:value) 否
經過上面的分析,lru_cache 功能相對於redis來說要簡單許多,但使用起來更加方便,適用於小型的單體應用。如果涉及的緩存的數據種類比較多並且想更好的管理緩存、或者需要緩存數據有過期時間(類似登錄驗證的token)等,使用redis是優於lru_cache的。
D. 有哪些輕型的非關系型資料庫
常見的非關系型資料庫有:1、mongodb;2、cassandra;3、redis;4、hbase;5、neo4j。其中mongodb是非常著名的NoSQL資料庫,它是一個面向文檔的開源資料庫。
常見的幾種非關系型資料庫:
1、MongoDB
MongoDB是最著名的NoSQL資料庫。它是一個面向文檔的開源資料庫。MongoDB是一個可伸縮和可訪問的資料庫。它在c++中。MongoDB同樣可以用作文件系統。在MongoDB中,JavaScript可以作為查詢語言使用。通過使用sharding MongoDB水平伸縮。它在流行的JavaScript框架中非常有用。
人們真的很享受分片、高級文本搜索、gridFS和map-rece功能。驚人的性能和新特性使這個NoSQL資料庫在我們的列表中名列第一。
特點:提供高性能;自動分片;運行在多個伺服器上;支持主從復制;數據以JSON樣式文檔的形式存儲;索引文檔中的任何欄位;由於數據被放置在碎片中,所以它具有自動負載平衡配置;支持正則表達式搜索;在失敗的情況下易於管理。
優點:易於安裝MongoDB;MongoDB Inc.為客戶提供專業支持;支持臨時查詢;高速資料庫;無模式資料庫;橫向擴展資料庫;性能非常高。
缺點:不支持連接;數據量大;嵌套文檔是有限的;增加不必要的內存使用。
2、Cassandra
Cassandra是Facebook為收件箱搜索開發的。Cassandra是一個用於處理大量結構化數據的分布式數據存儲系統。通常,這些數據分布在許多普通伺服器上。您還可以添加數據存儲容量,使您的服務保持在線,您可以輕松地完成這項任務。由於集群中的所有節點都是相同的,因此不需要處理復雜的配置。
Cassandra是用Java編寫的。Cassandra查詢語言(CQL)是查詢Cassandra資料庫的一種類似sql的語言。因此,Cassandra在最佳開源資料庫中排名第二。Facebook、Twitter、思科(Cisco)、Rackspace、eBay、Twitter、Netflix等一些最大的公司都在使用Cassandra。
特點:線性可伸縮;;保持快速響應時間;支持原子性、一致性、隔離性和耐久性(ACID)等屬性;使用Apache Hadoop支持MapRece;分配數據的最大靈活性;高度可伸縮;點對點架構。
優點:高度可伸縮;無單點故障;Multi-DC復制;與其他基於JVM的應用程序緊密集成;更適合多數據中心部署、冗餘、故障轉移和災難恢復。
缺點:對聚合的有限支持;不可預知的性能;不支持特別查詢。
3、Redis
Redis是一個鍵值存儲。此外,它是最著名的鍵值存儲。Redis支持一些c++、PHP、Ruby、Python、Perl、Scala等等。Redis是用C語言編寫的。此外,它是根據BSD授權的。
特點:自動故障轉移;將其資料庫完全保存在內存中;事務;Lua腳本;將數據復制到任意數量的從屬伺服器;鑰匙的壽命有限;LRU驅逐鑰匙;支持發布/訂閱。
優點:支持多種數據類型;很容易安裝;非常快(每秒執行約11萬組,每秒執行約81000次);操作都是原子的;多用途工具(在許多用例中使用)。
缺點:不支持連接;存儲過程所需的Lua知識;數據集必須很好地適應內存。
4、HBase
HBase是一個分布式的、面向列的開源資料庫,該技術來源於 Fay Chang 所撰寫的Google論文「Bigtable:一個結構化數據的分布式存儲系統」。就像Bigtable利用了Google文件系統(File System)所提供的分布式數據存儲一樣,HBase在Hadoop之上提供了類似於Bigtable的能力。
HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫,它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。
5、neo4j
Neo4j被稱為原生圖資料庫,因為它有效地實現了屬性圖模型,一直到存儲層。這意味著數據完全按照白板的方式存儲,資料庫使用指針導航和遍歷圖。Neo4j有資料庫的社區版和企業版。企業版包括Community Edition必須提供的所有功能,以及額外的企業需求,如備份、集群和故障轉移功能。
特點:它支持唯一的約束;Neo4j支持完整的ACID(原子性、一致性、隔離性和持久性)規則;Java API: Cypher API和本機Java API;使用Apache Lucence索引;簡單查詢語言Neo4j CQL;包含用於執行CQL命令的UI: Neo4j Data Browser。
優點:容易檢索其相鄰節點或關系細節,無需連接或索引;易於學習Neo4j CQL查詢語言命令;不需要復雜的連接來檢索數據;非常容易地表示半結構化數據;大型企業實時應用程序的高可用性;簡化的調優。
缺點:不支持分片
E. python matplotlib 依賴哪些包
Matplotlib 需要大量的依賴:
Python(>= 2.7 or >= 3.4)
NumPy(>= 1.7.1)
setuptools
dateutil(>= 2.0)
pyparsing
libpng(>= 1.2)
pytz
FreeType (>= 2.3)
cycler(>= 0.10.0)
six
backports.functools_lru_cache
(僅 Python 2.7 )
subprocess32
(僅 Python2.7 , 僅 Linux 和 macOS 平台)
F. python教程哪裡下載
一、Python入門到進階的 廖雪峰 Python & JS & Git 教程PDF版 鏈接:G. python哪些標准庫
標准庫比較多 功能也不同:
標准庫
sys
系統相關的參數和函數。 sys 庫一般用來訪問和修改系統相關信息,比如查看 python 版本、系統環境變數、模塊信息和 python 解釋器相關信息等等。
os
操作系統介面模塊。這個庫提供了訪問操作系統相關依賴的方式,比如輸入輸出操作、讀寫操作、操作系統異常錯誤信息、進程線程管理、文件管理、調度程序等等。
re
正則表達式操作。這個庫是我喜歡並且經常會用到的庫,在對大量字元串進行處理的時候用正則表達式是最快速有效的方式,但是正則表達式的學習曲線較高,有興趣的朋友可以訪問這個網站學習。
math
數學函數庫。 math 庫提供了對 C 語言標準定義的數學函數訪問,比如數論(Number-theoretic)的各種表示方法、冪和對數函數(Power and logarithmic functions)、三角函數(Trigonometric functions)、常量圓周率(π)和自然常數(e)等等。
random
生成偽隨機數。
偽隨機數與隨機數(真隨機數)不同的是執行環境,隨機數是真實世界中通過物理過程實踐得出結論,而偽隨機數是通過計算機的特定演算法生成的數,所以這個過程是可預測的、有規律的,只是循環周期較長,並不能與現實場景相切合。
random庫提供生成隨機數,可以模擬現實世界中隨機取數、隨機抽獎等等。
logging
日誌記錄工具。這個庫提供了對應用程序和庫函數的日誌記錄,日常開發中我們經常需要通過日誌列印出當前程序的運行狀態,實時查看可能出現的堆棧異常和錯誤信息。
json
Json 編碼和解碼器。 json 庫提供了對 json 數據的支持,日常開發中我們做前後端分離需要對傳輸數據 json 進行序列化和反序列化操作,以保證對數據的完整性和有效性,而序列化和反序列化其實就是編碼和解碼的過程。
pickle
Python 對象序列化庫。 pickle 庫支持對 python 對象進行序列化和反序列化操作,當我們需要將處理好的對象保存到文件或資料庫中時,就可以將其序列化成二進制數據,從而更好的保存起來。
shelve
Python 對象持久化。簡單的數據存儲方案。
socket
底層網路介面。 socket(套接字) 庫提供了標準的BSD(伯克利套接字) Socket API,可以通過訪問底層操作系統 Socket 的相關介面進行網路通訊。
datetime
基本日期和時間類型庫。該庫提供了各種簡單和復雜的方式處理日期和時間,日常我們會用時間測算時間消耗、復雜度,對存儲的創建時間和修改時間也需要進一步說明,對計時器的描述和控制也需要用到該庫。
hashlib
安全哈希和消息摘要。摘要演算法 其實就是對某些數據進行加密(不可逆的加密演算法),因為被加密的數據無法破解,所以就能防止被篡改。常見的摘要演算法有 MD5、SHA1,一般我們會用 MD5 對用戶口令進行加密,防止盜用後被輕易破解;而 SHA1 與 MD5 類似,但是 SHA1 會產生更長的長度,也更安全,但是演算法的復雜性通常伴隨著存儲空間和時間的消耗。要說比SHA1更長的字元長度,還有 SHA224、SHA256、SHA384 和 SHA512,看名字就能知道。
大家都知道無論演算法生成的字元長度如何都有可能發生碰撞(被破解),這是不可避免的,所以具體場景具體情況而定。
configparser
配置文件解析器。 configparser 庫可以輕松定製配置文件,通過解析配置文件的信息我們就可以全局訪問相關配置。
urllib
URL 處理模塊。 urllib 庫集成了處理 URLs(統一資源定位符)的各種模塊:
URL urllib.request URL robots.txt urllib 庫對訪問網路有很好的支持,提供了對數據的訪問和處理、文件的上傳和下載、記錄 cookie 和 session 等等。
itertools
為高效循環而創建迭代器的函數。 itertools 庫也是經常需要用到,當我們要對某些數進行 for-in 時就需要先將其處理成一個可迭代對象,之後我們才能進行遍歷操作。
collections
容器數據類型庫。 collections 庫提供了對所有容器數據類型的支持,包括 dict, list, set 和 tuple。我們可以用此庫對不同數據類型進行操作,常有的函數方法有這些:
namedtuple() 創建命名元組子類的工廠函數 deque 類似列表(list)的容器,實現了在兩端快速添加(append)和彈出(pop) ChainMap 類似字典(dict)的容器類,將多個映射集合到一個視圖裡面 Counter 字典的子類,提供了可哈希對象的計數功能 OrderedDict 字典的子類,保存了他們被添加的順序 defaultdict 字典的子類,提供了一個工廠函數,為字典查詢提供一個默認值 UserDict 封裝了字典對象,簡化了字典子類化 UserList 封裝了列表對象,簡化了列表子類化 UserString 封裝了列表對象,簡化了字元串子類化 functools
高階函數和可調用對象上的操作。該庫主要調用高階函數,是常規函數的一種補充。目前庫中包含以下幾種函數:
cmp_to_key lru_cache total_ordering partial partialmethod rece singledispatch update_wrapper wraps threading
線程並行庫。 threading 庫支持線程和多線程的操作,針對多線程並發的問題可以給數據加同步鎖,一次只能讓一個線程處理數據,從而避免出現數據讀寫混亂。
在 CPython 解釋器上,因為GIL(全局解釋器鎖)鎖機制的存在的,被設計成線程安全,所以同一時間只能執行一個線程,這就導致了多線程不能發揮出計算機的多核特性。
multiprocessing
進程並行庫。 multiprocessing 庫與 threading 庫很類似,不同的是進程庫可以創建子進程避開 GIL,從而彌補線程庫存在的劣勢和發揮計算機的多核特性。
timeit
測量小代碼片段的執行時間。此庫主要用來計算運行代碼的時間消耗,支持多種方式傳入參數。
atexit
退出處理器。當處理一個函數需要立馬退出時可以使用該庫。
abc
抽象基類。 abc 庫定義抽象基類,以便其他類派生出新類。比如 collections 容器庫中就有此派生出的 collections.abc 類,派生出來的類可以進一步實現。
asyncio
非同步IO庫。 asyncio 庫是一個用 async/await 關鍵字編寫並發的庫,為多個非同步框架提供基礎功能,能夠實現高性能的網路、Web伺服器、資料庫連接和分布式任務隊列等。
淺層和深層復制操作。 庫提供對對象的拷貝,我們都知道要製作對象副本,是無法通過簡單值傳遞創建新變數的方式做到,因為新變數所指向的內存空間依舊是原對象本身,所以對新變數進行任何操作都會改變原對象。那麼, 庫就提供了製作對象副本的各種方法,會開辟一個新的內存空間存放副本對象,修改操作不會對原對象有任何干預。
csv
csv(Comma Separated Values)文件讀寫庫。此庫支持以純文本的形式存儲表格數據(數字和文本)。
operator
標准運算符替代函數庫。此庫是將 python 自有的運算符作為有效函數,比如表達式 x+y 可以用函數 operator.add(x, y) 表示;比如表達式 a*b 可以用函數 operator.mul(a, b) 表示,等等。
enum
枚舉庫。 enum 庫支持創建枚舉類來存儲大量同類型的不可變常量,以便其他函數調用。創建出來的枚舉類是可迭代對象,所以可以用 for-in 枚舉出所有常量。
heapq
堆隊列演算法。這個模塊提供了堆隊列演算法的實現,也稱為優先隊列演算法。優先隊列中的每個元素都有各自的優先順序,優先順序最高的元素最先得到服務。所以當我們要求前n最大/最小值的時候就可以用此演算法來實現, heapq 庫中也提供了相應函數實現。
http
HTTP 模塊。 http 模塊是一個包,收集了多個處理超文本傳輸協議的模塊:
urllib.request http 模塊通過 http.HTTPStatus 枚舉定義了HTTP狀態碼 以及相關聯消息。
profile、pstats
性能分析工具。 profile 模塊提供了 profile 和 cProfile 兩種不同實現的性能分析工具,可用來描述程序各個部分的執行時間和頻率,統計後的信息可以通過 pstats 模塊保存並使用。
ssl
TLS/SSL(傳輸安全協議)。此模塊提供對安全協議的支持,通過應用上下文,可將 TLS(傳輸層安全性協議)或其前身 SSL(安全套接層)支持安全協議,能為互聯網通信提供安全和數據完整性保障。一般 HTTPS 協議都支持 TLS/SSL 加密。
unitest
單元測試框架。 unitest 庫常用於單元測試,受到 JUnit 和其他主流測試庫的啟發, unitest 庫的功能和函數與它們有著相似的風格。
uuid
UUID庫。 uuid 庫主要用途是生成隨機字元串,庫中有多個版本的 UUID 對象方法,比如版本 1、3、4 和 5 的 uuid1() 、 uuid3() 、 uuid4() 和 uuid5() 。需要注意的是,如果要生成隨機字元串,可以使用 uuid1() 和 uuid4() ,但是 uuid1() 會存在隱私風險,因為生成的原理里邊包含用戶訪問計算機的網路地址,而 uuid4() 是通過隨機字元生成。
希望可以幫助到你。