python項目結構
⑴ 如何設計結構清晰的 python 工程目錄結構
1. 使用專業的項目構建發布工具來構建項目目錄. 如 buildout . 其目錄結構絕對比自己創建來的漂亮.
2. log目錄最好不要放到項目里
3. 缺少 setup.py
4. 缺少 requirements.txt
⑵ Python 非同步任務隊列Celery 使用
在 Python 中定義 Celery 的時候,我們要引入 Broker,中文翻譯過來就是「中間人」的意思。在工頭(生產者)提出任務的時候,把所有的任務放到 Broker 裡面,在 Broker 的另外一頭,一群碼農(消費者)等著取出一個個任務准備著手做。這種模式註定了整個系統會是個開環系統,工頭對於碼農們把任務做的怎樣是不知情的。所以我們要引入 Backend 來保存每次任務的結果。這個 Backend 也是存儲任務的信息用的,只不過這里存的是那些任務的返回結果。我們可以選擇只讓錯誤執行的任務返回結果到 Backend,這樣我們取回結果,便可以知道有多少任務執行失敗了。
其實現架構如下圖所示:
可以看到,Celery 主要包含以下幾個模塊:
celery可以通過pip自動安裝。
broker 可選擇使用RabbitMQ/redis,backend可選擇使用RabbitMQ/redis/MongoDB。RabbitMQ/redis/mongoDB的安裝請參考對應的官方文檔。
------------------------------rabbitmq相關----------------------------------------------------------
官網安裝方法: http://www.rabbitmq.com/install-windows.html
啟動管理插件:sbin/rabbitmq-plugins enable rabbitmq_management 啟動rabbitmq:sbin/rabbitmq-server -detached
rabbitmq已經啟動,可以打開頁面來看看 地址: http://localhost:15672/#/
用戶名密碼都是guest 。進入可以看到具體頁面。 關於rabbitmq的配置,網上很多 自己去搜以下就ok了。
------------------------------rabbitmq相關--------------------------------------------------------
項目結構如下:
使用前,需要三個方面:celery配置,celery實例,需執行的任務函數,如下:
Celery 的配置比較多,可以在 官方配置文檔: http://docs.celeryproject.org/en/latest/userguide/configuration.html 查詢每個配置項的含義。
當然,要保證上述非同步任務and下述定時任務都能正常執行,就需要先啟動celery worker,啟動命令行如下:
需 啟動beat ,執行定時任務時, Celery會通過celery beat進程來完成。Celery beat會保持運行, 一旦到了某一定時任務需要執行時, Celery beat便將其加入到queue中. 不像worker進程, Celery beat只需要一個即可。而且為了避免有重復的任務被發送出去,所以Celery beat僅能有一個。
命令行啟動:
如果你想將celery worker/beat要放到後台運行,推薦可以扔給supervisor。
supervisor.conf如下:
⑶ Python能用來做什麼
Python是當前非常熱門、應用范圍非常廣、使用人員非常多的編程語言。每年都有很多的初學者開始接觸並愛上Python語言。作為一門開源的編程語言,其學習教程、技術書籍有很多,各有優缺點。
Python是一門強大的語言,可用於Web開發、自動化運維、科學計算、網路爬蟲、數據分析、機器學習、深度學習等幾乎所有主流應用方向。尤其是Python+Django的Web開發組合。更是開發大型新聞網站、博客系統、自動化運維憑他的最佳選擇。
⑷ 怎麼樣理解一個python項目的各種文件
在Python中引用是非常簡單的事情,這里需要清楚三個概念就可以了包、模塊、類。類這個就不用說了。
模塊對應的是一個.py文件,那麼mole_name就是這個文件去掉.py之後的文件名,py文件中可以直接定義一些變數、函數、類。
那麼包我們可以看作一個包含__init__.py和一系列.py文件的文件夾,這樣做的目的是為了區別包和普通字元串。
importmole_name
frompackage_nameimportmole_name
frompackage_nameimport *
那麼如何import時,python解釋器如何才能找到該模塊放置的文件位置呢?python尋找模塊的優先順序如下:
1、當前文件目錄
2、環境變數PYTHONPATH
3、sys.path(list類型)
sys.path是list類型,我們可以通過insert(), append()方法來增加模塊導入的搜索路徑,如:
import sys
path = 「……」 #需要增加的路徑
sys.path.insert(0, path)
在import模塊時,該模塊的頂層代碼將會被執行一次。如果該模塊被import多次,例如import A, import B.其中B模塊本身也有import A,那麼只在第一次被import的時候頂層代碼會被執行。
模塊能像包含函數定義一樣,可包含一些可執行語句。這些可執行語句通常用來進行模塊的初始化工作。這些語句只在模塊第一次被導入時被執行。這非常重要,有些人以為這些語句會多次導入多次執行,其實不然。
模塊在被導入執行時,python解釋器為加快程序的啟動速度,會在與模塊文件同一目錄下生成.pyc文件。我們知道python是解釋性的腳本語言,而.pyc是經過編譯後的位元組碼,這一工作會自動完成,而無需程序員手動執行。
什麼時候你應該使用frommoleimport?
如果你要經常訪問模塊的屬性和方法,且不想一遍又一遍地敲入模塊名,使用frommoleimport。
如果你想要有選擇地導入某些屬性和方法,而不想要其它的,使用frommoleimport。
如果模塊包含的屬性和方法與你的某個模塊同名,你必須使用importmole來避免名字沖突。
除了這些情況,剩下的只是風格問題了,你會看到用兩種方式編寫的Python代碼。
盡量少用from mole import *,因為判定一個特殊的函數或屬性是從哪來的有些困難,並且會造成調試和重構都更困難。
其它要點:
包
在創建許許多多模塊後,我們可能希望將某些功能相近的文件組織在同一文件夾下,這里就需要運用包的概念了。包對應於文件夾,使用包的方式跟模塊也類似,唯一需要注意的是,當文件夾當作包使用時,文件夾需要包含__init__.py文件,主要是為了避免將文件夾名當作普通的字元串。__init__.py的內容可以為空,一般用來進行包的某些初始化工作或者設置__all__值,__all__是在from package-name import *這語句使用的,全部導出定義過的模塊。
那麼我們平常新建文件的時候,都是建一個.py文件(類似java,但是python不用建立類,是以模塊為載體)至於怎樣組織包就要功能需要了
在C/C++/Java中,main是程序執行的起點,Python中,也有類似的運行機制,但方式卻截然不同:Python使用縮進對齊組織代碼的執行,所有沒有縮進的代碼(非函數定義和類定義),都會在載入時自動執行,這些代碼,可以認為是Python的main函數。
每個文件(模塊)都可以任意寫一些沒有縮進的代碼,並且在載入時自動執行,為了區分主執行文件還是被調用的文件,Python引入了一個變數__name__,當文件是被調用時,__name__的值為模塊名,當文件被執行時,__name__為'__main__'。這個特性,為測試驅動開發提供了極好的支持,我們可以在每個模塊中寫上測試代碼,這些測試代碼僅當模塊被Python直接執行時才會運行,代碼和測試完美的結合在一起。
典型的Python文件結構:
python import模塊方法
python包含子目錄中的模塊方法比較簡單,關鍵是能夠在sys.path裡面找到通向模塊文件的路徑。
下面將具體介紹幾種常用情況:
(1)主程序與模塊程序在同一目錄下:
如下面程序結構:
`-- src
|-- mod1.py
`-- test1.py
若在程序test1.py中導入模塊mod1, 則直接使用importmod1或from mod1 import *;
(2)主程序所在目錄是模塊所在目錄的父(或祖輩)目錄
如下面程序結構:
`-- src
|-- mod1.py
|-- mod2
| `-- mod2.py
`-- test1.py
若在程序test1.py中導入模塊mod2, 需要在mod2文件夾中建立空文件__init__.py文件(也可以在該文件中自定義輸出模塊介面); 然後使用 from mod2.mod2 import * 或import mod2.mod2.
(3)主程序導入上層目錄中模塊或其他目錄(平級)下的模塊
如下面程序結構:
`-- src
|-- mod1.py
|-- mod2
| `-- mod2.py
|-- sub
| `-- test2.py
`-- test1.py
若在程序test2.py中導入模塊mod1和mod2。首先需要在mod2下建立__init__.py文件(同(2)),src下不必建立該文件。然後調用方式如下:
下面程序執行方式均在程序文件所在目錄下執行,如test2.py是在cd sub;之後執行python test2.py
而test1.py是在cd src;之後執行python test1.py; 不保證在src目錄下執行python sub/test2.py成功。
import sys
sys.path.append("..")
import mod1
import mod2.mod2
(4)從(3)可以看出,導入模塊關鍵是能夠根據