python運維項目

㈠ python就業方向有哪些

① Web開發：眾多大型網站均為 python 開發。

豆瓣：公司幾乎所有的業務均是通過 python 開發的

知乎：國內最大的問答社區，通過 python 開發(Quora) 春雨醫生：國內知名的在線醫療網站是用 python 開發的

還有搜狐、金山、騰訊、盛大、網易、網路、阿里、淘寶、土豆、新浪、果殼等公司都在使用 python 完成各種各樣的任務。

國外的網站：

谷歌：Google App Engine、code.Google.com、Google earth、谷歌爬蟲、Google 廣告等項目都在大量使用 python 開發

CIA：美國中情局網站就是用 python 開發的

NASA：美國航天局(NASA)大量使用 python 進行數據分析和運算

YouTube：世界上最大的視頻網站 YouTube 就是 python 開發的

Dropbox：美國最大的在線雲存儲網站，全部用 python 實現，每天網站處理 10 億個文件的上傳和下載

Instagram：美國最大的圖片分享社交網站，每天超過 3 千萬張照片被分享，全部用 python 開發

Facebook：大量的基礎庫均通過 python 實現的

Redhat：世界上最流行的 linux 發新版本中的 yum 包管理工具就是用 python 開發的

② 爬蟲：

現在是大數據時代，爬蟲是屬於運營的比較多的一個場景吧,比如谷歌的爬蟲早期就是用跑Python寫的，如果你對採集數據、處理數據感興趣，爬蟲工程師將會是一個很好的選擇。

③ 數據分析：

一般我們用爬蟲爬到了大量的數據之後，我們需要處理數據用來分析，不然爬蟲白爬了，我們最終的目的就是分析數據，在這方面關於數據分析的庫也是非常的豐富的，各種圖形分析圖等都可以做出來。也是非常的方便，其中諸如Seaborn這樣的可視化庫，能夠僅僅使用一兩行就對數據進行繪圖，而利Pandas和Numpy、scipy則可以簡單地對大量數據進行篩選、回歸等計算。

④ 人工智慧：

Python近年來被人們熟知的主要原因就是人工智慧領域的興起。

Python在科學計算領域一直有著較好的聲譽，其簡潔清晰的語法以及豐富的計算工具，深受此領域開發者喜愛。

python 由於具有編寫簡單、改動少等特點。特別適合用在機器學習方向。並且提供了豐富的庫。減少了學習人工智慧的成本。

Python開發工程師、爬蟲工程師、人工智慧工程師都是發展很不錯的就業崗位，在招聘網站上的崗位需求也是比較大的。

㈡ python都可以干什麼

Python的應用方向

1. 常規軟體開發

Python支持函數式編程和OOP面向對象編程，能夠承擔任何種類軟體的開發工作，因此常規的軟體開發、腳本編寫、網路編程等都屬於標配能力。

2. 科學計算

隨著NumPy，SciPy，Matplotlib，Enthoughtlibrarys等眾多程序庫的開發，Python越來越適合於做科學計算、繪制高質量的2D和3D圖像。和科學計算領域最流行的商業軟體Matlab相比，Python是一門通用的程序設計語言，比Matlab所採用的腳本語言的應用范圍更廣泛，有更多的程序庫的支持。雖然Matlab中的許多高級功能和toolbox目前還是無法替代的，不過在日常的科研開發之中仍然有很多的工作是可以用Python代勞的。

3. 自動化運維

這幾乎是Python應用的自留地，作為運維工程師首選的編程語言，Python在自動化運維方面已經深入人心，比如Saltstack和Ansible都是大名鼎鼎的自動化平台。

4. 雲計算

開源雲計算解決方案OpenStack就是基於Python開發的，搞雲計算的同學都懂的。

5. WEB開發

基於Python的Web開發框架不要太多，比如耳熟能詳的Django，還有Tornado，Flask。其中的Python+Django架構，應用范圍非常廣，開發速度非常快，學習門檻也很低，能夠幫助你快速的搭建起可用的WEB服務。

6. 網路爬蟲

也稱網路蜘蛛，是大數據行業獲取數據的核心工具。沒有網路爬蟲自動地、不分晝夜地、高智能地在互聯網上爬取免費的數據，那些大數據相關的公司恐怕要少四分之三。能夠編寫網路爬蟲的編程語言有不少，但Python絕對是其中的主流之一，其Scripy爬蟲框架應用非常廣泛。

7. 數據分析

在大量數據的基礎上，結合科學計算、機器學習等技術，對數據進行清洗、去重、規格化和針對性的分析是大數據行業的基石。Python是數據分析的主流語言之一。

8. 人工智慧

Python在人工智慧大范疇領域內的機器學習、神經網路、深度學習等方面都是主流的編程語言，得到廣泛的支持和應用。

參考：網頁鏈接

㈢ 請問python大神自動化運維為什麼要使用python

運維學習Python到底能夠帶來多大的收益？
上午我QQ的一個運維技術群不知道什麼時候開始聊起作為運維人有沒有必要再學習一門編程語言，學什麼最好等，一開始開始我沒看，沒想到竟然在群里討論了近2個小時，一般情況這種問題的都是運維新人，可能目前運維整體情況還不太了解，所以為了讓更多的讓新入行朋友不在迷茫，今天呢我就這個問題表達下我的看法。

一、那作為運維人員要不要學習一門編程語言？

我給出的答案是：「如果不學習一門編程語言，再過2年你可能就得下崗」，我這絕不是危言聳聽，不信你搜下現在對運維崗位的技能要求看看，但如果不夠深刻，那接下里我們從現在運維的情況和未來運維的發展來分析下具體原因：

早些年的運維，基本是會部署個環境，懂點linux命令，再往後點呢，能用shell寫出日常用的自動化腳本，滿足業務的需求基本就可以了，企業對運維要求也是這些，一句話：別出事。但隨著計算機技術的發展，凡是跟技術沾邊的都經過不斷迭代更新，運維屬於技術機的一個分支，也經歷了翻天覆地變化，現在這個時期我個人判斷是要體現運維價值的時代，所以不創造價值的工作將逐漸被自動化運維平台所取代，也就是說之前上線部署很復雜的操作，通過一個運維自動化平台點點滑鼠就可以完成實現，徹底拜託了對人的依賴，這個時期最明顯的就是各個公司基本都有自己的運維平台，要麼再建設中，要麼已經建完了，如果平台就已建完，出於對公司人力成本的考慮，最基礎的運維操作會由類似客服部門的人來負責，所以隨著時間的推移，一些只做日常操作的運維將逐漸從公司消失，那按這個邏輯，既然要搭建運維平台，用shell肯定是不能滿足了，所以你必須學習一門編程語言，這樣你才可能拿到進入這個行業的門票。

以上就是我對大家所討論問題的看法，不對的地方請斧正，如果您也認同，請讓更多的人看到，讓密迷茫的人不在迷茫，最後一句話送給大家共勉，做技術：

時間千萬不要浪費在選擇上，而要多用在行動上！
Python是個非常牛B的腳本語言，能滿足絕大部分自動化運維的需求，又能做後端C/S架構，又能用WEB框架快速開發出高大上的Web界面，只有當你自已有能力做出一套運維自動化系統的時候，你的價值才體現出來，你才有資格跟老闆談重視。加企鵝Q秋：444加513和089連在一起，如果你想學習，這就是你的一個學習機會，提升你的個人價值，你跟大牛隻差一次努力的學習！吹過牛逼不如努力一搏，還在迷茫，還在停滯不前的運維終究會被努力的別人所超越！

㈣ 如何基於Python構建一個可擴展的運維自動化平台

Django- 一個開放源代碼的 Web 應用框架，由 Python 寫成，採用了 MVC 的軟體設計模式；
rpyc- 一個 Python 實現的 RPC 和分布式計算的工具。支持同步和非同步操作、回調等；
saltstack 、 ansible 、 func - 基本 Python 開發的自動化配置管理與流程式控制制組件；
Mysql- 是一個非常流行的關系型資料庫管理系統。
二、平台架構設計
1、 OMServer 架構圖

大家對這個架構應該不會感到陌生，三層結構也是目前主流的運營平台架構。
2、 架構說明
OMServer 平台為三層架構，分別為 WEB 交互層、分布式計算層、集群管理服務層。
1） 、第一層：即為 WEB 交互層，典型的 B/S 架構，以供管理員操作的交互平台，也是 OMServer 的核心，基於 Django 開發；
2） 、第二層：分布式計算層，提供與主控端的連接通道，採用的是 rpyc 傳輸協議，協議操作流程：前端模塊參數 -> 加密傳輸 -> 任務執行 -> 返回結果集 -> 解密輸出。
3） 、第三層：集群管理服務層，整合 Python 主流的遠程操作組件（支持 Saltstack 、 Anaible、 Func ），對被控端（業務伺服器集群）進行管理，其中主控端可以根據不同 IDC 環境，採用多地多點的管理方式，可提升冗餘度及執行效率。主控端操作模塊以不同 Python 文件加以區分，便於維護，可靈活定製操作邏輯及橫向擴展等特點。

㈤ Python學習，有哪些方向可以選擇

Python的就業方向有很多，但是只有選擇適合自己的才能支撐自己走得更遠。

1、常規軟體開發

Python支持函數式編程和OOP面向對象編程，能夠承擔任何種類軟體的開發工作，因此常規的軟體開發、腳本編寫、網路編程等都屬於標配能力。

2、爬蟲

顧名思義，就是用Python收集和爬取互聯網的信息，也是很多小夥伴們學習Python的第一驅動力，總覺得Python就是天然為爬蟲而生，簡單快速，可能靠人力一周才能完成的工作，你泡著咖啡、跑10分鍾爬蟲即可，真的非常有成就感。無論營銷、運營還是產品經理，高效獲取有效數據已成為職場必備技能。

3、Python數據分析

如今公司的產品都建立在對用戶的分析之上，也就是所有的商業公司都需要這樣一個角色，學會了爬蟲，便有了數據來源，運用這些數據以及相應的爬蟲庫和excel表格，就可以進行簡單的數據分析。

4、Python Web網站工程師

Web一直都是不可忽視的存在，利用Python的框架做一些頁面精美的網站，Python有很多優秀的Web開發框架，如Flask、Django、Bootstar 等，可以幫助你快速搭建一個網站。

5、人工智慧

Python是人工智慧時代的頭牌語言，不管是機器學習（Machine Learning）還是深度學習（Deep Learning），最常用的工具和框架都需要用Python調用，Python是人工智慧工程師的必備技能之一。

6、自動化運維工程師

運維是必須而且一定要掌握Python語言，使用Python可以自動化批量管理伺服器，起到1個人頂10個人的效果。它在系統管理、文檔管理方面都有很強大的功能。

7、Python自動化測試工程師

Python語言對測試的幫助是非常大的，自動化測試中Python語言的用途很廣，Python提供了很多自動化測試的框架，如Selenium、Pytest等，避免了大量的重復工作，Python自動化測試也變得越來越流行。

8、游戲開發

游戲伺服器領域，主要負責網路游戲的伺服器功能開發、性能優化等工作。

Python沒有非常強勢的問題，但是它簡單的語言結構應用非常廣泛，無論上述你選擇哪個方向，都是不會錯的。

㈥ 純干貨！python 在運維中的應用 (一)：批量 ssh/sftp

日常工作中需要大量、頻繁地使用ssh到伺服器查看、拉取相關的信息或者對伺服器進行變更。目前公司大量使用的shell，但是隨著邏輯的復雜化、腳本管理的精細化，shell已經不滿足日常需求，於是我嘗試整合工作中的需求，製作適合的工具。 由於管理制度的缺陷，我以工作流程為核心思考適合自己的運維方式，提升工作效率，把時間留給更有價值的事情。 完整代碼在最後，請大家參考。

生產：4000+物理伺服器，近 3000 台虛擬機。

開發環境：python3.6、redhat7.9，除了paramiko為第三方模塊需要自己安裝，其他的直接import即可。

批量執行操作是一把雙刃劍。批量執行操作可以提升工作效率，但是隨之而來的風險不可忽略。

風險案例如下：

掛載很多數據盤，通常先格式化硬碟，再掛載數據盤，最後再寫入將開機掛載信息寫入/etc/fstab文件。在批量lsblk檢查硬碟信息的時候發現有的系統盤在/sda有的在/sdm，如果不事先檢查機器相關配置是否一致直接按照工作經驗去執行批量操作，會很容易造成個人難以承受的災難。

在執行批量操作時按照慣例：格式化硬碟->掛載->開機掛載的順序去執行，假設有的機器因為某些故障導致格式化硬碟沒法正確執行。在處理這類問題的時候通常會先提取出失敗的ip，並再按照慣例執行操作。運維人員會很容易忽略開機掛載的信息已經寫過了，導致復寫（這都是血和淚的教訓）。

所以，為了避免故障，提升工作效率，我認為應當建立團隊在工作上的共識，應當遵守以下原則：

當然，代碼的規范也應當重視起來，不僅是為了便於審計，同時也需要便於溯源。我認為應當注意以下幾點：

1、ssh no existing session，sftp超時時間設置:

在代碼無錯的情況下大量ip出現No existing session，排查後定位在代碼的寫法上，下面是一個正確的示例。由於最開始沒考慮到ssh連接的幾種情況導致了重寫好幾遍。另外sftp的實例貌似不能直接設置連接超時時間，所以我採用了先建立ssh連接再打開sftp的方法。

2、sftp中的get()和put()方法僅能傳文件，不支持直接傳目錄：

不能直接傳目錄，那換個思路，遍歷路徑中的目錄和文件，先創建目錄再傳文件就能達到一樣的效果了。在paramiko的sftp中sftp.listdir_attr()方法可以獲取遠程路徑中的文件、目錄信息。那麼我們可以寫一個遞歸來遍歷遠程路徑中的所有文件和目錄(傳入一個列表是為了接收遞歸返回的值)。

python自帶的os模塊中的os.walk()方法可以遍歷到本地路徑中的目錄和文件。

3、多線程多個ip使用sftp.get()方法時無法並發。

改成多進程即可。

4、多個ip需要執行相同命令或不同的命令。

由於是日常使用的場景不會很復雜，所以借鑒了ansible的playbook，讀取提前准備好的配置文件即可，然後再整合到之前定義的ssh函數中。

同時，我們還衍生出一個需求，既然都要讀取配置，那同樣也可以提前把ip地址准備在文件里。正好也能讀取我們返回的執行程序的結果。

參數說明：

密碼認證：

公鑰認證：

可以配合 grep，awk 等命令精準過濾。

個人認為 Python 在初中級運維工作中的性質更像是工具，以提升工作效率、減少管理成本為主。可以從當前繁瑣的工作中解脫出來，去 探索 更有價值的事情。python 本質上並不會減少故障的產生，所以在不同的階段合理利用自身掌握的知識解決當前最重要的痛點，千萬不要本末倒置。

㈦ Python能幹什麼，Python的應用領域

Python 作為一種功能強大的編程語言，因其簡單易學而受到很多開發者的青睞。那麼，Python 的應用領域有哪些呢？

概括起來，Python 的應用領域主要有如下幾個。

Web應用開發
Python 經常被用於 Web 開發。例如，通過 mod_wsgi 模塊，Apache 可以運行用 Python 編寫的 Web 程序。Python 定義了 WSGI 標准應用介面來協調 HTTP 伺服器與基於 Python 的 Web 程序之間的通信。

不僅如此，一些 Web 框架（如 Django、TurboGears、web2py 等等）可以讓程序員輕松地開發和管理復雜的Web程序。

舉個最直觀的例子，全球最大的搜索引擎 Google，在其網路搜索系統中就廣泛使用 Python 語言。另外，我們經常訪問的集電影、讀書、音樂於一體的豆瓣網，也是使用 Python 實現的。
操作系統管理、自動化運維開發
很多操作系統中，Python 是標準的系統組件，大多數 Linux 發行版以及 NetBSD、OpenBSD 和 Mac OS X 都集成了 Python，可以在終端下直接運行 Python。
有一些 Linux 發行版的安裝器使用 Python 語言編寫，例如 Ubuntu 的 Ubiquity 安裝器、Red Hat Linux 和 Fedora 的 Anaconda 安裝器等等。
另外，Python 標准庫中包含了多個可用來調用操作系統功能的庫。例如，通過 pywin32 這個軟體包，我們能訪問 Windows 的 COM 服務以及其他 Windows API；使用 IronPython，我們能夠直接調用 .Net Framework。
通常情況下，Python 編寫的系統管理腳本，無論是可讀性，還是性能、代碼重用度以及擴展性方面，都優於普通的 shell 腳本。
游戲開發
很多游戲使用 C++ 編寫圖形顯示等高性能模塊，而使用 Python 或 Lua 編寫游戲的邏輯。和 Python 相比，Lua 的功能更簡單，體積更小；而 Python 則支持更多的特性和數據類型。
編寫伺服器軟體
Python 對於各種網路協議的支持很完善，所以經常被用於編寫伺服器軟體以及網路爬蟲。
比如說，Python 的第三方庫 Twisted，它支持非同步網路編程和多數標準的網路協議（包含客戶端和伺服器端），並且提供了多種工具，因此被廣泛用於編寫高性能的伺服器軟體。
科學計算
NumPy、SciPy、Matplotlib 可以讓 Python 程序員編寫科學計算程序。
以上都只是 Python 應用領域的冰山一角，總的來說，Python 語言不僅可以應用到網路編程、游戲開發等領域，還可以在圖形圖像處理、只能機器人、爬取數據、自動化運維等多方面展露頭角，為開發者提供簡約、優雅的編程體驗。