演算法加運維

① 相比傳統運維工具，AIOps的優勢在哪裡

作為一種將演算法集成到工具里的新型運維方式，AIOps 可以幫助企業最大程度地簡化運維工作，把 IT 從耗時又容易出錯的流程中解放出來。

有了 AIOps，當 IT 出現故障隱患，運維人員不需要再等待系統發出故障告警，通過內置的機器學習演算法以及大數據技術，就能自動發現系統的各類異常，從而實現從異常入手判斷故障發生的鎮老扮可能性、嚴重性和影響，依賴機器對數據的分析結果，判斷最佳的應對方案。

由此可以看出，基於 AIOps 的管理方法對監控式運維的底層技術實現了顛覆。傳統 IT 運維管理工具更為關注突發事件（即告警）、配置和性能，而 AIOps 則更加關注問題、分析和預測御灶，二者可謂互相補充相得益彰。

對 IT 運維人員而言，當一條含兆告警被確認的時候，不但意味著你第一時間發現了業務故障，更意味著在故障發生的這一刻，業務已經受到了影響。而隨著 AIOps 的出現，IT 部門可以通過機器學習和演算法技術，事先發現 IT 系統的運行異常，提前進行故障的防範甚至規避措施，確保業務故障不出現或者少出現，這些對於 IT 和業務部門來說意義重大。

② 運維是做什麼的

不同類型的運維，具體的工作也是不一樣的，例舉部分如下：

1、運維工程師/運維開發工程師：負責具體的產品線運維工作，同時也需要掌握開發的能力，深入業務，最了解業務的痛點和問題，同時研發/優化針對產品業務需求的平台、工具和手段，能夠接觸到各類優秀的系統架構並有能力做出優劣對比。

同時對業務的掌控決定了相應運維工程師在業務發展中的作用。長遠發展是成為大型系統的架構師。

2、運維平台研發工程師：專門研發運維相關通用平台和技術，需要有一定的產品線運維經驗或從產品線中拿到運維需求。對研發能力有較高的要求，對系統的設計有較嚴格的標准，並且能夠理解用戶需求。

做出適合服務運維和滿足運維工程師使用體驗的運維產品，長遠的發展是成為各個技術縱向領域的技術專家。

3、資料庫研發工程師/資料庫工程師：資料庫方向是運維技術中較為特殊的一個方向，由於業務的重要性通常需要專設崗位，業界在該方向也有深厚的研究和積累。主要方向有資料庫內核、雲資料庫等，長遠發展是資料庫領域的技術專家，資料庫架構師。

4、運維經理：運維同學做事情的過程中通常需要協調多個RD和QA同學，對協調和推進能力要求比較高，對一些技術深度還不錯，協調和推進能力比較高的同學非常適合轉型管理職位，長遠的發展和技術部門的管理職位一樣目標是CTO、CEO。

5、業務運維工程師：主要負責監控線上的服務質量，響應異常/處理突發故障，在線發布/升級產品。和相應產品線的研發和測試協調處理產品問題，基於工作中的問題和數據分析進行抽取，將運維經驗理念落地沉澱為方法論/工具/系統/平台。

並制定相關的改進計劃，在各個技術方向上落地實現，最終反饋回運維工作中，提高運維本身的效率和產品的價值。

③ IT運維平台演算法背後的兩大「神助攻」

智能運維(AIops)是目前 IT 運維領域最火熱的詞彙，全稱是 Algorithmic IT operations platforms，正規翻譯是『基於演算法的 IT 運維平台』，直觀可見演算法是智能運維的核心要素之一。

本文主要談演算法對運維的作用，涉及異常檢測和歸因分析兩拆御隱方面，圍繞運維系統Kale 中 skyline、Oculus 模塊、Opprentice 系統、Granger causality（格蘭傑因果關系）、FastDTW 演算法等細節展開。

一、異常檢測

異常檢測，是運維工程師們最先可能接觸的地方了。畢竟監控告警是所有運維工作的基礎。設定告警閾值是一項耗時耗力的工作，需要運維人員在充分了解業務的前提下才能進行，還得考慮業務是不是平穩發展狀態，否則一兩周改動一次，運維工程師絕對是要發瘋的。

如果能將這部分工作交給演算法來解決，無疑是推翻一座大山。這件事情，機器學習當然可以做到。但是不用機器學習，基於數學統計的演算法，同樣可以，而且效果也不差。

異常檢測之Skyline異常檢測模塊

2013年，Etsy 開源了一個內部的運維系統，叫 Kale。其中的 skyline 部分，就是做異常檢測的模塊， 它提供了 9 種異常檢測演算法 ：

first_hour_average、

simple_stddev_from_moving_average、

stddev_from_moving_average、

mean_subtraction_cumulation、

least_squares

histogram_bins、

grubbs、

median_absolute_deviation、

Kolmogorov-Smirnov_test

簡要的概括來說，這9種演算法分為兩類：

從正態分布入手：假設數據服從高斯分布，可以通過標准差來確定絕大多數數據點的區間；或者根據分布的直方圖，落在過少直方里的數據就是異常；或者根據箱體圖分析來避免造成長尾影響。

從樣本校驗入手：採用 Kolmogorov-Smirnov、Shapiro-Wilk、Lilliefor 等非參數校驗方法。

這些都是統計學上的演算法，而不是機器學習的事情。當然，Etsy 這個 Skyline 項目並不是異常檢測的全部。

首先，這里只考慮了一個指標自己的狀態，從縱向的時序角度做旅廳異常檢測。而沒有考慮業務的復雜性導致的橫向異常。其次，提供了這么多種演算法，到底一個指標在哪種演算法下判斷的更准？這又是一個很難判斷的事情。

問題一： 實現上的抉擇。同樣的樣本校驗演算法，可以用來對比一個指標的當前和歷史情況，也可以用來對比多個指標里哪個跟別的指標不一樣。

問題二： Skyline 其實自己採用了一種特別朴實和簡單的辦法來做補充——9 個演算法每人一票，投票達到閾值就算數。至於這個閾值，一般算 6 或者 7 這樣，即佔到大多數即可。

異常檢測之Opprentice系統

作為對比，面對相同的問題，網路 SRE 的智能運維是怎麼處理的。在去年的 APMcon 上，網路工程師描述 Opprentice 系統的主要思想時，用了這么一張圖：

Opprentice 系統的主體流程為：

KPI 數據經過各式 detector 計算得到每個點的諸多 feature；

通過專門的交互工具，由運維人員標記 KPI 數據的異常時間段；

採用隨機森林演算法做異常分類。

其中 detector 有14種異常檢測演算法，如下圖：

我們可以看到其中很多演算法在 Etsy 的 Skyline 里同樣存在。不過，為避免給這么多演算法調配參數，直接採用的辦法是：每個參數的取值范圍均等分一下——反正隨機森林不要求什麼特徵工程。如，用 holt-winters 做為一類拆滾 detector。holt-winters 有α，β，γ 三個參數，取值范圍都是 [0, 1]。那麼它就采樣為 (0.2, 0.4, 0.6, 0.8)，也就是 4 ** 3 = 64 個可能。那麼每個點就此得到  64  個特徵值。

異常檢測之

Opprentice 系統與 Skyline 很相似

Opprentice 系統整個流程跟 skyline 的思想相似之處在於先通過不同的統計學上的演算法來嘗試發現異常，然後通過一個多數同意的方式/演算法來確定最終的判定結果。

只不過這里網路採用了一個隨機森林的演算法，來更靠譜一點的投票。而 Etsy 呢？在 skyline 開源幾個月後，他們內部又實現了新版本，叫 Thyme。利用了小波分解、傅里葉變換、Mann-whitney 檢測等等技術。

另外，社區在 Skyline 上同樣做了後續更新，Earthgecko 利用 Tsfresh 模塊來提取時序數據的特徵值，以此做多時序之間的異常檢測。我們可以看到，後續發展的兩種 Skyline，依然都沒有使用機器學習，而是進一步深度挖掘和調整時序相關的統計學演算法。

開源社區除了 Etsy，還有諸多巨頭也開源過各式其他的時序異常檢測演算法庫，大多是在 2015 年開始的。列舉如下：

Yahoo! 在去年開源的 egads 庫。(Java)

Twitter 在去年開源的 anomalydetection 庫。(R)

Netflix 在 2015 年開源的 Surus 庫。(Pig，基於PCA)

其中 Twitter 這個庫還被 port 到 Python 社區，有興趣的讀者也可以試試。

二、歸因分析

歸因分析是運維工作的下一大塊內容，就是收到報警以後的排障。對於簡單故障，應對方案一般也很簡單，採用 service restart engineering~ 但是在大規模 IT 環境下，通常一個故障會觸發或導致大面積的告警發生。如果能從大面積的告警中，找到最緊迫最要緊的那個，肯定能大大的縮短故障恢復時間(MTTR)。

這個故障定位的需求，通常被歸類為根因分析（RCA，Root Cause Analysis）。當然，RCA 可不止故障定位一個用途，性能優化的過程通常也是 RCA 的一種。

歸因分析之 Oculus 模塊

和異常檢測一樣，做 RCA 同樣是可以統計學和機器學習方法並行的~我們還是從統計學的角度開始。依然是 Etsy 的 kale 系統，其中除了做異常檢測的 skyline 以外，還有另外一部分，叫 Oculus。而且在 Etsy 重構 kale 2.0 的時候，Oculus 被認為是1.0 最成功的部分，完整保留下來了。

Oculus 的思路，用一句話描述，就是：如果一個監控指標的時間趨勢圖走勢，跟另一個監控指標的趨勢圖長得比較像，那它們很可能是被同一個根因影響的。那麼，如果整體 IT 環境內的時間同步是可靠的，且監控指標的顆粒度比較細的情況下，我們就可能近似的推斷：跟一個告警比較像的最早的那個監控指標，應該就是需要重點關注的根因了。

Oculus 截圖如下：

這部分使用的 計算方式有兩種：

歐式距離，就是不同時序數據，在相同時刻做對比。假如0分0秒，a和b相差1000，0分5秒，也相差1000，依次類推。

FastDTW，則加了一層偏移量，0分0秒的a和0分5秒的b相差1000，0分5秒的a和0分10秒的b也相差1000，依次類推。當然，演算法在這個簡單假設背後，是有很多降低計算復雜度的具體實現的，這里就不談了。

唯一可惜的是 Etsy 當初實現 Oculus 是基於 ES 的 0.20 版本，後來該版本一直沒有更新。現在停留在這么老版本的 ES 用戶應該很少了。除了 Oculus，還有很多其他產品，採用不同的統計學原理，達到類似的效果。

歸因分析之 Granger causality

Granger causality（格蘭傑因果關系）是一種演算法，簡單來說它通過比較「已知上一時刻所有信息，這一時刻 X 的概率分布情況」和「已知上一時刻除 Y 以外的所有信息，這一時刻 X 的概率分布情況」，來判斷 Y 對 X 是否存在因果關系。

可能有了解過一點機器學習信息的讀者會很詫異了：不是說機器只能反應相關性，不能反應因果性的么？需要說明一下，這里的因果，是統計學意義上的因果，不是我們通常哲學意義上的因果。

統計學上的因果定義是：『在宇宙中所有其他事件的發生情況固定不變的條件下，如果一個事件 A 的發生與不發生對於另一個事件 B 的發生的概率有影響，並且這兩個事件在時間上有先後順序（A 前 B 後），那麼我們便可以說 A 是 B 的原因。』

歸因分析之皮爾遜系數

另一個常用的演算法是皮爾遜系數。下圖是某 ITOM 軟體的實現：

我們可以看到，其主要元素和採用 FastDTW 演算法的 Oculus 類似：correlation 表示相關性的評分、lead/lag 表示不同時序數據在時間軸上的偏移量。

皮爾遜系數在 R 語言里可以特別簡單的做到。比如我們拿到同時間段的訪問量和伺服器 CPU 使用率：

然後運行如下命令：

acc_count<-scale(acc$acc_count,center=T,scale=T)

cpu<-scale(acc$cpuload5,center=T,scale=T)

cor.test(acc_count,cpu)

可以看到如下結果輸出：

對應的可視化圖形如下：

這就說明網站數據訪問量和 CPU 存在弱相關，同時從散點圖上看兩者為非線性關系。因此訪問量上升不一定會真正影響 CPU 消耗。

其實 R 語言不太適合嵌入到現有的運維系統中。那這時候使用 Elasticsearch 的工程師就有福了。ES 在大家常用的 metric aggregation、bucket aggregation、pipeline aggregation 之外，還提供了一種 matrix aggregation，目前唯一支持的 matrix_stats 就是採用了皮爾遜系數的計算，介面文檔見：

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-matrix-stats-aggregation.html

唯一需要注意的就是，要求計算相關性的兩個欄位必須同時存在於一個 event 里。所以沒法直接從現成的 ES 數據中請求不同的 date_histogram，然後計算，需要自己手動整理一遍，轉儲回 ES 再計算。

饒琛琳，目前就職日誌易，有十年運維工作經驗。在微博擔任系統架構師期間，負責帶領11人的SRE團隊。著有《網站運維技術與實踐》、《ELKstack權威指南》，合譯有《Puppet 3 Cookbook》、《Learning Puppet 4》。在眾多技術大會上分享過自動化運維與數據分析相關主題。

④ 運維是做什麼的工作

運維是指對大型組織已經建立好的網路軟硬體的運行維護。那麼具體運維是干什麼的呢？下面就和我一起去看一下相關信息吧，希望可以給大家帶來幫助。

運維是干什麼的

運維，這里指互聯網運維，通常屬於技術部門，與研發、測試、系統管理同為互聯網產品技術支撐的4大部門，這個劃分在國內和國外以及大小公司間都會多少有一些不同。

一個互聯網產品的生成一般經歷的過程是：產品經理、需求分析、研發部門開發、測試部門測試、運維部門部署發布以及長期的運行維護。

運維，本質上是對網路、伺服器、服務的生命周期各個階段的運營與維護，在成本、穩定性、效率上達成一致可接受的狀態。

運維工程師是做什麼的

1、問題發現：設計並開發高效的監控平台和告警平台，使用機器學習、大數據分析等方法對系統中的大量監控數據進行匯總分析，以及在系統出現異常的時候可以快速的發現問題和判斷故障的影響。

2、問題處理：設計並開發高效的問題處理平台和工具，在系統出現扮困緩異常的時候可以快速/自動決策並觸發相關止損預案，快速尺旅恢復服務。

3、問題跟蹤：通過分析問題發生時系統的各種表現(日誌、變更、監控)確定問題發生的根本原因，制定並開發預案工具。

4、變更管理：以可控的方式，盡可能高效的完成產品功能的迭代的變更工作。在這方面主要工作內容有：

5、配置管理：通過配置管理平台(自研、開源)管理服務涉及到的多個模塊、多個版本的關系以及配置的准確性。

6、發布管理：通過構建自動化的平台確保每一次版本變更可以安全可控地發布到生產環境。

7、容量管理：在服務運行維護階段，為了確保服務架構部署的合理性同時掌握服務整體的冗餘，需要不斷評估系統的承載能力，並不斷優化之。在這方面主要工作內容有：

運維工程師一月多少錢

起薪多在8-10K，1-3年工作經驗可達12-16K，3-5年工作經驗可拿到年薪30-50W，被各大廠大量需要並且薪資不亞於程序員的互聯網英雄。雖然互聯網技術崗位更容易「月薪過萬」，但是互聯網的需求不再是會單一技能的運維，而是對運維+開發的人才由衷青睞，薪資也自然比普通運維更高。

在逐步的發展階段中，注重總結反省的工程師會逐漸成長為高階運維人員，通常他們會有比較體系化的服務運維理解。也有一部分工程師由於出色的項目管理規劃能力，逐漸成為項目經理。再進一步的發展，高階的運維人員對於產品的理解將非常的透徹，因而在這種情況下，高階運維人員甚至可以成為產品的產品經理、產品研發的咨詢顧問，在產品功能的設計與開發中起到至關重要的角色。

各個方向上的工程師發展到一定階段後，沒有明確的界限，需要同時具備較強的運維、架構、編程、演算法等能力，是一廳模個要求很高要求的職業。以後運維工程師的素養會越來越高，規范也會越來越強。

⑤ 智能運維AIOps，主要比的是不是機器學習演算法

智能運維AIOps，顧名思義，一定是跟智能和AI演算法有關，但跟機器學習演算法不能等同看待。

演算法只是完成智能運維建設中的重要一環。就跟安卓系統一樣，同樣的系統和演算法，當它基於的設備不同，其價值也大不相同。合適的演算法只是智能運維產品的基礎。

通常想要一個演算法能產生更大的效應，在建模時也需要根據情況不斷調參。此時有非常專業的工程師來調自然是最好，如果有操作方便的調參界面也行。調整界面的易用性，也是判斷演算法能否順暢使用的一個標准。

有了合適的演算法後，還得有貼合運維實際場景的功能設計、能處理大規模的實時數據 （嗯，早期也看到過因為流數據處理能力太差，該在大清早完成的跑批，無法順利完成影響實際生產）。當這幾種能力齊備後，機器學習演算法才能真正為智能運維所用。

智能運維不等於機器學習演算法

⑥ 運維工程師，工作內容有哪些

隨著移動互聯網、O2O、雲計算、大數據的發展，一些大的互聯網公司對服務可靠性的追求，也會轉化為對運維工程師的技能和能力要求，這也是目前高端運維工程師十分稀缺的原因。

當然，想要成為一名優秀的運維工程師也不是一件簡單的事情，需要學習信息安全、linux運維、windows運維、oracle、網路技術等等內容。當然，運維的發展還是有許多選擇的，下面我們來看一看都有哪些崗位的運維工程師。

1、Linux運維工程師

Linux雲計算運維工程師這個崗位，甚至到後期薪資會比開發高的多，做運維年薪50W的還是十分常見。想要成為優秀的Linux運維工程師，像linux系統、基礎命令、shell腳本、MySQL都是運維工程師必需要學的內容。一般來說，大公司運維還要懂一些內核以及C編程之類知識。對於小公司而言技術要求能力要求並不是很高，基本也用不到多少開發的知識。

2、運維工程師/運維開發工程師：

運維工程師、運維開發工程師絕對是企業的核心職位之一。想要成為一名運維工程師或是運維開發工程師，需要非常豐富的實踐經驗。除了要熟練掌握產品線的運維工作，同時也需要學習開發鎮攜耐的能力，學習了解業務的痛點和問題。當然了，運維開發工隱激程師的長遠發展是成為大型系統的架構師，其職業前途和薪資待遇自然不必多說。

3、資料庫工程師：

資料庫方向是運維技術中較為特殊的一個方向，由於業務的重要性通常需要專設崗位，業界在該方向也有深厚的研究和積累。想要成為資料庫工程師，主要方向有資料庫內核、雲資料庫等，工資待遇在一萬左右，長遠發展目標是資料庫領域的技術專家，資料庫架構師。

4、運維平台研發工程師：

專門研發運維相關通用平台和技術，需要有一定的產品線運維經驗或從產品線中拿到運維需求。對研發能力有較高的要求，對系統的設計有較嚴格的標准，並且能夠理解用戶需求，做出適合服務運維和滿足運維工程師使用體驗的運維產品，長遠的發展是成為各個技術縱向領域的技術專家。

5、運維經理：

想要成為一名優秀的運維經理，對協調和推進能力的要御春求比較高。所以一些技術深度還不錯，協調和推進能力比較高的同學，非常適合轉型管理職位。長遠的發展和技術部門的管理職位一樣，目標是CTO、CEO，年薪百萬不是夢。

總體上看來，想要成為一名優秀的運維工程師，必須要有不斷提升的學習態度，做到掌握多種技能，像是運維、架構、編程、演算法等能力綜合發展。在未來可以預見的是，運維工程師的素養和要求會越來越高，發展到一定階段後，界限也會越來越模糊。

⑦ 榪愮淮宸ョ▼甯堟槸鍋氫粈涔堢殑

榪愮淮宸ョ▼甯堟槸璐熻矗鍏鍙哥綉緇滃畨鍏ㄣ佹ｅ父榪愯岀殑銆

榪愮淮宸ョ▼甯堬紝璐熻矗緇存姢騫剁『淇濇暣涓鏈嶅姟鐨勯珮鍙鐢ㄦэ紝鍚屾椂涓嶆柇浼樺寲緋葷粺鏋舵瀯鎻愬崌閮ㄧ講鏁堢巼銆佷紭鍖栬祫婧愬埄鐢ㄧ巼鎻愰珮鏁翠綋鐨凴OI銆傝繍緇村伐紼嬪笀闈㈠圭殑鏈澶ф寫鎴樻槸澶ц勬ā闆嗙兢鐨勭＄悊闂棰橈紝濡備綍綆＄悊濂藉嚑鍗佷竾鍙版湇鍔″櫒涓婄殑鏈嶅姟錛屽悓鏃朵繚闅滄湇鍔＄殑楂樺彲鐢ㄦэ紝鏄榪愮淮宸ョ▼甯堥潰涓寸殑鏈澶ф寫鎴樸

鏃犺哄仛浠涔堣繍緇達紝榪愮淮宸ョ▼甯堟渶鍩烘湰鐨勮亴璐ｉ兘鏄璐熻矗鏈嶅姟鐨勭ǔ瀹氭э紝紜淇濇湇鍔″彲浠24灝忔椂涓嶉棿鏂鍦頒負鐢ㄦ埛鎻愪緵鏈嶅姟銆傞渶瑕佺簿閫歴hell銆丳ython銆丳erl絳1鑷2縐嶇紪紼嬭璦錛屼篃瑕佺啛緇冩帉鎻″父鐢ㄦ暟鎹緇撴瀯鍜岀畻娉曪紝騫惰兘鐏墊椿榪愮敤銆

榪愮淮宸ョ▼甯堝伐浣滃唴瀹

1銆佷簨浠剁＄悊錛氱洰鏍囨槸鍦ㄦ湇鍔″嚭鐜板紓甯告椂灝藉彲鑳藉揩閫熺殑鎮㈠嶆湇鍔★紝浠庤屼繚闅滄湇鍔＄殑鍙鐢ㄦэ紱鍚屾椂娣卞叆鍒嗘瀽鏁呴殰浜х敓鐨勫師鍥狅紝鎺ㄥ姩騫朵慨澶嶆湇鍔″瓨鍦ㄧ殑闂棰橈紝鍚屾椂璁捐″苟寮鍙戠浉鍏崇殑棰勬堜互紜淇濇湇鍔″嚭鐜版晠闅滄椂鍙浠ラ珮鏁堢殑姝㈡崯銆

2銆侀棶棰樺勭悊錛氳捐″苟寮鍙戦珮鏁堢殑闂棰樺勭悊騫沖彴鍜屽伐鍏鳳紝鍦ㄧ郴緇熷嚭鐜板紓甯哥殑鏃跺欏彲浠ュ揩閫/鑷鍔ㄥ喅絳栧苟瑙﹀彂鐩稿叧姝㈡崯棰勬堬紝蹇閫熸仮澶嶆湇鍔°

3銆侀厤緗綆＄悊錛氶氳繃閰嶇疆綆＄悊騫沖彴錛堣嚜鐮斻佸紑婧愶級綆＄悊鏈嶅姟娑夊強鍒扮殑澶氫釜妯″潡銆佸氫釜鐗堟湰鐨勫叧緋諱互鍙婇厤緗鐨勫噯紜鎬с

4銆佸歸噺浼樺寲錛氬熀浜庡歸噺璇勪及鏁版嵁錛屽垽鏂緋葷粺鐨勭摱棰堝苟鎻愪緵瀹歸噺浼樺寲鐨勮В鍐蟲柟妗堛傛瘮濡傞氳繃璋冩暣緋葷粺鍙傛暟銆佷紭鍖栨湇鍔￠儴緗叉灦鏋勭瓑鏂規硶鏉ラ珮鏁堢殑鎻愬崌緋葷粺瀹歸噺銆

浠ヤ笂鍐呭瑰弬鑰冿細鐧懼害鐧劇戔旇繍緇村伐紼嬪笀