預警線演算法

⑴ 預警系統應該使用什麼演算法比較合適

架構以及我理解中架構的本質
在開始談我對架構本質的理解之前，先談談對今天技術沙龍主題的個人見解，千萬級規模的網站感覺數量級是非常大的，對這個數量級我們戰略上 要重 視 它 ， 戰術上又 要 藐 視 它。先舉個例子感受一下千萬級到底是什麼數量級？現在很流行的優步(Uber)，從媒體公布的信息看，它每天接單量平均在百萬左右， 假如每天有10個小時的服務時間，平均QPS只有30左右。對於一個後台伺服器，單機的平均QPS可以到達800-1000，單獨看寫的業務量很簡單 。為什麼我們又不能說輕視它？第一，我們看它的數據存儲，每天一百萬的話，一年數據量的規模是多少？其次，剛才說的訂單量，每一個訂單要推送給附近的司機、司機要並
發搶單，後面業務場景的訪問量往往是前者的上百倍，輕松就超過上億級別了。
今天我想從架構的本質談起之後，希望大家理解在做一些建構設計的時候，它的出發點以及它解決的問題是什麼。
架構，剛開始的解釋是我從知乎上看到的。什麼是架構？有人講， 說架構並不是一 個很 懸 乎的 東西 ， 實際 上就是一個架子 ， 放一些 業務 和演算法，跟我們的生活中的晾衣架很像。更抽象一點，說架構其 實 是 對 我 們 重復性業務 的抽象和我 們 未來 業務 拓展的前瞻，強調過去的經驗和你對整個行業的預見。
我們要想做一個架構的話需要哪些能力？我覺得最兆灶敬重要的是架構師一個最重要的能力就是你要有 戰 略分解能力。這個怎麼來看呢:
第一，你必須要有抽象的能力，抽象的能力最基本就是去重，去重在整個架構中體現在方方面面，從定義一個函數，到定義一個類，到提供的一個服務，以及模板，背後都是要去重提高可復用率。
第二， 分類能力。做軟體需要做對象的解耦，要定義對象的屬性和方法，做分布式系統的時候要做服務的拆分和模塊化，要定義服務的介面和規范。
第三， 演算法（性能），它的價值體現在提升系統的性能，所有性能的提升，最終都會落到CPU，內存，IO和網路這4大塊上。

這一頁PPT舉了一些例子來更深入的理解常見技術背後的架構理念。
第一個例子，在分布式系統我們會做 MySQL分 庫 分表，我們要從不同的庫和表中讀取數據，這樣的抽象最直觀就是使用模板，因為絕大多數SQL語義是相同的，除了路由到哪個庫哪個表，如果不使用Proxy中間件，模板就是性價比最高的方法。
第二看一下加速網路的CDN，它是做速度方面的性能提升，剛才我們也提到從CPU、內存、IO、網路四個方面來考慮，CDN本質上一個是做網路智能調度優化，另一個是多級緩存優化。
第三個看一下服務化，剛才已經提到了，各個大網站轉型過程中一定會做服務化，其實它就是做抽象和做服務的拆分。第四個看一下消息隊列，本質上還是做分類，只不過不是兩個邊際清晰的類，而是把兩個邊際不清晰的子系統通過隊列解構並且非同步化。

新浪微博整體架構是什麼樣的
接下我們看一下微博整體架構，到一定量級的系統整個架構都會變成三層，客戶端包括WEB、安卓和IOS，這里就不說了。
接著還都會有一個介面層， 有三個主要作用：
第一個作用，要做 安全隔離，因為前端節點都是直接和用戶交互，需要防範各種惡意攻擊；
第二個還充當著一個 流量控制的作用，大家知道，在2014年春節的時候，微信紅包，每分鍾8億多次的請求，其實真正到它後台的請求量，只有十萬左右的數量級（這里的數據可能不準），剩餘的流量在介面層就被擋住了；
第族慎三，我們看對 PC 端和移 動 端的需求不一樣的，所以我們可以進行拆分。介面層之後是後台，可以看到微博後台有三大塊：
一個是 平台服 務，
第二， 搜索，
第三， 大數據。
到了後台的各種服務其實都是處理的數據。 像平台的業務部門，做的就是 數據辯廳存儲和讀 取，對搜索來說做的是 數據的 檢 索，對大數據來說是做的數據的 挖掘。微博其實和淘寶是很類似

微博其實和淘寶是很類似的。一般來說，第一代架構，基本上能支撐到用戶到 百萬 級別，到第二代架構基本能支撐到 千萬 級別都沒什麼問題，當業務規模到 億級別時，需要第三代的架構。
從 LAMP 的架構到面向服 務 的架構，有幾個地方是非常難的，首先不可能在第一代基礎上通過簡單的修修補補滿足用戶量快速增長的，同時線上業務又不能停， 這是我們常說的 在 飛 機上 換 引擎的 問題。前兩天我有一個朋友問我，說他在內部推行服務化的時候，把一個模塊服務化做完了，其他部門就是不接。我建議在做服務化的時候，首先更多是偏向業務的梳理，同時要找准一個很好的切入點，既有架構和服務化上的提升，業務方也要有收益，比如提升性能或者降低維護成本同時升級過程要平滑，建議開始從原子化服務切入，比如基礎的用戶服務， 基礎的短消息服務，基礎的推送服務。 第二，就是可 以做無狀 態 服 務，後面會詳細講，還有數據量大了後需要做數據Sharding，後面會將。 第三代 架構 要解決的 問題，就是用戶量和業務趨於穩步增加（相對爆發期的指數級增長），更多考慮技術框架的穩定性， 提升系統整體的性能，降低成本，還有對整個系統監控的完善和升級。
大型網站的系統架構是如何演變的

我們通過通過數據看一下它的挑戰，PV是在10億級別，QPS在百萬，數據量在千億級別。我們可用性，就是SLA要求4個9，介面響應最多不能超過150毫秒，線上所有的故障必須得在5分鍾內解決完。如果說5分鍾沒處理呢？那會影響你年終的績效考核。2015年微博DAU已經過億。我們系統有上百個微服務，每周會有兩次的常規上線和不限次數的緊急上線。我們的挑戰都一樣，就是數據量，bigger and bigger，用戶體驗是faster and faster，業務是more and more。互聯網業務更多是產品體驗驅動， 技 術 在 產 品 體驗上最有效的貢獻 ， 就是你的性能 越來越好 。 每次降低載入一個頁面的時間，都可以間接的降低這個頁面上用戶的流失率。

微博的技術挑戰和正交分解法解析架構
下面看一下 第三代的 架構 圖 以及 我 們 怎麼用正交分解法 闡 述。 我們可以看到我們從兩個維度，橫軸和縱軸可以看到。 一個 維 度 是 水平的 分層 拆分，第二從垂直的維度會做拆分。水平的維度從介面層、到服務層到數據存儲層。垂直怎麼拆分，會用業務架構、技術架構、監控平台、服務治理等等來處理。我相信到第二代的時候很多架構已
經有了業務架構和技術架構的拆分。我們看一下， 介面層有feed、用戶關系、通訊介面；服務層，SOA里有基層服務、原子服務和組合服務，在微博我們只有原子服務和組合服務。原子服務不依賴於任何其他服務，組合服務由幾個原子服務和自己的業務邏輯構建而成 ，資源層負責海量數據的存儲（後面例子會詳細講）。技 術框架解決 獨立於 業務 的海量高並發場景下的技術難題，由眾多的技術組件共同構建而成 。在介面層，微博使用JERSY框架，幫助你做參數的解析，參數的驗證，序列化和反序列化；資源層，主要是緩存、DB相關的各類組件，比如Cache組件和對象庫組件。監 控平台和服 務 治理 ， 完成系統服務的像素級監控，對分布式系統做提前診斷、預警以及治理。包含了SLA規則的制定、服務監控、服務調用鏈監控、流量監控、錯誤異常監控、線上灰度發布上線系統、線上擴容縮容調度系統等。