網路雲伺服器日誌管理介面採用
A. 關於電信網路關鍵信息基礎設施保護的思考
文 華為技術有限公司中國區網路安全與用戶隱私保護部 馮運波 李加贊 姚慶天
根據我國《網路安全法》及《關鍵信息基礎設施安全保護條例》,關鍵信息基礎設施是指「公共通信和信息服務、能源、交通、水利、金融、公共服務、電子政務等重要行業和領域,以及其他一旦遭到破壞、喪失功能或者數據泄露,可能嚴重危害國家安全、國計民生、公共利益的網路設施和信息系統」。其中,電信網路自身是關鍵信息基礎設施,同時又為其他行業的關鍵信息基礎設施提供網路通信和信息服務,在國家經濟、科教、文化以及 社會 管理等方面起到基礎性的支撐作用。電信網路是關鍵信息基礎設施的基礎設施,做好電信網路關鍵信息基礎設施的安全保護尤為重要。
一、電信網路關鍵信息基礎設施的范圍
依據《關鍵信息基礎設施安全保護條例》第 9條,應由通信行業主管部門結合本行業、本領域實際,制定電信行業關鍵信息基礎設施的認定規則。
不同於其他行業的關鍵信息基礎設施,承載話音、數據、消息的電信網路(以 CT 系統為主)與絕大多數其他行業的關鍵信息基礎設施(以 IT 系統為主)不同,電信網路要復雜得多。電信網路會涉及移動接入網路(2G/3G/4G/5G)、固定接入網、傳送網、IP 網、移動核心網、IP 多媒體子系統核心網、網管支撐網、業務支撐網等多個通信網路,任何一個網路被攻擊,都會對承載在電信網上的話音或數據業務造成影響。
在電信行業關鍵信息基礎設施認定方面,美國的《國家關鍵功能集》可以借鑒。2019 年 4 月,美國國土安全部下屬的國家網路安全和基礎設施安全局(CISA)國家風險管理中心發布了《國家關鍵功能集》,將影響國家關鍵功能劃分為供應、分配、管理和連接四個領域。按此分類方式,電信網路屬於連接類。
除了上述電信網路和服務外,支撐網路運營的大量 IT 支撐系統,如業務支撐系統(BSS)、網管支撐系統(OSS),也非常重要,應考慮納入關鍵信息基礎設施范圍。例如,網管系統由於管理著電信網路的網元設備,一旦被入侵,通過網管系統可以控制核心網路,造成網路癱瘓;業務支撐系統(計費)支撐了電信網路運營,保存了用戶數據,一旦被入侵,可能造成用戶敏感信息泄露。
二、電信網路關鍵信息基礎設施的保護目標和方法
電信網路是數字化浪潮的關鍵基礎設施,扮演非常重要的角色,關系國計民生。各國政府高度重視關鍵基礎設施安全保護,紛紛明確關鍵信息基礎設施的保護目標。
2007 年,美國國土安全部(DHS)發布《國土安全國家戰略》,首次指出面對不確定性的挑戰,需要保證國家基礎設施的韌性。2013 年 2 月,奧巴馬簽發了《改進關鍵基礎設施網路安全行政指令》,其首要策略是改善關鍵基礎設施的安全和韌性,並要求美國國家標准與技術研究院(NIST)制定網路安全框架。NIST 於 2018 年 4 月發布的《改進關鍵基礎設施網路安全框架》(CSF)提出,關鍵基礎設施保護要圍繞識別、防護、檢測、響應、恢復環節,建立網路安全框架,管理網路安全風險。NIST CSF圍繞關鍵基礎設施的網路韌性要求,定義了 IPDRR能力框架模型,並引用了 SP800-53 和 ISO27001 等標准。IPDRR能力框架模型包括風險識別(Identify)、安全防禦(Protect)、安全檢測(Detect)、安全響應(Response)和安全恢復(Recovery)五大能力,是這五個能力的首字母。2018 年 5 月,DHS 發布《網路安全戰略》,將「通過加強政府網路和關鍵基礎設施的安全性和韌性,提高國家網路安全風險管理水平」作為核心目標。
2009 年 3 月,歐盟委員會通過法案,要求保護歐洲網路安全和韌性;2016 年 6 月,歐盟議會發布「歐盟網路和信息系統安全指令」(NISDIRECTIVE),牽引歐盟各國關鍵基礎設施國家戰略設計和立法;歐盟成員國以 NIS DIRECTIVE為基礎,參考歐盟網路安全局(ENISA)的建議開發國家網路安全戰略。2016 年,ENISA 承接 NISDIRECTIVE,面向數字服務提供商(DSP)發布安全技術指南,定義 27 個安全技術目標(SO),該SO 系列條款和 ISO 27001/NIST CSF之間互相匹配,關鍵基礎設施的網路韌性成為重要要求。
借鑒國際實踐,我國電信網路關鍵信息基礎設施安全保護的核心目標應該是:保證網路的可用性,確保網路不癱瘓,在受到網路攻擊時,能發現和阻斷攻擊、快速恢復網路服務,實現網路高韌性;同時提升電信網路安全風險管理水平,確保網路數據和用戶數據安全。
我國《關鍵信息基礎設施安全保護條例》第五條和第六條規定:國家對關鍵信息基礎設施實行重點保護,在網路安全等級保護的基礎上,採取技術保護措施和其他必要措施,應對網路安全事件,保障關鍵信息基礎設施安全穩定運行,維護數據的完整性、保密性和可用性。我國《國家網路空間安全戰略》也提出,要著眼識別、防護、檢測、預警、響應、處置等環節,建立實施關鍵信息基礎設施保護制度。
參考 IPDRR 能力框架模型,建立電信網路的資產風險識別(I)、安全防護(P)、安全檢測(D)、安全事件響應和處置(R)和在受攻擊後的恢復(R)能力,應成為實施電信網路關鍵信息基礎設施安全保護的方法論。參考 NIST 發布的 CSF,開展電信網路安全保護,可按照七個步驟開展。一是確定優先順序和范圍,確定電信網路單元的保護目標和優先順序。二是定位,明確需要納入關基保護的相關系統和資產,識別這些系統和資產面臨的威脅及存在的漏洞、風險。三是根據安全現狀,創建當前的安全輪廓。四是評估風險,依據整體風險管理流程或之前的風險管理活動進行風險評估。評估時,需要分析運營環境,判斷是否有網路安全事件發生,並評估事件對組織的影響。五是為未來期望的安全結果創建目標安全輪廓。六是確定當期風險管理結果與期望目標之間的差距,通過分析這些差距,對其進行優先順序排序,然後制定一份優先順序執行行動計劃以消除這些差距。七是執行行動計劃,決定應該執行哪些行動以消除差距。
三、電信網路關鍵信息基礎設施的安全風險評估
做好電信網路的安全保護,首先要全面識別電信網路所包含的資產及其面臨的安全風險,根據風險制定相應的風險消減方案和保護方案。
1. 對不同的電信網路應分別進行安全風險評估
不同電信網路的結構、功能、採用的技術差異很大,面臨的安全風險也不一樣。例如,光傳送網與 5G 核心網(5G Core)所面臨的安全風險有顯著差異。光傳送網設備是數據鏈路層設備,轉發用戶面數據流量,設備分散部署,從用戶面很難攻擊到傳送網設備,面臨的安全風險主要來自管理面;而5G 核心網是 5G 網路的神經中樞,在雲化基礎設施上集中部署,由於 5G 網路能力開放,不僅有來自管理面的風險,也有來自互聯網的風險,一旦被滲透攻擊,影響面極大。再如,5G 無線接入網(5GRAN)和 5G Core 所面臨的安全風險也存在顯著差異。5G RAN 面臨的風險主要來自物理介面攻擊、無線空口乾擾、偽基站及管理面,從現網運維實踐來看,RAN 被滲透的攻擊的案例極其罕見,風險相對較小。5G Core 的雲化、IT 化、服務化(SBA)架構,傳統的 IT 系統的風險也引入到電信網路;網路能力開放、用戶埠功能(UPF)下沉到邊緣等,導致介面增多,暴露面擴大,因此,5G Core 所面臨的安全風險客觀上高於 5G RAN。在電信網路的范圍確定後,運營商應按照不同的網路單元,全面做好每個網路單元的安全風險評估。
2. 做好電信網路三個平面的安全風險評估
電信網路分為三個平面:控制面、管理面和用戶面,對電信網路的安全風險評估,應從三個平面分別入手,分析可能存在的安全風險。
控制面網元之間的通信依賴信令協議,信令協議也存在安全風險。以七號信令(SS7)為例,全球移動通信系統協會(GSMA)在 2015 年公布了存在 SS7 信令存在漏洞,可能導致任意用戶非法位置查詢、簡訊竊取、通話竊聽;如果信令網關解析信令有問題,外部攻擊者可以直接中斷關鍵核心網元。例如,5G 的 UPF 下沉到邊緣園區後,由於 UPF 所處的物理環境不可控,若 UPF 被滲透,則存在通過UPF 的 N4 口攻擊核心網的風險。
電信網路的管理面風險在三個平面中的風險是最高的。例如,歐盟將 5G 管理面管理和編排(MANO)風險列為最高等級。全球電信網路安全事件顯示,電信網路被攻擊的實際案例主要是通過攻擊管理面實現的。雖然運營商在管理面部署了統一安全管理平台解決方案(4A)、堡壘機、安全運營系統(SOC)、多因素認證等安全防護措施,但是,在通信網安全防護檢查中,經常會發現管理面安全域劃分不合理、管控策略不嚴,安全防護措施不到位、遠程接入 VPN 設備及 4A 系統存在漏洞等現象,導致管理面的系統容易被滲透。
電信網路的用戶面傳輸用戶通信數據,電信網元一般只轉發用戶面通信內容,不解析、不存儲用戶數據,在做好終端和互聯網介面防護的情況下,安全風險相對可控。用戶面主要存在的安全風險包括:用戶面信息若未加密,在網路傳輸過程中可能被竊聽;海量用戶終端接入可能導致用戶面流量分布式拒絕服務攻擊(DDoS);用戶面傳輸的內容可能存在惡意信息,例如惡意軟體、電信詐騙信息等;電信網路設備用戶面介面可能遭受來自互聯網的攻擊等。
3. 做好內外部介面的安全風險評估
在開展電信網路安全風險評估時,應從端到端的視角分析網路存在的外部介面和網元之間內部介面的風險,尤其是重點做好外部介面風險評估。以 5G 核心網為例,5G 核心網存在如下外部介面:與 UE 之間的 N1 介面,與基站之間的 N2 介面、與UPF 之間的 N4 介面、與互聯網之間的 N6 介面等,還有漫遊介面、能力開放介面、管理面介面等。每個介面連接不同的安全域,存在不同風險。根據3GPP 協議標準定義,在 5G 非獨立組網(NSA)中,當用戶漫遊到其他網路時,該用戶的鑒權、認證、位置登記,需要在漫遊網路與歸屬網路之間傳遞。漫遊邊界介面用於運營商之間互聯互通,需要經過公網傳輸。因此,這些漫遊介面均為可訪問的公網介面,而這些介面所使用的協議沒有定義認證、加密、完整性保護機制。
4. 做好虛擬化/容器環境的安全風險評估
移動核心網已經雲化,雲化架構相比傳統架構,引入了通用硬體,將網路功能運行在虛擬環境/容器環境中,為運營商帶來低成本的網路和業務的快速部署。虛擬化使近端物理接觸的攻擊變得更加困難,並簡化了攻擊下的災難隔離和災難恢復。網路功能虛擬化(NFV)環境面臨傳統網路未遇到過的新的安全威脅,包括物理資源共享打破物理邊界、虛擬化層大量採用開源和第三方軟體引入大量開源漏洞和風險、分層多廠商集成導致安全定責與安全策略協同更加困難、傳統安全靜態配置策略無自動調整能力導致無法應對遷移擴容等場景。雲化環境中網元可能面臨的典型安全風險包括:通過虛擬網路竊聽或篡改應用層通信內容,攻擊虛擬存儲,非法訪問應用層的用戶數據,篡改鏡像,虛擬機(VM)之間攻擊、通過網路功能虛擬化基礎設施(NFVI)非法攻擊 VM,導致業務不可用等。
5. 做好暴露面資產的安全風險評估
電信網路規模大,涉及的網元多,但是,哪些是互聯網暴露面資產,應首先做好梳理。例如,5G網路中,5G 基站(gNB)、UPF、安全電子支付協議(SEPP)、應用功能(AF)、網路開放功能(NEF)等網元存在與非可信域設備之間的介面,應被視為暴露面資產。暴露面設備容易成為入侵網路的突破口,因此,需重點做好暴露面資產的風險評估和安全加固。
四、對運營商加強電信網路關鍵信息基礎設施安全保護的建議
參考國際上通行的 IPDRR 方法,運營商應根據場景化安全風險,按照事前、事中、事後三個階段,構建電信網路安全防護能力,實現網路高韌性、數據高安全性。
1. 構建電信網路資產、風險識別能力
建設電信網路資產風險管理系統,統一識別和管理電信網路所有的硬體、平台軟體、虛擬 VNF網元、安全關鍵設備及軟體版本,定期開展資產和風險掃描,實現資產和風險可視化。安全關鍵功能設備是實施網路監管和控制的關鍵網元,例如,MANO、虛擬化編排器、運維管理接入堡壘機、位於安全域邊界的防火牆、活動目錄(AD)域控伺服器、運維 VPN 接入網關、審計和監控系統等。安全關鍵功能設備一旦被非法入侵,對電信網路的影響極大,因此,應做好對安全關鍵功能設備資產的識別和並加強技術管控。
2. 建立網路縱深安全防護體系
一是通過劃分網路安全域,實現電信網路分層分域的縱深安全防護。可以將電信網路用戶面、控制面的系統劃分為非信任區、半信任區、信任區三大類安全區域;管理面的網路管理安全域(NMS),其安全信任等級是整個網路中最高的。互聯網第三方應用屬於非信任區;對外暴露的網元(如 5G 的 NEF、UPF)等放在半信任區,核心網控制類網元如接入和移動管理功能(AMF)等和存放用戶認證鑒權網路數據的網元如歸屬簽約用戶伺服器(HSS)、統一數據管理(UDM)等放在信任區進行保護,並對用戶認證鑒權網路數據進行加密等特別的防護。二是加強電信網路對外邊界安全防護,包括互聯網邊界、承載網邊界,基於對邊界的安全風險分析,構建不同的防護方案,部署防火牆、入侵防禦系統(IPS)、抗DDoS 攻擊、信令防護、全流量監測(NTA)等安全防護設備。三是採用防火牆、虛擬防火牆、IPS、虛擬數據中心(VDC)/虛擬私有網路(VPC)隔離,例如通過防火牆(Firewall)可限制大部分非法的網路訪問,IPS 可以基於流量分析發現網路攻擊行為並進行阻斷,VDC 可以實現雲內物理資源級別的隔離,VPC 可以實現虛擬化層級別的隔離。四是在同一個安全域內,採用虛擬區域網(VLAN)、微分段、VPC 隔離,實現網元訪問許可權最小化控制,防止同一安全域內的橫向移動攻擊。五是基於網元間通信矩陣白名單,在電信網路安全域邊界、安全域內實現精細化的異常流量監控、訪問控制等。
3. 構建全面威脅監測能力
在電信網路外部邊界、安全域邊界、安全域內部署網路層威脅感知能力,通過部署深度報文檢測(DPI)類設備,基於網路流量分析發現網路攻擊行為。基於設備商的網元內生安全檢測能力,構建操作系統(OS)入侵、虛擬化逃逸、網元業務面異常檢測、網元運維面異常檢測等安全風險檢測能力。基於流量監測、網元內生安全組件監測、採集電信網元日誌分析等多種方式,構建全面威脅安全態勢感知平台,及時發現各類安全威脅、安全事件和異常行為。
4. 加強電信網路管理面安全風險管控
管理面的風險最高,應重點防護。針對電信網路管理面的風險,應做好管理面網路隔離、運維終端的安全管控、管理員登錄設備的多因素認證和許可權控制、運維操作的安全審計等,防止越權訪問,防止從管理面入侵電信網路,保護用戶數據安全。
5. 構建智能化、自動化的安全事件響應和恢復能力
在網路級縱深安全防護體系基礎上,建立安全運營管控平台,對邊界防護、域間防護、訪問控制列表(ACL)、微分段、VPC 等安全訪問控制策略實施統一編排,基於流量、網元日誌及網元內生組件上報的安全事件開展大數據分析,及時發現入侵行為,並能對攻擊行為自動化響應。
(本文刊登於《中國信息安全》雜志2021年第11期)
B. 中繼網關的簡介
中繼網關是NGN解決方案的重要組成部分,它位於NGN網路的邊緣接入層,連接PSTN和NGN網路,實現IP包轉TDM的功能。
中繼網關擁有迴音消除技術,可以處理語音包的轉換,可提供NO.7、Q.931、Q.sig等信令。
中繼網關具有數字中繼介面以及IP中繼介面,能夠承載IP網路及PSTN網路。
中繼網關可提供乙太網口,通過SIP/H.323協議與軟交換系統互連。
中繼網關通過E1介面,與PABX/PSTN相連,實現PSTN與IP網路的互聯。
通過以上組網,中繼網關可完成SIP/H.323協議與NO.7/Pri信令的轉換,同時,使PSTN網路與IP網路實現完美的融合。
C. 大數據分析一般用什麼工具分析
今天就我們用過的幾款大數據分析工具簡單總結一下,與大家分享。
1、Tableau
這個號稱敏捷BI的扛把子,魔力象限常年位於領導者象限,界面清爽、功能確實很強大,實至名歸。將數據拖入相關區域,自動出圖,圖形展示豐富,交互性較好。圖形自定義功能強大,各種圖形參數配置、自定義設置可以靈活設置,具備較強的數據處理和計算能力,可視化分析、互動式分析體驗良好。確實是一款功能強大、全面的數據可視化分析工具。新版本也集成了很多高級分析功能,分析更強大。但是基於圖表、儀錶板、故事報告的邏輯,完成一個復雜的業務匯報,大量的圖表、儀錶板組合很費事。給領導匯報的PPT需要先一個個截圖,然後再放到PPT裡面。作為一個數據分析工具是合格的,但是在企業級這種應用匯報中有點局限。
2、PowerBI
PowerBI是蓋茨大佬推出的工具,我們也興奮的開始試用,確實完全不同於Tableau的操作邏輯,更符合我們普通數據分析小白的需求,操作和Excel、PPT類似,功能模塊劃分清晰,上手真的超級快,圖形豐富度和靈活性也是很不錯。但是說實話,畢竟剛推出,系統BUG很多,可視化分析的功能也比較簡單。雖然有很多復雜的數據處理功能,但是那是需要有對Excel函數深入理解應用的基礎的,所以要支持復雜的業務分析還需要一定基礎。不過版本更新倒是很快,可以等等新版本。
3、Qlik
和Tableau齊名的數據可視化分析工具,QlikView在業界也享有很高的聲譽。不過Qlik Seanse產品系列才在大陸市場有比較大的推廣和應用。真的是一股清流,界面簡潔、流程清晰、操作簡單,交互性較好,真的是一款簡單易用的BI工具。但是不支持深度的數據分析,圖形計算和深度計算功能缺失,不能滿足復雜的業務分析需求。
最後將視線聚焦國內,目前搜索排名和市場宣傳比較好的也很多,永洪BI、帆軟BI、BDP等。不過經過個人感覺整體宣傳大於實際。
4、永洪BI
永洪BI功能方面應該是相對比較完善的,也是拖拽出圖,有點類似Tableau的邏輯,不過功能與Tableau相比還是差的不是一點半點,但是操作難度居然比Tableau還難。預定義的分析功能比較豐富,圖表功能和靈活性較大,但是操作的友好性不足。宣傳擁有高級分析的數據挖掘功能,後來發現就集成了開源的幾個演算法,功能非常簡單。而操作過程中大量的彈出框、難以理解含義的配置項,真的讓人很暈。一個簡單的堆積柱圖,就研究了好久,看幫助、看視頻才搞定。哎,只感嘆功能藏得太深,不想給人用啊。
5、帆軟BI
再說號稱FBI的帆軟BI,帆軟報表很多國人都很熟悉,功能確實很不錯,但是BI工具就真的一般般了。只能簡單出圖,配合報表工具使用,能讓頁面更好看,但是比起其他的可視化分析、BI工具,功能還是比較簡單,分析的能力不足,功能還是比較簡單。帆軟名氣確實很大,號稱行業第一,但是主要在報表層面,而數據可視化分析方面就比較欠缺了。
6、Tempo
另一款工具,全名叫「Tempo大數據分析平台」,宣傳比較少,2017年Gartner報告發布後無意中看到的。是一款BS的工具,申請試用也是費盡了波折啊,永洪是不想讓人用,他直接不想賣的節奏。
第一次試用也是一臉懵逼,不知道該點那!不過抱著破罐子破摔的心態稍微點了幾下之後,操作居然越來越流暢。也是拖拽式操作,數據可視化效果比較豐富,支持很多便捷計算,能滿足常用的業務分析。最最驚喜的是它還支持可視化報告導出PPT,徹底解決了分析結果輸出的問題。深入了解後,才發現他們的核心居然是「數據挖掘」,演算法十分豐富,也是拖拽式操作,我一個文科的分析小白,居然跟著指導和說明做出了一個數據預測的挖掘流,簡直不要太驚喜。掌握了Tempo的基本操作邏輯後,居然發現他的易用性真的很不錯,功能完整性和豐富性也很好。
D. ec600模組入網又休眠
使用rt thread系統里的EC200驅動包+web client做一個物聯網項目,之前開發的時候一直都是用的EC600S模塊,看起來挺好的,沒什麼大問題,後來量產的時候不小心買了EC600N焊上去了,之前也聽廠家的技術支持說應該是完全一樣的,可是就掉進了這個坑裡。
故障現象:
模塊的net_status和net_mode燈的狀態不太對,模塊開機後的最終狀態有時候net_mode常亮,net_status滅掉,或者net_status一直在慢閃,net_mode一直熄滅。甚至有時候我的應用可以先從伺服器拿一包數據,然後又掛掉再也連不上了。
分析:
上述這兩種狀態都不在文檔描述中,打at client去看,你發什麼它都是直接回顯,比如發AT+CPIN?它就直接回,而不是回OK或者錯誤,所以初步判斷是模塊進入了一個錯誤的狀態。那麼能讓模塊進入錯誤狀態無非就是以下幾種情況:
睡眠或者開機、重啟的姿勢不對
或者在模塊初始化之前我的應用代碼把它搞死了。但是之前用EC600S開發都是好的,而且一般應用代碼不太能把模塊搞到錯誤狀態,這種可能性比較低。
排查:
針對第二種情況,排查很簡單,先把應用軟體去掉看看。故障依舊,所以繼續排查1.
在EC200的驅動包里要配置開機引腳,狀態引腳,睡眠引腳。無論是開發什麼東西,一般睡眠這種狀態是最容易出問題的,包括x86開發,usb設備開發,屢見不鮮,所以首先把睡眠去掉了(-1),但是故障依舊。
剛開始我始終沒有懷疑狀態引腳,因為它是個輸入,只是判斷一下模塊有沒有開機,感覺不會有什麼問題,所以繞來繞去一直沒有去動它。直到看到了有個哥們遇到了類似的問題:
RT-Thread-at_device 沒有使用power pin 導致的網路異常 bugRT-Thread問答社區 - RT-Thread
這個問題其實我之前用EC600S的時候好像也遇到了,但是我並不用ping,應用也沒有問題,所以也沒去管他。不過這倒提醒了可以去試試,於是把開機狀態也改成-1,居然就好了。
電源引腳我沒去動它,模塊是需要有一個開機時序的,我看它的初始化代碼里也有去動電源引腳重新開機之類的。
希望其他掉在坑裡的小夥伴可以看到我這篇帖子,少走點彎路。
打開CSDN,閱讀體驗更佳
Quectel_EC600S系列_TCP(IP)_應用指導_V1.2.rar
EC600S-CN 模塊內置 TCP/IP 協議棧, Host 可以 直接通過 AT 命令訪問網路; 這大大降低模塊對 PPP 和外部 TCP/IP 協議棧的依賴性,從而降低終端設計 的成本。
EC600N(二)--核心板初次點亮
系列文章目錄 EC600N(一)–基本信息介紹 EC600N(二)–核心板初次點亮 目錄系列文章目錄前言一、使用前說明1.供電方式2. 模塊開機狀態二、AT指令測試1.測試准備2.AT指令測試 前言 本次實驗使用移遠EC600N雙排核心板,主要使用AT指令測試模塊,測試模塊的USB口和3.3V串口。 一、使用前說明 1.供電方式 EC600N模塊需要用排針的VIN進行供電,供電如下圖所示: USB口供電可能達不到模塊的開機要求(由於串聯了二極體,有壓降),一般採用針腳對模塊供電。這個設計有點雞肋。 2.
繼續訪問
移遠4G模組EC600N進行TCP/IP連接和伺服器測試
最近公司產品需要增加一個4G模塊進行數據傳輸,想到之前做的移遠的4G模塊,於是買了一個核心板回來調試。 協議選擇TCP/IP,因此使用的是TCP/IP部分的AT指令手冊。工具方面,使用串口調試助手,關於測試伺服器,一開始用的安信可的透傳雲,但是伺服器連接一段時間不發送消息就會自動斷開,所以還是使用了網路調試助手。因為網路調試助手使用的是本地網路,如果需要和4G通信,還需要使用花生殼做內網穿透。 接下來先把伺服器部分做好。 如果沒有花生殼軟體,建議先去官網下載一個 長這樣色的。安裝後打開界面如下 這個界
繼續訪問
STM32F405+4G模塊OTA固件升級調試記錄
STM32F405+4G模塊OTA固件升級調試個人記錄
繼續訪問
Cat.1模塊使用總結(EC600N)
由於Cat.4模塊(EC20)功耗大,考慮到NB網路覆蓋問題(設備在野外工作場景),因此項目上用選擇了Cat.1(EC600N)模塊,現在把調試過程總結下,希望能夠幫助到大家。EC20使用總結請看:單片機和4G模塊通信總結(EC20)。 一、電源 手冊說供電電壓≥3.4V,峰值電流3A。 二、通信口 UART和IO口都是1.8V,需要做電平準換。 三、開機順序 我是上電1s後復位,復位低電平600ms,然後100ms後開機,開機等待10s後進行操作。 四、AT指令 採用消息地體原理,具體請看
繼續訪問
日誌組件
日誌組件 1. 日誌是什麼 日誌是軟體應用必備的組件,是程序debug,或是數據收集管理的重要依據,方便我們監測生產環境的變數值變化以及代碼運行軌跡。本課程主要用來學習實際開發中常用的日誌組件。 主要是為了方便我們監測生產環境的變數值變化以及代碼運行軌跡等。 這些記錄會被輸出到我們指定的位置形成文件,幫助我們分析錯誤以及用戶請求軌跡。 2. 常用日誌組件 2.1 Log4j與log4j2.x Log4j有8種不同的log級別,按照等級從低到高依次為:ALL>TRACE>DEBUG>
繼續訪問
ESP32+移遠EC600N模組通過MQTT連接阿里雲並通過HTTP進行OTA升級
ESP32+移遠EC600N模組通過MQTT連接阿里雲並通過HTTP進行OTA升級。以下是我這段時間進行的工作,分享下自己的研究成果,也讓後面的小夥伴少踩一些坑。同時通過文章記錄下操作步驟,免得自己過段時間忘記。以下是ESP32和EC600N模組之間通過串口進行數據交互的詳細調試信息輸出內容。...
繼續訪問
熱門推薦 EC600N(一)--基本信息介紹
EC600N使用說明 EC600N(一)–基本信息介紹 目錄EC600N使用說明前言一、模塊組的基本介紹1.模組的基本選型信息2. EC600N核心板基本信息二、EC600N功能介紹1.基本功能介紹2.引腳功能三.補充 前言 EC600N是一款移遠推出的4G模塊。移遠和中傳移動是主要的4G模塊和NB-lot模塊的供應商。由於移遠的模塊使用相對比較廣泛,所以用它試試。 相關資源鏈接: 官網,這個網站找資料比較費勁。 quetcelpython下載中心,移遠的多數模塊支持python的二次開發。 quetcel
繼續訪問
移遠QuecPython(基於EC600s)開發物聯網應用(七) QuecPython通訊相關模塊
一. sim --SIM卡模塊 import sim 1. 獲取sim卡的imsi sim.getImsi() 參數 無 返回值 成功返回string類型的imsi,失敗返回整型-1。 2. 獲取sim卡的iccid sim.getIccid() 參數 無 返回值 成功返回string類型的iccid,失敗返回整型-1。 3. 獲取sim卡的電話號 sim.getPhoneNumber()...
繼續訪問
【C語言】一個好用的循環隊列與使用示例(以EC200/600為例的AT框架)
目錄1.前言2.結論3.循環隊列3.1寫隊列到隊列頭3.2從尾部讀讀隊列3.3獲取當前隊列內數據數量3.4清空隊列3.5兩個重要結構體4.效果與示例4.1三個讀隊列線程4.2 AT框架寫隊列與EC200初始化4.3 AT框架讀隊列4.4 EC200維持TCP長連接5.下載5.1 循環隊列5.2 AT框架+EC200的TCP長連接(與EC600通用) 1.前言 上一篇:https://blog.csdn.net/ylc0919/article/details/111050124 自從之前說要發二代框架,不知不
繼續訪問
阿里雲在線溫濕度-小熊派qpython(綜合展示)
需要用到的東西: 小熊派的ec100y開發板; i2c的溫濕度感測器(我這里用的sht31,其他的也可以,自行修改代碼); 阿里雲賬號; 接線:用到3.3v,GND,i2c的SCL和SDA 阿里雲顯示展示: app展示: 代碼: # 包引用部分 import log from aLiYun import aLiYun import ujson import utime from machine import I2C import pm # 用戶變數區域 # 上傳間隔(單..
繼續訪問
EC600N-AT 軟體包筆記
INIT_DEVICE_EXPORT(ec200x_device_class_register); 開辟struct at_device_class結構體 進入at_device_class_register 怎麼跳轉到的static int ec200x_init(struct at_device *device) at_device_class_registe執行完後到 INIT_APP_EXPORT(ec200x_device_register); static int ec200x_device_r
繼續訪問
open方案、openCPU-EC600、L610設計應用總結
OPEN CPU模組設計應用總結 咸魚NO FASHION 根據實際項目需求選擇最優的設計方案,是一名合格硬體工程師的基本功。 背景與優缺點說明: 對於物聯網項目,大多數公司或者產品需更為便宜方案,因此在物聯網項目中open CPU方案迎來黃金發展期。物聯網項目本身就需要無線通信模組,通信模組開放一定IO口和通信介面,優點可以解決目前廣大用戶主控MCU短缺的痛點,降低開發成本;缺點IO口和通信介面使用相對於主控MCU不夠靈活,介面相對較少。 軟體方面: 支持open C和open Python(
繼續訪問
Quectel EC800N-CN 小尺寸物聯網首選LTE Cat 1模塊[移遠通信]
EC800N-CN是移遠通信專為M2M和IoT領域而設計的LTE Cat 1無線通信模塊,支持最大下行速率10 Mbps和最大上行速率5 Mbps,超小封裝,超高性價比。 EC800N-CN採用鐳雕工藝,鐳雕工藝具有外觀更好看、金屬質感強、散熱更好、信息不容易被抹除、更能適應自動化需求等優點。 EC800N-CN內置豐富的網路協議,集成多個工業標准介面,並支持多種驅動和軟體功能(如Windows7/8/8.1/10、linux、Android等操作系統下的USB虛擬串口驅動);極大地拓展了其在M
繼續訪問
EC600S串口通信
EC600S有兩個串口通信口,TX0/RX0;TX2/RX2,分別對應程序中的UART0 - DEBUG PORT和UART2 – MAIN PORT。運行本常式, 需要通過串口線連接開發板的 MAIN 口和PC,在PC上通過串口工具打開 MAIN 口,並向該埠發送數據,即可看到 PC 發送過來的消息。 (可通過串口轉usb口,把TX2/RX2分別與轉usb口的RX/TX連接到電腦上即可) """ 運行本常式,需要通過串口線連接開發板的 MAIN 口和PC,在PC上通過串口工具 打開 MAIN 口,並向
繼續訪問
移遠EC20/600系列TCP發送可變長度數據的結束標志!
移遠EC20/600系列TCP發送可變長度數據的結束標志!
繼續訪問
移遠ec200/600的使用
移遠ec200、ec600的使用: linux2.6.22 pppd-2.4.4 ec600s 參考的是ec200s的撥號相關文檔: 1:/driver/usb/serial/option.c更改了4個位置,並沒 有嚴格按照ec200s的指導文檔來(2.6.30以上、3.0以上內核還會涉及wwan、qcserial相關文件,看相關文檔) 2:內核config USB_SERIAL=y USB_USBNET=y USB_NET_CDCETHER=y (還沒搞清楚...
繼續訪問
EC600U
ec600u,tcp client 斷線重連
繼續訪問
最新發布 STM32+USART+DMA+EC600N調試
在stm32Cube中,打開DMA發送中斷和接收中斷,打開usart全局中斷。主要調試功能:(1)使用DMA發送固定長度數據給串口,(2)使用DMA接收不定長度幀數據。(1)利用DMA傳輸,發送固定大小數據 換成 包裝代碼如下: (2)利用DMA傳輸,接收大小可變的數據利用串口空閑中斷,識別一幀的數據,參考鏈接: 注意:空閑中斷結束後,記得重新開啟DMA接收。指令解析 AT執行邏輯 每個AT指令執行成功,則繼續下一條,如果本條AT指令執行失敗,則重復執行,最多執行10次,如果10全部失敗,則本輪結束
繼續訪問
E. 關於一些雲伺服器的問題
一,你有雲伺服器了,就把你的資料庫建在雲伺服器上,也就是網站和資料庫在同一台伺服器上,雖然不怎麼安全,但是經濟,不然也可以考慮買一個同網段內的資料庫伺服器。
二,10000PV也不少了,建議4GB以上
三,雲硬碟是在你雲伺服器之外的獨立存儲數據的空間,一般只是存取,不支持調用,那對你雲伺服器來說沒啥用。你需要的還是你雲伺服器上的本地磁碟空間來存放你的網站程序和資料庫。
四,雲伺服器購買後你就可以選擇連接遠程桌面,使用和你使用本地計算機一樣,圖形的
五,你要遠的話,windows2003+php+mysql ,就夠 了。
千萬別看外面說的什麼linux+mysql之類的,linux你自己會用,就另說,不會用的話,你裝上,然後呢?改什麼配置都找服務商?你看看他們管你不?還是WINDOWS實在些。也常用,資料也好查。
你要是用雲伺服器的話,我推薦你使用 快網DIY彈性雲主機 你可以上網路查一下,我覺得挺好用,才48塊錢。你可以試試。
F. 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼
一、概念及區別
針對不同的應用場景,選擇的分布式存儲方案也會不同,因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面:
1. 對象存儲:
也就是通常意義的鍵值存儲,其介面就是簡單的GET,PUT,DEL和其他擴展,
2. 塊存儲:
這種介面通常以QEMU Driver或者Kernel Mole的方式存在,這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面,如Sheepdog,AWS的EBS,青雲的雲硬碟和阿里雲的盤古系統,還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)
3. 文件存儲:
通常意義是支持POSIX介面,它跟傳統的文件系統如Ext4是一個類型的,但區別在於分布式存儲提供了並行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面),但是有時候又會把GFS,HDFS這種非POSIX介面的類文件存儲介面歸入此類。
二、IO特點
按照這三種介面和其應用場景,很容易了解這三種類型的IO特點,括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):
介面簡單,一個對象我們可以看成一個文件,只能全寫全讀,通常以大文件為主,要求足夠的IO帶寬。
2. 塊存儲(硬碟):
它的IO特點與傳統的硬碟是一致的,一個硬碟應該是能面向通用需求的,即能應付大文件讀寫,也能處理好小文件讀寫。但是硬碟的特點是容量大,熱點明顯。因此塊存儲主要可以應付熱點問題。另外,塊存儲要求的延遲是最低的。
3. 文件存儲(文件系統):
支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的,它比塊存儲具有更豐富的介面,需要考慮目錄、文件屬性等支持,實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統,可以通過根據實現來定義介面,會容易一點。
因此,這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現,通常來說,需要盡量滿足各種需求,而介面定義已經一定意義上就砍去了一些需求,如對象存儲會以冷存儲更多,大文件為主。
G. NTP時間同步伺服器和北斗時間同步伺服器以及GPS時間伺服器有啥區別
NTP時間同步伺服器 主要偏重於NTP時間同步功能
北斗時間同步伺服器 主要偏重於北斗衛星時間來源
GPS時間伺服器跟北斗時間同步伺服器一樣也偏重於時間來源是GPS衛星。
目前計算機網路中各主機和伺服器等網路設備的時間基本處於無序的狀態。隨著計算機網路應用的不斷涌現,計算機的時間同步問題成為愈來愈重要的事情。以Unix系統為例,時間的准確性幾乎影響到所有的文件操作。 如果一台機器時間不準確,例如在從時間超前的機器上建立一個文件,用ls查看一下,以當前時間減去所顯示的文件修改時間會得一個負值,這一問題對於網路文件伺服器是一場災難,文件的可靠性將不復存在。為避免產生本機錯誤,可從網路上獲取時間,這個命令就是rdate,這樣系統時鍾便可與公共源同步了。但是一旦這一公共時間源出現差錯就將產生多米諾效應,與其同步的所有機器的時間因此全都錯誤。
另外當涉及到網路上的安全設備時,同步問題就更為重要了。這些設備所生成的日誌必須要反映出准確的時間。尤其是在處理繁忙數據的時候,如果時間不同步,幾乎不可能將來自不同源的日誌關聯起來。 一旦日誌文件不相關連,安全相關工具就會毫無用處。不同步的網路意味著企業不得不花費大量時間手動跟蹤安全事件。現在讓我們來看看如何才能同步網路,並使得安全日誌能呈現出准確地時間。
Internet的發展使得電子貨幣,網上購物,網上證券、金融交易成為可能,顧客可以坐在家裡用個人電腦進行上述活動。要保證這些活動的正常進行就要有統一的時間。不能設想用戶3點鍾匯出一筆錢銀行2點50分收到。個人電腦的時鍾准確度很低,只有10-4、10-5,一天下來有可能差十幾秒。
現在許多在線教學系統的許多功能都使用了時間記錄,比如上網時間記錄,遞交作業時間和考試時間等等。通常在線教學系統記錄的用戶數據均以網站伺服器時間為准。筆者以前就曾出現過因為應用伺服器時間還在23點55分,而資料庫伺服器已跨過24點,導致正在進行的整個批處理日切或數據歸檔等重要處理失敗或根本無法進行的情況,其實應用和資料庫伺服器時間也只是相差了幾分鍾而已。為了避免出現這種情況,系統管理員要經常關注伺服器的時間,發現時間差距較大時可以手工調整,但由系統管理員手工調整既不準確、並且隨著伺服器數量的增加也會出現遺忘,因此有必要讓系統自動完成同步多個伺服器的時間。
上述問題的解決方法,就是需要一個能調整時鍾抖動率,建立一個即時緩和、調整時間變化,並用一群受託伺服器提供准確、穩定時間的時間管理協議,這就是網路時間協議(NTP)。如果你的區域網可以訪問互聯網,那麼不必安裝一台專門的NTP伺服器,只需安裝NTP的客戶端軟體到互聯網上的公共NTP伺服器自動修正時間即可,但是這樣時間能同步但不精準還可能因為網路不穩定從而導致時間同步失敗的結果,最佳方案則是在網路里安裝一台屬於自己的NTP伺服器硬體設備,將各個計算機時間同步且統一起來,成本也不高即便高相對於大數據伺服器來說孰輕孰重,作為網路工程師你更清楚。
總結:
隨著網路規模、網上應用不斷擴大,網路設備與伺服器數量不斷增加。網路管理員在查看眾多網路設備日誌時,往往發現時間不一,即使手工設置時間,也會出現因時區或夏令時等因素造成時間誤差;有些二層交換機重啟後,時鍾會還原到初始值,需要重新設置時間。對於核心網路設備和重要應用伺服器而言,它們之間有時需要協同工作,因此時間的准確可靠性顯得尤為重要。
NTP服務的配置及使用都非常簡單,並且佔用的網路資料非常小。NTP時間伺服器目前廣泛應用於網路安全、在線教學、資料庫備份等領域。企業採取措施同步網路和設備的時間非常重要,但確保安全設備所產生的日誌能提供精確的時間更應當得到關注。
H. JeeSpringCloud-互聯網雲快速開發框架
(一款免費開源的JAVA互聯網雲快速開發平台)微服務分布式代碼生成的敏捷開發系統架構。項目代碼簡潔,注釋豐富,上手容易,還同時集中分布式、微服務,同時包含許多基礎模塊和監控、服務模塊。
演示版地址:http://bknfdnl.hn3.mofasui.cn/admin/login
一、平台簡介
在線文檔:https://gitee.com/JeeHuangBingGui/jeeSpringCloud/wikis
視頻和文檔下載:https://gitee.com/JeeHuangBingGui/jeeSpringCloud/attach_files
開源中國地址:https://www.oschina.net/p/jeeSpringCloud
文檔視頻下載:https://gitee.com/JeeHuangBingGui/jeeSpringCloud/attach_files
JeeSpringCloudV3.0-互聯網雲快速開發框架模塊包含定時任務調度、伺服器監控、平台監控、異常郵件監控、伺服器Down機郵件監控、平台設置、開發平台、郵件監控、圖表監控、地圖監控、單點登錄、Redis分布式高速緩存、
ActiveMQ隊列、會員、營銷、在線用戶、日誌、在線人數、訪問次數、調用次數、直接集群、介面文檔、生成模塊、代碼實例、安裝視頻、教程文檔、bbo、springCloud、SpringBoot、mybatis、springmvc、IOC、AOP、定時任務、切面緩存、MVC、事務管理。
RedisMQ隊列、代碼生成(單表、主附表、樹表、列表和表單、增刪改查雲介面、redis高速緩存對接代碼、圖表統計、地圖統計、vue.js)、工作流、模塊化
代碼生成前端控制項包括單行文本、富文本、下拉選項、復選框、日期選擇、文件上傳選擇、樹選擇控制項、單選按鈕、多行文本….。
二、平台功能
用戶管理:用戶是系統操作者,該功能主要完成系統用戶配置。
部門管理:配置系統組織機構(公司、部門、小組),樹結構展現支持數據許可權。
崗位管理:配置系統用戶所屬擔任職務。
菜單管理:配置系統菜單,操作許可權,按鈕許可權標識等。
角色管理:角色菜單許可權分配、設置角色按機構進行數據范圍許可權劃分。
字典管理:對系統中經常使用的一些較為固定的數據進行維護。
參數管理:對系統動態配置常用參數。
通知公告:系統通知公告信息發布維護。
操作日誌:系統正常操作日誌記錄和查詢;系統異常信息日誌記錄和查詢。
登錄日誌:系統登錄日誌記錄查詢包含登錄異常。
在線用戶:當前系統中活躍用戶狀態監控。
定時任務:在線(添加、修改、刪除)任務調度包含執行結果日誌。
代碼生成:前後端代碼生成(單表、主附表、樹表、列表和表單、增刪改查雲介面、redis高速緩存對接代碼、圖表統計、地圖統計、vue.js) ,並生成菜單和許可權直接使用。
系統介面:根據業務代碼自動生成相關的api介面文檔。
連接池監視:監視當期系統資料庫連接池狀態,可進行分析SQL找出系統性能瓶頸。
在線介面文檔:使用swager生成在線文檔。
ActiveMQ隊列:提供ActiveMQ隊列,處理批量發送大數據量郵件、大數據量日誌文件。
工作流:功能包括在線辦公、我的任務、審批測試、流程管理、模型管理。
CMS:功能包括內容管理、內容管理、統計分析、欄目設置、首頁。
bbo:代碼生成直接生成bbo對接代碼。
伺服器Down機郵件監控:通過定時任務監控伺服器是否Down機,並發送通知郵件。
伺服器監控:通過 sigar 進行伺服器圖形化監控。
異常郵件監控:全局攔截系統異常,並發送通知郵件。
單點登錄:使用shior和Redis、共享session方式實現單點登錄。
Redis分布式高速緩存:代碼生成直接生成Redis對接代碼。
三、系統截圖
JeeSpringCloudV3.0-互聯網雲快速開發框架(後台)
四、平台特性
JeeSpringCloud基於SpringBoot+SpringMVC+Mybatis+Redis+SpringCloud+Vue.js微服務分布式代碼生成的敏捷開發系統架構。項目代碼簡潔,注釋豐富,上手容易,還同時集中分布式、微服務,同時包含許多基礎模塊(用戶管理,角色管理,部門管理,字典管理等10個模塊。成為大眾認同、大眾參與、成就大眾、大眾分享的開發平台。JeeSpring官方qq群(328910546)。代碼生成前端界面、底層代碼(spring mvc、mybatis、Spring boot、Spring Cloud、微服務的生成)、安全框架、視圖框架、服務端驗證、任務調度、持久層框架、資料庫連接池、緩存框架、日誌管理、IM等核心技術。努力用心為大中小型企業打造全方位J2EE企業級平台ORM/Redis/Service倉庫開發解決方案。一個RepositoryService倉庫就直接實現bbo、微服務、基礎伺服器對接介面和實現。
努力用心為大中小型企業打造全方位J2EE企業級平台開發解決方案。
Spring Boot/Spring cloud微服務是利用雲平台開發企業應用程序的最新技術,它是小型、輕量和過程驅動的組件。微服務適合設計可擴展、易於維護的應用程序。它可以使開發更容易,還能使資源得到最佳利用。
微服務/集群(nignx) 支持REST風格遠程調用(HTTP + JSON/XML):基於非常成熟的Spring Boot框架,在Spring Boot Spring Cloud中實現了REST風格(HTTP + JSON/XML)的遠程調用,以顯著簡化企業內部的跨語言交互,同時顯著簡化企業對外的Open API、無線API甚至AJAX服務端等等的開發。
事實上,這個REST調用也使得Dubbo可以對當今特別流行的「微服務」架構提供基礎性支持。 另外,REST調用也達到了比較高的性能,在基準測試下,HTTP + JSON默認的RPC協議(即TCP + Hessian2二進制序列化)之間只有1.5倍左右的差距,詳見下文的基準測試報告。
ORM/Redis/Service倉庫
RepositoryORM倉庫,提供ORM介面和多種實現,可進行配置實現。
RepositoryRedis倉庫,提供Redis介面和多種實現,可進行配置實現。可以配置調用單機、redis、雲redis對接。
RepositoryService倉庫,提供Service介面和多種實現,可進行配置實現。一個RepositoryService倉庫就直接實現bbo、微服務、基礎伺服器對接介面和實現。
五、架構說明
技術選型
六、代碼生成器
代碼生成器
七、開發入門
平台教程:https://gitee.com/JeeHuangBingGui/jeeSpringCloud/attach_files
官方提供:
1、詳細部署文檔。
2、部署視頻。
3、中級培訓視頻待定,包括代碼生成、架構代碼介紹。
4、高級培訓視頻待定,包括架構代碼詳解。
5、架構培訓視頻待定,包括架構詳解、代碼生成詳解。
平台教程:https://gitee.com/JeeHuangBingGui/jeeSpringCloud/attach_files
八、在線體驗
演示版地址:http://bknfdnl.hn3.mofasui.cn/admin/login
I. 互聯網時代的網路自動化運維
互聯網時代的網路自動化運維
互聯網上有兩大主要元素"內容和眼球","內容"是互聯網公司(或稱ICP)提供的網路服務,如網頁、游戲、即時通信等,"眼球"則是借指海量的互聯網用戶。互聯網公司的內容往往分布在多個或大或小的IDC中,越來越多的"眼球"在盯著ICP所提供的內容,互聯網公司進行內容存儲的基礎設施也呈現出了爆發式的增長。為了保障對內容的訪問體驗,互聯網公司需要在不同的運營商、不同的省份/城市批量部署業務伺服器用以對外提供服務,並為業務模塊間的通信建立IDC內部網路、城域網和廣域網,同時通過自建CDN或CDN專業服務公司對服務盲點進行覆蓋。因此隨著業務的增長,運維部門也顯得愈發重要。他們經過這些年的積累,逐步形成了高效的運維體系。本文將結合國內互聯網公司的經驗,重點針對IT基礎設施的新一代自動化運維體系展開討論。
一、運維的三個階段
● 第一個階段:人人皆運維
在早期,一個公司的IT基礎設施尚未達到一定的規模(通常在幾台到幾十台機器的規模),不一定有專門的運維人員或部門,運維的工作分擔在各類崗位中。研發人員擁有伺服器許可權,自己維護和管理線上代碼及業務。
● 第二個階段:縱向自動化
隨著業務量的增長,IT基礎設施發展到了另外一個量級(通常在上百台至幾千台機器的規模),開始有專門的運維人員,從事日常的安裝維護工作,扮演"救火隊員",收告警,有運維規范,但運維主要還是為研發提供後置服務。
這個階段已經開始逐步向流程化處理進行過渡,運維部門開始輸出常見問題處理的清單,有了自己業務范圍適用的自動化腳本,開始利用開源軟體的拼裝完成大部分的工作。
具體表現為:各產品線有自己編寫的腳本,利用如SVN+puppet或chef來完成伺服器的上線和配置管理等工作。
● 第三階段:一切皆自動
在互聯網化的大潮中,越來越多的黑馬團隊應運而生,都曾有過短時間內用戶訪問量翻N倍的經歷。在流量爆發的過程中,ICP的互聯網基礎服務設施是否能夠很好的跟進,直接決定了業務內容能否滿足海量用戶的並發訪問。
與此同時,運維系統需要足夠地完善、高效、流程化。谷歌、騰訊、網路和阿里等規模的公司內一般都有統一的運維團隊,有一套或多套自動化運維系統可供參照,運維部門與開發部門會是相互平行的視角。並且也開始更加關注IT基礎設施在架構層面的優化以及超大規模集群下的自動化管理和切換(如圖1所示)。
圖1.大型互聯網公司IT基礎設施情況概覽
二、BAT(網路、阿里、騰訊)運維系統的分析
國內的互聯網公司網路、阿里、騰訊(以下簡稱:BAT)所提供的主要業務內容不同,IT架構不同,運維系統在發展過程中有不同的關注點。
1.騰訊運維:基於ITIL的運維服務管理
預計到2015年騰訊在全國將擁有60萬台伺服器。隨著2012年自動化部署實踐的成功,目前正在進行自動化驗收的工作。在網路設備方面,後續將實現從需求端開始的全自動化工作:設備清單自動生成->采購清單自動下發->埠連接關系、拓撲關系自動生成->配置自動下發->自動驗收。整個運維流程也已由初期的傳統IT管理演進到基於ITIL的服務管理流程(如圖2所示)。
圖2.騰訊基於ITIL的運維服務管理
2.阿里運維系統:基於CMDB的基礎設施管理+邏輯分層建模
CMDB(Configuration Management Database) 配置管理資料庫(以下簡稱:CMDB),將IT基礎架構的所有組件存儲為配置項,維護每個配置項的詳細數據,維護各配置項之間的關系數據以及事件、變更歷史等管理數據。通過將這些數據整合到中央存儲庫,CMDB可以為企業了解和管理數據類型之間的因果關系提供保障。同時,CMDB與所有服務支持和服務交付流程都緊密相聯,支持這些流程的運轉、發揮配置信息的價值,同時依賴於相關流程保證數據的准確性。可實現IT服務支持、IT運維以及IT資產管理內部及三者之間的流程整合與自動化。在實際的項目中,CMDB常常被認為是構建其它ITIL流程的基礎而優先考慮,ITIL項目的成敗與是否成功建立CMDB有非常大的關系。
3.網路自動化運維:部署+監控+業務系統+關聯關系
網路主要面臨的運維挑戰包括:突發的流量變化、復雜環境的關聯影響、快速迭代的開發模式以及運維效率、運維質量、成本之間的平衡等等。網路的運維團隊認為,當伺服器規模達到上萬台時,運維視角需要轉為以服務為粒度。萬台並不等於"百台*100";機器的運行狀態,也不再代表業務的工作狀態;運維部門為研發提供前置服務,服務與服務之間關系也隨著集群的擴大逐漸復雜起來。
圖3.網路自動化運維技術框架
網路的自動化運維技術框架,劃分為部署、監控、業務系統、關聯關系四大部分,整個框架更多突出了業務與IT基礎設施的融合,注重"關聯關系"的聯動。所謂關聯關系,主要是指任務與任務之間的時序依賴關系、任務與任務之間的數據依賴關系、任務與資源之間的引用依賴關系,分別對應到任務調度、數據傳輸、資源定位的服務流程中,形成了多條服務鏈。
關聯關系的運維與業務較強相關,需要有一套系統能夠理清楚關系的全貌,從而在復雜的服務鏈上,定位運行所在的環節,並在發生故障時預估影響范圍,及時定位並通知相應的部門。在這樣的一套系統中,自動化監控系統非常重要。網路的技術監控框架,主要通過數據採集、服務探測、第三方進行信息收集,進行監控評估後交給數據處理和報警聯動模塊處理,通過API介面進行功能擴充(如圖4所示)。
圖4.網路自動化技術監控框架
其實無論是BAT等互聯網企業還是其他行業的企業,在IT建設中都會遵循IT基礎架構庫(ITIL)或ISO20000服務管理的最佳實踐,採用自動化IT管理解決方案以實現重要的業務目標,如減少服務中斷、降低運營成本、提高IT效率等等。隨著ISO20000、ITIL v3.0的發布和推廣,兩者已經成為事實上的某種標准。在當今企業IT管理領域,對兩個標准有著很迫切的需求。特別是ISO20000的認證要求,已經成為企業越來越普遍的需求 。ITIL v3.0包含了對IT運維從戰略、設計到轉換、運營、改進的服務全生命周期的管理,相關方案往往覆蓋了多個領域和多個產品,規劃實施和工具的選擇會比較糾結。如果選擇開源的工具,從CMDB開始就會遇到很多的開發工作,對於很多注重成本收益比的企業,可以參考,但由於無法保證性能與效果並不一定適用。因此,成熟的商業方案會是更好的選擇。
最新的iMC V7版本,圍繞資源、用戶、業務三個維度進行創新,發布了SOM服務運維管理(基於ISO20000、ITIL標准)等組件,增加了對伺服器的管理,能很好的滿足更多互聯網化的場景需求。
通常認為,一個高效、好用的配置管理資料庫一般需要滿足6條重要標准,即聯合、靈活的信息模型定義、標准合規、支持內置策略、自動發現和嚴格的訪問控制。企業IT基礎架構的元素類型、管理數據的類型往往有較多種,如網路設備、伺服器、虛擬機等,因此對於多種信息的存儲需要有合適的聯合的方法。雖然 iMC智能管理平台在網路設備、伺服器設備等方面已經能夠較好的的滿足,但是隨著伺服器虛擬化技術的發展,虛擬機正越來越多的成為IT基礎架構的一大元素。因此,針對這一需求華三通信基於CAS CVM虛擬化管理系統,對伺服器CPU、內存、磁碟I/O、網路I/O等更細節的重要資源以及虛擬機資源進行全面的管理。與BAT不同,華三通信的網管軟體面向全行業,目前雖然沒有對域名管理等特殊資源的'管理,但是能夠通過API介面等方式與特有系統進行聯動,進而滿足定製化運維的需求,尤其是在互聯網化的場景中,針對不同的業務需求,可以實現很多定製化的對接需求,例如,iMC+WSM組件與國內某大互聯網公司自有Portal系統進行了對接,打通了iMC工具與用戶自有運維平台,很好的實現了架構融和。另外,與阿里的邏輯分層建模相似,H3C "iMC+CAS"軟體體系在上層也做了很多的邏輯抽象、分層,形成了諸多的模塊,也即是大家看到的各種組件。
三、網路自動化運維體系
"哪怕是一個只有基礎技術能力的陌生人,也能做專業的IT運維;哪怕是一個只有初中學歷的運維人員,也能夠帶隊完成中小型機房節點的建設,並負責數百至上千台伺服器的維護管理工作"--這是一些公司對自己IT運行維護水平的一個整體評價。看似有些誇大的嫌疑,但實際上依託於強大的IT運維系統,國內已經有不少互聯網公司能夠達到或者接近這一標准。
這些企業都經歷了運維發展過程中的各個階段,運維部門曾經也是被動的、孤立的、分散的"救火隊"式的團隊,在後來的發展過程中,IT系統架構逐漸走向標准化、模型化,運維部門建立了完整的設備、系統資源管理資料庫和知識庫,包括所有硬體的配置情況、所有軟體的參數配置,購買日期、維修記錄,運維風險看板等等,通過網管軟體,進行系統遠程自動化監控。運維過程中系統會收集所有的問題、事件、變更、服務級別等信息並錄入管理系統,不斷完善進而形成一套趨向自動化的運作支撐機制。按照雲計算的體系架構,在這樣一套系統中,主要的IT資源包括計算、存儲、網路資源,近些年隨著網路設備廠商的推動,網路設備管理方面的自動化技術也得到十足的發展。
總結來看,一個企業在進行互聯網化的建設初期,就需要考慮到隨著用戶訪問量的增加,資源如何進行擴展。具體可以細化為規劃、建設、管理、監控、運維五個方面。
1.規劃模型化
為了確保後續業務能夠平滑擴容,網管系統能夠順利跟進,互聯網企業一般在早期整體系統架構設計時便充分考慮到標准化、模型化,新增業務資源就好比點快餐,隨需隨取。
標准化:一是採用標准協議和技術搭建,擴展性好,使用的產品較統一,便於管理;二是採用數據中心級設備,保證可靠性、靈活性,充分考慮業務系統對低時延的要求。
模型化:基於業務需求設計網路架構模型,驗證後形成基線,可批量復制,統一管理,也適宜通過自動化提高部署效率、網管效率。
圖5.常見互聯網IDC架構
2.建設自動化
互聯網IT基礎設施具備批量復制能力之後,可以通過自動化技術,提高上線效率。在新節點建設過程中,3~5人的小型團隊即可完成機房上線工作。例如某互聯網公司某次針對海外緊急業務需求,一共派遣了2名工程師到現場進行設備安裝部署和基本配置,而後通過互聯網鏈路,設備從總部管理系統中自動獲取配置和設備版本,下載業務系統,完成設備安裝到機房上線不超過1周時間。
要達到自動化運維的目標,建設過程中需要重點考慮批量復制和自動化上線兩個方面(如圖6所示)。
批量復制:根據業務需要,梳理技術關注點,設計網路模型,進行充分測試和試點,輸出軟、硬體配置模板,進而可進行批量部署。
自動化上線:充分利用TR069、Autoconfig等技術,採用零配置功能批量自動化上線設備,效率能夠得到成倍提升。
圖6.批量配置與自動化上線
○ Autoconfig與TR069的主要有三個區別:
○ Autoconfig適用於零配置部署,後續一般需要專門的網管系統;TR069是一套完整的管理方案,不僅在初始零配置時有用,後續還可以一直對設備進行監控和配置管理、軟體升級等。
○ Autoconfig使用DHCP與TFTP--簡單,TR069零配置使用DHCP與HTTP--復雜,需要專門的ACS伺服器。
安全性:TR069更安全,可以基於HTTPS/SSL。
而H3C iMC BIMS實現了TR-069協議中的ACS(自動配置伺服器)功能,通過TR-069協議對CPE設備進行遠程管理,BIMS具有零配置的能力和優勢,有靈活的組網能力,可管理DHCP設備和NAT後的私網設備。BIMS的工作流程如圖7所示。
圖7.H3C iMC BIMS工作流程
3.管理智能化
對於網管團隊而言,需要向其他團隊提供便利的工具以進行信息查詢、告警管理等操作。早期的網管工具,往往離不開命令行操作,且對於批量處理的操作支持性並不好,如網路設備的MIB庫相比新的智能化技術Netconf,好比C和C++,顯得笨拙許多。因此使用的角度考慮,圖形化、智能化的管理工具,往往是比較受歡迎。
智能化:使用新技術,提升傳統MIB式管理方式的處理效率,引入嵌入式自動化架構,實現智能終端APP化管理(如圖8所示)。
圖8.消息、事件處理智能化
● Netconf技術
目前網路管理協議主要是SNMP和Netconf。SNMP採用UDP,實現簡單,技術成熟,但是在安全可靠性、管理操作效率、交互操作和復雜操作實現上還不能滿足管理需求。Netconf採用XML作為配置數據和協議消息內容的數據編碼方式,採用基於TCP的SSHv2進行傳送,以RPC方式實現操作和控制。XML可以表達復雜、具有內在邏輯、模型化的管理對象,如埠、協議、業務以及之間的關系等,提高了操作效率和對象標准化;採用SSHv2傳送方式,可靠性、安全性、交互性較好。二者主要對比差異如表1所示。
表1 網管技術的對比
● EAA嵌入式自動化架構
EAA自動化架構的執行包括如下三個步驟。
○ 定義感興趣的事件源,事件源是系統中的軟體或者硬體模塊,如:特定的命令、日誌、TRAP告警等。
○ 定義EAA監控策略,比如保存設備配置、主備切換、重啟進程等。
○ 當監控到定義的事件源發生後,觸發執行EAA監控策略。
4.監控平台化
利用基本監控工具如Show、Display、SNMP、Syslog等,製作平台化監控集成環境,實現全方位監控(如圖所示)。
;