存儲工程師負責什麼
① 存儲工程師和網路工程師
存儲一般做伺服器,技術要求更高。現在虛擬化更是趨勢。
網路呢,要了解伺服器,但是知名企業要求也很高。
建議選擇存儲工程師。學歷不高的話選擇網工。當然,網工做好了也一樣有前途,只是開始技術含量沒前者高。
② 關於大學計算機專業資料庫方向
大學計算機專業資料庫方向:
1、資料庫應用開發 (application development)
除了基本的SQL方面的知識,還要對開發流程,軟體工程,各種框架和開發工具等等
資料庫應用開發這個方向上的機會最多,職位最多。
2、數據建模專家 (data modeler)
除了基本的SQL方面的知識,非常熟悉資料庫原理,數據建模負責將用戶對數據的需求轉化為資料庫物理設計和物理設計,這個方向上在大公司(金融,保險,研究,軟體開發商等)有專門職位,在中小公司則可能由程序員承擔。
3、商業智能專家 (business intelligence - BI)
主要從商業應用,最終用戶的角度去從數據中獲得有用的信息,涉及OLAP (online analytical processing) ,需要使用SSRS, cognos, crystal report等報表工具,或者其他一些數據挖掘,統計方面的軟體工具。
4、ETL開發 (ETL Developer)
使用ETL工具或者自己編寫程序在不同的數據源之間對數據進行導入,導出,轉換,所接觸的資料庫一般數據量非常大,要求進行的數據轉換也比較復雜和數據倉庫和商業智能的關系比較密切。在一些資料庫應用規模很大的公司裡面有專門的職位,中小公司裡面則可能由程序員或者DBA負責這方面的工作。
5、數據構架師 (Data Architect)
主要從全局上制定和控制關於資料庫在邏輯這一層的大方向,也包括數據可用性,擴展性等長期性戰略,協調資料庫的應用開發,建模,DBA之間的工作。這個方向上在大公司(金融,保險,研究,軟體開發商等)有專門職位, 在中小公司或者沒有這個職位,或者由開發人員,DBA負責。
6、資料庫管理員 (database administrator - DBA)
資料庫的安裝,配置,調優,備份/恢復,監控,自動化等,協助應用開發(有些職位還要求優化SQL,寫存儲過程和函數等)。這個方向上的職位相對少一些,但一般有點規模的公司還是會有這樣的職位
7、數據倉庫專家 (data warehouse - DW)
應付超大規模的數據,歷史數據的存儲,管理和使用,和商業智能關系密切,很多時候BI和DW是放在一個大類裡面的,但是我覺得DW更側重於硬體和物理層上的管理和優化。
8、存儲工程師 (storage engineer)
專門負責提供數據存儲方案,使用各種存儲技術滿足數據訪問和存儲需求,和DBA的工作關系比較密切。對高可用性有嚴格要求(比如通信,金融,數據中心等)的公司通常有這種職位, 這種職位也非常少。
9、性能優化工程師 (performance engineer)
專長資料庫的性能調試和優化,為用戶提供解決性能瓶頸方面的問題。也有專門的性能優化工程師,負責為其資料庫產品和關鍵應用提供這方面的技術支持。對資料庫性能有嚴格要求的公司(比如金融行業)可能會有這種職位。 因為針對性很強,甚至要求對多種資料庫非常熟悉,所以職位極少。
10、高級資料庫管理員 (senior DBA)
在DBA的基礎上,還涉及上面3種職位的部分工作,具體包括下面這些:對應用系統的數據(布局,訪問模式,增長模式,存儲要求等)比較熟悉。對性能優化非常熟悉,可以發現並優化從SQL到硬體I/O,網路等各個層面上的瓶頸,對於存儲技術相對熟悉,可能代替存儲工程師的一些工作,對資料庫的高可用性技術非常熟悉(比如MSSQL的集群,ORACLERAC/FailSafe, IBM的DPF, HADR等),對大規模資料庫有效進行物理擴展(比如表分區)或者邏輯擴展(比如資料庫分區,聯合資料庫等)。熟悉各種數據復制技術,比如單向,雙向,點對點復制技術,以滿足應用要求。災難數據恢復過程的建立,測試和執行。這種職位一般只在對資料庫要求非常高並且規模非常大(比如金融,電信,數據中心等)的公司需要,而且這種公司一般有一個專門獨立負責資料庫的部門或組。這種職位非常少。
③ 雲存儲工程師的技能樹是怎樣的
1. 分塊思想。分布式的基本思想就是分而治之,幾乎所有的分布式存儲系統都會對一個文件切成一個一個的塊(block)。
2. 數據分布演算法。分布式存儲系統需要把所有分割的塊對象存儲到不同的機器中,這些塊應該如何分布使得既能保證數據均勻,又能使節點增加或者減少時盡量減少數據遷移,即數據分布演算法,比如crush演算法、一致性hash演算法等。以前遇到一個面試題大概意思是說有N個文件需要保存到M台機器中,存儲策略是什麼,最簡單的演算法就是對文件求hash取模,這樣既能保證數據均衡分布,又能高效索引(再去求hash取模就找到了文件存儲位置),萬一我增加個存儲節點該怎麼辦呢。
3. 冗餘副本。一個文件被分割成了若干塊後被分布在不同的機器上,萬一網路故障或者某台機器掛了,文件就訪問不了了,為了保證可用性和可靠性,通常都是通過冗餘副本來實現,即一個塊會復製成多個相同的塊副本(通常3副本),並分布在不同的機器上,這樣即使某個塊所在的機器訪問不了了,也能通過其它塊讀取。這些副本同樣需要考慮如何分布的問題,盡量不要在同一個故障域中。
4. 糾刪碼。採用以上副本的方式保護數據,缺點是需要佔用多倍的存儲空間來提供冗餘,成本太高,你也可以考慮使用糾刪碼的數據保護方法,能夠使用較少的冗餘存儲空間提供一樣的可靠性等級,當然讀寫性能要下降些,典型時間換空間的例子。
5. 數據同步和一致性。每個塊都被分割成了多個副本,這些副本如何保證一致性,讀寫效率和一致性之間如何權衡,了解CAP理論和NWR策略,各種一致性模型,比如最終一致性、強一致性等。
6.數據索引。一個文件被分割成塊並分布在不同的機器,如何重新找到這些塊組裝成原來的文件。你可以用一個專門的服務來維護和存儲文件和塊之間的映射關系(HDFS namenode),也可以通過計算的方法找到這些映射關系(Ceph crushmap)。
7.其它。比如網路通信、RPC、序列化等。
8.塊存儲、文件系統存儲、對象存儲區別。
④ 存儲工程師需要掌握哪些東西
需要曾經承擔過大型項目集成工程,能夠獨立製作技術方案及存儲、備份系統設計工作;
對於業界主流伺服器、存儲、資料庫以及備份系統(如HP/IBM/EMC/昆/Symantec/Oracle等),在產品性能、設備選型以及解決方案等方面有比較深刻的理解。
網路存儲工程師俗稱「數據管家」。網路存儲是對當今網路具有強大影響力的技術,它的出現把數據從以往的分散管理轉變為集中管理,可大幅度降低成本、提高效率,同時又提供了可靠性高的數據備份,解決了因伺服器變更或伺服器合並等操作帶來的諸多問題,利用遠程鏡像技術在災難發生時也能夠保證數據的可靠恢復。
網路存儲是對當今網路具有強大影響力的技術,它的出現把數據從以往的分散管理轉變為集中管理,可大幅度降低成本、提高效率,同時又提供了可靠性高的數據備份,解決了因伺服器變更或伺服器合並等操作帶來的諸多問題,利用遠程鏡像技術在災難發生時也能夠保證數據的可靠恢復。對於信息就是財富的金融、電信、證券、保險以及其它類似的行業來說,信息的丟失就意味著企業的業務將遭受致命的打擊,所以諸多企業對網路存儲專業人才都是求賢若渴。
⑤ 網路存儲工程師的主要職責
分析用戶需求、定做方案建議書;為用戶提供存儲系統的規劃、設計、實現、運作和優化服務;對市場活動,售前、售後服務提供支持;負責數字產品的日常存儲管理工作。
崗位要求:3年以上工作經歷,從事過系統、資料庫、存儲系統等相關工作;有存儲軟、硬體產品和項目的支持經驗,了解磁碟櫃、磁帶庫、SAN解決方案的相關知識;熟悉EMC、IBM、HP、Veritas、STK、NT、Novell等主要廠商的存儲產品;熟悉網路存儲平台的設計與管理,精通Or?acle資料庫管理,精通SQLServer的管理,熟悉多媒體文件的存儲與管理;有較強的資料庫規劃管理能力;有較強的客戶服務觀念;有良好的文字表達能力,學習能力強,務實、善於溝通、具有團隊合作精神。
職業前景:有統計表明,每100萬元的存儲設備就需要4個人來維護。而2002年中國存儲系統市場規模就已經達到了56億元,據預測,在5年內,存儲市場會以10%-20%的年增長率遞增,即在未來5年內,我國至少會有20萬的人才缺口,而國內現在具備存儲工程師資格的技術人員不到500人。
薪資水平:由於人才緊缺,擁有存儲技術的高級工程師月薪可達萬元。
工作任務描述:
主要工作在一些大的數據需要量大的公司如銀行、電視台、IDC中心
有效管理公司海量數據,有存儲設備測試、評估環境、系統咨詢、實施指導、測試、培訓、相關解決方案
災難恢復
要求:
最好有多年的網路管理經驗
熟悉一些常用資料庫軟體
有網路存儲理論知識,包括存儲基礎、技術及網路存儲高級技術
熟悉主流存儲、備份廠商的產品線;如IBM/HP/SUN
熟練掌握veritas、legato、tsm、dp等備份軟體工具使用
具有良好的撰寫需求分析、解決方案、PPT、系統軟硬體配置等方案的能力