防孤島演算法
㈠ 光伏逆變器是否具有防孤島保護
光伏逆變器一般都具有孤島保護功能,具備在一定條件下斷開和電網的連接,對檢修人員起到保護作用,我用的是固德威的逆變器,具有這個功能
㈡ 人工智慧發展的關鍵是什麼
人工智慧作為新一輪科技革命的通用技術,將對經濟體系產生重要而深遠的影響,對促進經濟高質量發展具有重要意義。
目前,人工智慧產業發展的基礎相對薄弱。數據安全、道德、收入分配、技術泡沫和區域空間等也面臨著嚴峻挑戰。
這些挑戰不僅包括人工智慧本身的缺陷,還包括人工智慧發展帶來的社會和經濟問題。提前規劃並妥善解決這些問題是推動人工智慧深入發展的關鍵。
㈢ 相關公司拒絕執行個人信息安全法第十五條規定怎麼處理
《個人信息保護法》三讀通過,標志著我國對個人信息的立法保護方面上升到了新的高度;但相對應的是,作為「信息處理者」的企業也有了法律上新的義務。
作者 | 呂長軍 中國傳媒大學法律碩士校外導師
編輯 | 布魯斯
2021年8月, 我國《個人信息保護法》三讀通過 ,標志著我國對個人信息的立法保護方面上升到了新的高度;但相對應的是,作為「信息處理者」[1]的企業也有了法律上新的義務,包括:制度完備義務、安全保障義務、個人信息分級分類義務、內部許可權管理義務、信息質量與演算法合規義務、信息主體權益保障義務、事前風險評估義務(例如事前個人信息保護影響評估)、合規審計義務、以及特殊處理者的義務等,因此需要依法建立起符合法律要求的個人信息及數據[2]合規體系。
一、企業建立個人信息及數據合規體系的價值
《個人信息保護法》中對企業提出了建立個人信息保護合規體系的要求,似乎企業負擔加重,但實際上企業按照《個人信息保護法》的要求來進行合規操作有諸多的價值:
其一,合規價值。我國先後出台的《網路安全法》、《數據安全法》和《個人信息保護法》三部法律不僅構建起個人信息和數據保護的基本框架, 而且均明確要求企業建立數據(或個人信息)合規制度,而《個人信息保護法》更是要求大型互聯網平台、業務類型復雜的企業 「應當按照國家規定建立健全個人信息合規制度體系」[3];同時,諸多境外數據保護法律法規如GDPR等也要求企業建立數據及個人信息保護合規體系。可以說,建立個人信息及數據合規體系已經成為現代企業的一項重要法律義務。
其二, 品牌價值和市場競爭力。在強調個人數據與隱私保護的大環境下,企業在數據安全和隱私保護方面的有效努力,最終會得到合作方的認可,更為重要的是可以得到消費者的最後認同,這無疑將提升企業的品牌價值和市場競爭力。
其三,降低企業風險及減少損失。任何企業在個人信息及數據方面不合規的行為,均有可能產生行政調查、侵權訴訟、媒體曝光、甚至刑事案件等後果,將可能會為企業帶來重大的經濟和聲譽損失,包括行政處罰、訴訟賠償、刑事處罰、客戶流失等。
其四,有助於應對行政監管或訴訟。企業的個人信息及數據合規體系的完備,可以在一定程度上證明企業已充分盡到數據及個人信息保護的義務,可以有效助力企業應對監管執法和訴訟抗辯。
二、《個人信息保護法》第51條下企業的合規義務
在《個人信息保護法》中,第51條集中闡述了個人信息處理者的主要合規義務,包括制度建設、信息分類、技術措施、人員管理和應急預案五個基本方面以及兜底的其他措施。
第51條規定:
個人信息處理者應當根據個人信息的處理目的、處理方式、個人信息的種類以及對個人權益的影響、可能存在的安全風險等,採取下列措施確保個人信息處理活動符合法律、行政法規的規定,並防止未經授權的訪問以及個人信息泄露、篡改、丟失:
(一)制定內部管理制度和操作規程;
(二)對個人信息實行分類管理;
(三)採取相應的加密、去標識化等安全技術措施;
(四)合理確定個人信息處理的操作許可權,並定期對從業人員進行安全教育和培訓;
(五)制定並組織實施個人信息安全事件應急預案;
(六)法律、行政法規規定的其他措施。
1、制定公司內部管理制度和操作規程
《個人信息保護法》要求個人信息處理者(企業)內部應建立完善的個人信息保護制度以及操作規程。
1)健全內部管理制度
對企業而言,了解和梳理企業個人信息處理活動的目的、范圍和方式,是進行信息處理管理的基礎。在此基礎上,需要整理、制定適應企業內部的個人信息相關制度,包括但不限於:(1)個人信息收集、傳輸及處理制度;(2)個人用戶信息收集及處理告知制度;(3)個人信息安全保護制度(包括傳輸、使用及資料庫安全等);(4)信息分級分類管理制度;(5)個人信息風險評估制度 ;(6)審計制度等。
除上述重要制度外,企業內部管理制度中還應有應急預案制度、個人信息出境管理制度等。(詳見下文)
內部制度應具有合規性、可行性、完備性;也即既要符合法律法規要求,又要從企業自身實際情況出發,可操作,同時應注意全面覆蓋相應各個業務條線, 具有完備性。
2)制定個人信息收集、傳輸、存儲及處理操作流程
流程與制度相輔相成。企業應注意「個人信息處理全流程管理」的重要性,實施從個人信息收集、傳輸、存儲到處理、刪除等各環節的銜接和涵蓋全流程的管理,並在流程中應注意嚴格的許可權管理。
3)設置網路安全負責人、個人信息保護負責人等專職人員
《網路安全法》要求網路運營者設置專門安全管理機構和安全管理負責人,《信息安全技術 個人信息安全規范》規定了個人信息控制者應當設置個人信息保護負責人,而GDPR則要求設置數據保護官。
《個人信息保護法》沒有硬性要求所有的企業均設立「個人信息保護負責人」,而是要求如果處理個人信息達到一定」數量」, 則應設置個人信息保護負責人[4],但「數量」並未予以明確標准。當涉及的個人信息數據量較大時,企業應當考慮設定個人信息保護負責人,由其進行相關工作的統籌和管理,在有必要的情況下可以考慮成立相關部門,負責建立內部合規管理制度和相關措施乃至推行制度及措施的實施。
2、個人信息實行分級分類管理
《網路安全法》、《數據保護法》和《個人信息保護法》都提出要將數據進行分級分類管理。無論從合規或管理效率而言, 企業都有必要對數據進行分級分類管理。
首先,梳理企業信息庫存。搞清企業目前擁有哪些個人信息(數據)、承載個人信息的數據位於何處、如何流動以及與哪些部門相關,是在企業中創建個人信息保護合規框架的基礎。
其次,明確所需信息, 去除非必要信息。對個人信息的處理,應滿足《個人信息法》第6條提出的 「明確合理目的」以及「個人權益影響最小」兩個原則。因此,企業應當明確其需要哪些類型的個人信息,通過清單等形式將所需信息的內容和目的進行陳列,同時,應在企業系統中去除非必要的信息,並嚴格要求各部門不再進行收集或儲存。
再次,對需要處理的信息進行分級分類,以便進一步的管理,包括處理許可權、流程等工作的區分。
其中,企業應對以下兩類信息進行甄別並加以特別關註:
1)敏感個人信息。敏感個人信息包括種族、民族、宗教信仰、個人生物特徵、醫療健康、金融賬戶、個人行蹤等信息。這類信息多與人身、財產安全相關,因此受到法律特別保護,相關的程序和保護措施要求較之一般個人信息要嚴格。
2)未成年人(未滿十四周歲)個人信息。我國法律要求對該類信息的處理應依法取得其監護人的同意。
需要注意的是, 企業收集的個人信息, 不僅僅指收集的外部個人信息, 也包括對內部員工的個人信息。雖然《個人信息保護法》提出因對內部員工「人力資源管理」從而可以進行各種個人信息的收集、處理, 但絕不意味著可以忽略內部員工個人信息權益的保護。
3、個人信息安全保護措施
在網路環境下,數據安全是個人信息保護的基礎,而保障數據安全是個人信息處理者的一項重要且基礎的工作,同時也是一項法律義務。我國《網路安全法》要求網路運營者保障網路安全、維護網路數據的完整性、保密性和可用性[5];《數據安全法》強制性規定了數據處理者保障數據安全的法律義務[6], 《個人信息保護法》則要求企業採用安全技術措施來保護其所處理的個人信息。
匿名化後的數據,不需要遵守有關個人信息保護的條款, 但仍應遵守數據保護的法律規定。
4、個人信息處理許可權及安全教育與培訓
個人信息處理許可權制度經過多年企業界的實踐, 被證明是一項較好的對個人信息及數據管理的機制,《個人信息保護法》將該機制直接列為企業的一項法律義務。該機制的要點在於:
1)設立內部分工和許可權制度。將個人信息的收集、儲存、使用等處理環節,以及風險監控、合規等工作進行明確的分工,並根據分工和信息分級分類情況,對不同員工設置對應級別的許可權。
2) 全員參與(而非重點人員參與)安全與許可權培訓。通過個人信息與數據的安全教育與培訓,牢固樹立數據安全意識,明確各自許可權所在, 防止人為造成數據泄露。
5、個人信息安全事件應急制度
合規工作雖能防患於未然,但並不能完全排除風險。隨著技術進步和企業產品迭代,安全漏洞總難以避免,因此企業應當制定數據安全事件應急預案並定期演練,以備不時之需。我國《網路安全法》中已規定網路運營者應當制定網路安全事件應急預案[9],及時處置系統漏洞、計算機病毒、網路攻擊、網路侵入等安全風險;在發生危害網路安全的事件時,及時啟動應急預案,採取相應的補救措施,並按照規定向有關主管部門報告。
《個人信息保護法》再次強調企業應建立個人信息安全事件應急預案並定期進行演練,並將此作為企業的一項法律義務。
三、《個人信息保護法》下企業的其他合規義務
除第51條外,《個人信息保護法》還在其他條文中規定了企業的一些重要的合規義務, 主要包括:
1、收集、處理個人信息的充分告知義務
《個人信息保護法》再次強調了個人信息收集與處理的「告知-同意」原則。對於需要收集個人信息的企業而言,應制定出明確的個人信息保護政策(《隱私政策》),真實、完整的向用戶告知企業的基本情況、個人信息收集、使用目的、范圍及場景、個人信息處理方式及規則、對外共享及披露情形、個人信息主體權利保障機制、投訴處理渠道等。
個人信息保護政策應公開發布且應送達個人信息主體, 由用戶在注冊或首次運行產品時閱讀並勾選同意後才可繼續使用。如涉及個人信息會被用於用戶畫像和個性化展示的,則應在《隱私政策》中徵得用戶的同意,充分保障用戶知情權;而在進行自動化決策前,應當就自動化決策的透明和公平性做好充分說明。
需要特別注意的是,《個人信息保護法》要求對於收集個人敏感信息的,應取得用戶的單獨同意[10],因此企業不能採取過去的概約性、打包式的同意,而應單獨提示用戶勾選同意方可。
2、信息主體權益保障義務(應提供個人信息查閱復制、修正、移轉及刪除服務)
《個人信息保護法》明確了在個人信息處理活動中個人的各項權利,包括知情權、決定權、限制權、拒絕權、查閱、復制權、可攜權、更正、補充權、刪除權。既然個人享有一系列個人信息權利,也意味著個人信息處理者負有配合個人權利行使的義務。企業需要根據用戶個人的需求,靈活和准確地響應數據主體訪問查詢、更正、刪除、移轉等要求。
1)接受信息主體的要求,提供個人信息查閱、復制的途徑及服務
長期以來,不少互聯網平台將用戶信息視為重要的財產性權益,而用戶想了解平台到底掌握自己哪些信息卻有時連查詢的渠道、途徑都沒有。GDPR開了個人信息嚴格保護的先河,確認個人有查詢權,即有權要求互聯網公司(信息控制者)提供掌握本人信息的明細清單。
《個人信息保護法》也規定了企業應為用戶提供個人信息查閱、復制的法律義務,因此企業也應制定相應的接受用戶要求、核實身份、匯總信息、提供信息的制度和流程。
2)接受信息主體的要求, 提供個人信息修正的途徑及服務
《個人信息保護法》第十五條規定了信息主體對個人信息的修改權,企業應為個人信息處理者提供修正的途徑和服務。相應的,企業應建立起修正溝通渠道、內部修正機制等。
3)接受信息主體的要求,提供移轉的途徑及服務
《個人信息保護法》第十五條規定了信息主體對個人信息的可攜帶權,即個人請求將個人信息轉移至其指定的個人信息處理者,符合國家網信部門規定條件的,個人信息處理者應當提供轉移的途徑。該規定不僅有利於個人自由處理其個人信息,也有利於打破數據壟斷和數據孤島現象。而作為企業也應就此制定移轉的內部操作流程。
4)接受信息主體的要求,提供便捷刪除服務
《個人信息保護法》第十五條規定了「基於個人同意而進行的個人信息處理活動,個人有權撤回其同意。個人信息處理者應當提供便捷的撤回同意的方式」。
撤回同意,是個人信息主體處分自身權利的一種方式。企業應確定撤回方式、撤回渠道等響應機制,並應保證用戶行使權力的便利性,符合「便捷原則」。
雖然法律未解釋何為「便捷」, 但按照通常的理解,「撤回」的難度不應大於「同意」的難度。
因此,企業可在企業主網頁、APP登錄入口等顯著頁面安置「撤回」的鏈接或選項, 並提供明晰的操作指導。企業內部因數據的修改和刪除有可能涉及多個部門,故應建立一系列的操作流程,並應研判其中的風險。
3、數據與演算法的合規義務
1)數據質量的檢查和審視,防止因數據質量引發歧視
演算法以數據為基礎, 數據不準確,則演算法結果、數據分析結論則基本不會准確,有可能會對相關數據主體帶來負面評價,從而導致其合法權益受到影響。
《個人信息保護法》第8條規定:
「處理個人信息應當保證個人信息的質量,避免因個人信息不準確、不完整對個人權益造成不利影響。」
《個人信息保護法》將保證個人信息質量作為企業的法定義務,從企業的角度說,則應建立檢查和審視數據的相應制度和流程, 以保障數據獲取的准確度。
2)保證演算法公平合理, 防止不合理差別待遇
互聯網時代「演算法為王」。演算法推薦是搜索引擎、社交軟體、電子商務等幾乎所有平台的標配。平台用代碼、演算法替代了傳統的內容分發過程中編輯的角色,提高了服務效率的同時,也會導致例如大數據殺熟、劣質內容泛濫等一系列侵犯用戶權利的現象。也正因為演算法推薦下的社會問題層出不窮,國家開始通過立法手段進行干預,並在《個人信息保護法》下初步確立了演算法問責制,這在我國還是首次。
《個人信息保護法》第二十四條規定,
個人信息處理者利用個人信息進行自動化決策,應當保證決策的透明度和結果公平、公正。
演算法的透明性、公平及公正性本屬於倫理范疇, 《個人信息保護法》將它上升到了法律的高度, 成為相關企業的法律義務。它要求個人信息處理者必須對所用演算法進行檢查和審視,保證自動化決策的透明度和結果的公平、公正,不得對個人在交易價格等交易條件上實行不合理的差別待遇。
3) 自動化決策(演算法),需遵循「明確合理目的」以及「個人權益影響最小」兩個原則
《個人信息保護法》第六條規定,企業進行自動化決策,需遵循「明確合理目的」以及「個人權益影響最小」兩個原則,而且在自動化決策對個人權益造成重大影響時,應「向個人提供便捷的拒絕方式」, 也即賦予個人主體拒絕權。這對於長期以來通過個性化推薦、通過用戶畫像為用戶提供各種信息服務的企業來說,產生較強的影響和制約。
4、事前風險評估義務[11]
根據《個人信息保護法》的規定,在下列情況中,企業應當進行事前風險評估,且應將風險評估報告和處理情況記錄至少保存三年:
1)處理敏感個人信息;
2)利用個人信息進行自動化決策;
3) 委託處理個人信息、向他人提供個人信息、公開個人信息;
4) 向境外提供個人信息;
5)其他對個人有重大影響的個人信息處理活動。
我國《數據安全法》中僅規定「重要數據」的處理者應當對其數據活動定期開展風險評估,並向有關主管部門報送風險評估報告[12];《個人信息保護法》則明確在涉及「敏感個人信息」、「自動化決策」、「委託處理」、「向第三方提供」、「對外公開」、「跨境提供」等情形下賦予所有的個人信息處理者以「事前評估」的義務。
因此,風險評估將成為作為信息處理者的企業的一項經常性工作, 應將其制度化、常態化,在保證評估質量的情況下盡量實現高效、快捷。
筆者認為,風險評估報告應當包括本組織涉及的個人信息種類、數量, 收集、存儲、使用、委託、提供等的情況,面臨的安全風險及其應對措施等。
5、合規審計義務
《個人信息保護法》要求定期對企業處理個人信息遵守法律、行政法規的情況進行合規審計[13]。但由誰審計、具體審計內容、審計標准尚未有明確規定,企業應未雨綢繆,參照《個人信息保護法》、《網路安全法》、《數據保護法》三部基本法律中相對具體的規定,制定出應對審計的方案。筆者認為,主要內容應包括:
1) 審查內部管理制度和個人信息備忘錄的完備性和合規性;
2) 定期審計個人信息處理和管理工作;
3) 審計履行個人信息查閱復制、修正、移轉及刪除義務情況(信息主體權益保障情況);
4) 審核風險評估報告及記錄情況;
5) 審核個人信息相關的合同及其他法律文書;
6) 根據個人信息及數據相關法律法規的更新,及時調整內部制度的情況。
6、委託外部進行個人信息處理的合規義務
《個人信息保護法》並非不允許進行個人信息的外部委託處理, 但是應區分「共同處理」與「委託處理」, 其中,共同處理應取得信息主體的充分授權。
在數字經濟發展迅猛的今天, 數據外部委託處理已經極為常見, 比如雲服務,SAAS服務等, 均需要數據的外部存儲與處理。委託處理雖不必取得信息主體的授權,但是,《個人信息保護法》生效後,在對委託第三方(受託人)處理的情況下,委託處理個人信息之前,應事先進行個人信息保護影響評估,並對處理情況進行記錄。
雙方應簽訂書面委託合同, 其中應清楚載明委託事項、受託人許可權、期間等事項, 尤其是委託受託人進行信息處理不應超過個人權利主體的授權許可權或相關法律授予的許可權。
7、跨境數據傳輸的合規義務
《個人信息保護法》並非禁止個人信息跨境傳輸,而是規定了實現數據跨境傳輸的必要條件以及制度性框架,並引入了國際上一些較為成熟的做法,如標准合同機制等。但是,在操作層面還有待於進一步的制度以及有關部門的指導性意見去進行細化,包括標准合同模板、國家網信部門的評估流程及標准、認證部門及認證標准、不對等國家的清單等[14]。因此,在跨境數據流動場景中,企業應嚴格按照《個人信息保護法》、《網路安全法》與《數據安全法》的規定, 慎重處理跨境數據傳輸的問題。
對於企業(尤其是互聯網企業)而言,《個人信息保護法》要求的企業合規內容多而雜,可能涉及企業多個部門,因此企業應根據自身實際情況有一個完整的應對思路和方案, 所有部門都應當做好調整和配合的准備。
我國的《個人信息保護法》吸收了國外立法的優秀做法以及過往國內實踐寶貴經驗,可謂是「集大成者」,真正把我國對個人信息保護提升到了新的水平;但「徒法不足以自行」,個人信息保護法還有待於包括企業在內的各方一起努力,才能真正起到保護公民個人信息、維護公民網路空間權益以及促進信息合理利用的作用。
相關鏈接:
全文 | 《中華人民共和國個人信息保護法》
每周速覽 | 個人信息保護法草案三審
注釋:
[1] 個人信息處理者不僅僅包括企業,也包括政府部門、事業單位等;本文主要討論企業的合規義務。
[2] 數據是信息的載體, 個人信息在網路環境下通常以數據形式存在,故在網路時代個人信息保護和數據保護不可分離。
[3] 參見《個人信息保護法》第58條。
[4] 參見《個人信息保護法》第五十二條:處理個人信息達到國家網信部門規定數量的個人信息處理者應當指定個人信息保護負責人,負責對個人信息處理活動以及採取的保護措施等進行監督。個人信息處理者應當公開個人信息保護負責人的聯系方式,並將個人信息保護負責人的姓名、聯系方式等報送履行個人信息保護職責的部門。
[5] 參見《網路安全法》第10條。
[6] 參見《數據安全法》 第25條。
[9] 參見《網路安全法》第 25 條。
[10] 參見《個人信息保護法》第 29 條。
[11] 參見《個人信息保護法》第 55 條。
[12] 參見《數據安全法》 第28條.
[13] 《個人信息保護法》第54條規定:個人信息處理者應當定期對其處理個人信息遵守法律、行政法規的情況進行合規審計。
[14] 參見《個人信息保護法》第38條、第40條、第43條。
㈣ 如何讓數據流動起來,讓數據擁抱數據
圍牆里的大數據註定成為死數據。大數據需要開放式創新,從數據的開放、共享和交易,到價值提取能力的開放,再到基礎處理和分析平台的開放,讓數據如同血液在數據社會的軀體中長流,滋潤數據經濟,讓更多的長尾企業和數據思維創新者產生多姿多彩的化學作用,才能創造大數據的黃金時代。
我的大數據研究軌跡
我做了4-5年的移動架構和Java虛擬機,4-5年的眾核架構和並行編程系統,最近4-5年也在追時髦,先是投入物聯網,最近幾年一直在做大數據。我們團隊的大數據研究軌跡如下圖所示:
2010-2012年,主要關注數據和機器的關系:水平擴展、容錯、一致性、軟硬體協同設計,同時釐清各種計算模式,從批處理(MapRece)到流處理、Big SQL/ad hoc query、圖計算、機器學習等等。事實上,我們的團隊只是英特爾大數據研發力量的一部分,上海的團隊是英特爾Hadoop發行版的主力軍,現在英特爾成了Cloudera的最大股東,自己不做發行版了,但是平台優化、開源支持和垂直領域的解決方案仍然是英特爾大數據研發的重心。
從2013年開始關注數據與人的關系:對於數據科學家怎麼做好分布式機器學習、特徵工程與非監督學習,對於領域專家來說怎麼做好互動式分析工具,對於終端用戶怎麼做好互動式可視化工具。英特爾研究院在美國卡內基梅隆大學支持的科研中心做了GraphLab、Stale Synchronous Parallelism,在MIT的科研中心做了互動式可視化和SciDB上的大數據分析,而中國主要做了Spark SQL和MLlib(機器學習庫),現在也涉及到深度學習演算法和基礎設施。
2014年重點分析數據和數據的關系:我們原來的工作重心是開源,後來發現開源只是開放式創新的一個部分,做大數據的開放式創新還要做數據的開放、大數據基礎設施的開放以及價值提取能力的開放。
數據的暗黑之海與外部效應
下面是一張非常有意思的圖,黃色部分是化石級的,即沒有聯網、沒有數字化的數據,而絕大多數的數據是在這片海裡面。只有海平面的這些數據(有人把它稱作Surface Web)才是真正大家能訪問到的數據,爬蟲能爬到、搜索引擎能檢索到的數據,而絕大多數的數據是在暗黑之海裡面(相應地叫做Dark Web),據說這一部分佔數據總量的85%以上,它們在一些孤島裡面,在一些企業、政府裡面躺在地板上睡大覺。
數據之於數據社會,就如同水之於城市或者血液之於身體一樣。城市因為河流而誕生也受其滋養,血液一旦停滯身體也就危在旦夕。所以,對於號稱數據化生存的社會來說,我們一定要讓數據流動起來,不然這個社會將會喪失諸多重要功能。
所以,我們希望數據能夠像「金風玉露一相逢」那樣產生化學作用。馬化騰先生提出了一個internet+的概念,英特爾也有一個大數據X,相當於大數據乘以各行各業。如下圖所示,乘法效應之外,數據有個非常奇妙的效應叫做外部效應(externality),比如這個數據對我沒用但對TA很有用,所謂我之毒葯彼之蜜糖。
比如,金融數據和電商數據碰撞在一起,就產生了像小微貸款那樣的互聯網金融;電信數據和政府數據相遇,可以產生人口統計學方面的價值,幫助城市規劃人們居住、工作、娛樂的場所;金融數據和醫學數據在一起,麥肯錫列舉了很多應用,比如可以發現騙保;物流數據和電商數據湊在一塊,可以了解各個經濟子領域的運行情況;物流數據和金融數據產生供應鏈金融,而金融數據和農業數據也能發生一些化學作用。比如Google analytics出來的幾個人,利用美國開放氣象數據,在每一塊農田上建立微氣象模型,可以預測災害,幫助農民保險和理賠。
所以,要走數據開放之路,讓不同領域的數據真正流動起來、融合起來,才能釋放大數據的價值。
三個關於開放的概念
1、數據開放
首先是狹義的數據開放。數據開放的主體是政府和科研機構,把非涉密的政府數據及科研數據開放出來。現在也有一些企業願意開放數據,像Netflix和一些電信運營商,來幫助他們的數據價值化,建構生態系統。但是數據開放不等於信息公開。首先,數據不等於信息,信息是從數據裡面提煉出來的東西。我們希望,首先要開放原始的數據(raw data),其次,它是一種主動和免費的開放,我們現在經常聽說要申請信息公開,那是被動的開放。
Tim Berners Lee提出了數據開放的五星標准,以保證數據質量:一星是開放授權的格式,比如說PDF;其次是結構化,把數據從文件變成了像excel這樣的表;三星是開放格式,如CSV;四星是能夠通過URI找到每一個數據項;五星代表能夠和其它數據鏈接,形成一個開放的數據圖譜。
現在主流的數據開放門戶,像data.dov或data.gov.uk,都是基於開源軟體。英特爾在MIT的大數據科研中心也做了一種形態,叫Datahub:吉祥物很有趣,一半是大象,代表資料庫技術,一半是章魚,取自github的吉祥物章魚貓。它提供更多的功能比如易管理性,提供結構化數據服務和訪問控制,對數據共享進行管理,同時可以在原地做可視化和分析。
廣義的數據開放還有數據的共享及交易,比如點對點進行數據共享或在多邊平台上做數據交易。馬克思說生產資料所有制是經濟的基礎,但是現在大家可以發現,生產資料的租賃制變成了一種主流(參考《Lean Startup》),在數據的場景下,我不一定擁有數據,甚至不用整個數據集,但可以租賃。租賃的過程中要保證數據的權利。
首先,我可以做到數據給你用,但不可以給你看見。姚期智老先生82年提出「millionaires』 dilemma(百萬富翁的窘境)」,兩個百萬富翁比富誰都不願意說出自己有多少錢,這就是典型的「可用但不可見」場景。在實際生活中的例子很多,比如美國國土安全部有恐怖分子名單(數據1),航空公司有乘客飛行記錄(數據2),國土安全部向航空公司要乘客飛行記錄,航空公司不給,因為涉及隱私,他反過來向國土安全部要恐怖分子名單,也不行,因為是國家機密。雙方都有發現恐怖分子的意願,但都不願給出數據,有沒有辦法讓數據1和數據2放一起掃一下,但又保障數據安全呢?
其次,在數據使用過程中要有審計,萬一那個掃描程序偷偷把數據藏起來送回去怎麼辦?再者,需要數據定價機制,雙方數據的價值一定不對等,產生的洞察對各方的用途也不一樣,因此要有個定價機制,比大鍋飯式的數據共享更有激勵性。
從點對點的共享,走到多邊的數據交易,從一對多的數據服務到多對多的數據市場,再到數據交易所。如果說現在的數據市場更多是對數據集進行買賣的話,那麼數據交易所就是一個基於市場進行價值發現和定價的,像股票交易所那樣的、小批量、高頻率的數據交易。
我們支持了不少研究來實現剛才所說的這些功能,比如說可用而不可見。案例一是通過加密資料庫CryptDB/Monomi實現,在數據擁有方甲方這邊的資料庫是完全加密的,這事實上也防止了現在出現的很多數據泄露問題,大家已經聽到,比如說某互聯網服務提供商的員工偷偷把數據拿出來賣,你的數據一旦加密了他拿出來也沒用。其次,這個加密資料庫可以運行乙方的普通SQL程序,因為它採用了同態加密技術和洋蔥加密法,SQL的一些語義在密文上也可以執行。
針對「百萬富翁的窘境」,我們做了另一種可用但不可見的技術,叫做數據咖啡館。大家知道咖啡館是讓人和人進行思想碰撞的地方,這個數據咖啡館就是讓數據和數據能夠碰撞而產生新的價值。
比如兩個電商,一個是賣衣服的,一個是賣化妝品的,他們對於客戶的洞察都是相對有限的,如果兩邊的數據放在一起做一次分析,那麼就能夠獲得全面的用戶畫像。再如,癌症是一類長尾病症,有太多的基因突變,每個研究機構的基因組樣本都相對有限,這在某種程度上解釋了為什麼過去50年癌症的治癒率僅僅提升了8%。那麼,多個研究機構的數據在咖啡館碰一碰,也能夠加速癌症的研究。
在咖啡館的底層是多方安全計算的技術,基於英特爾和伯克利的一個聯合研究。在上面是安全、可信的Spark,基於「data lineage」的使用審計,根據各方數據對結果的貢獻進行定價。
2、大數據基礎設施的開放
現在有的是有大數據思維的人,但他們很捉急,玩不起、玩不會大數據,他不懂怎麼存儲、怎麼處理這些大數據,這就需要雲計算。基礎設施的開放還是傳統的Platform as a Service,比如Amazon AWS里有MapRece,Google有Big Query。這些大數據的基礎處理和分析平台可以降低數據思維者的門檻,釋放他們的創造力。
比如decide.com,每天爬幾十萬的數據,對價格信息(結構化的和非結構化的)進行分析,然後告訴你買什麼牌子、什麼時候買最好。只有四個PhD搞演算法,其他的靠AWS。另一家公司Prismatic,也利用了AWS,這是一家做個性化閱讀推薦的,我專門研究過它的計算圖、存儲和高性能庫,用LISP的一個變種Clojure寫的非常漂亮,真正做技術的只有三個學生。
所以當這些基礎設施社會化以後,大數據思維者的春天很快就要到來。
3、價值提取能力的開放
現在的模式一般是一大一小或一對多。比如Tesco和Dunnhumby,後者剛開始是很小的公司,找到Tesco給它做客戶忠誠度計劃,一做就做了幾十年,這樣的長期戰略合作優於短期的數據分析服務,決策更注重長期性。當然,Dunnhumby現在已經不是小公司了,也為其他大公司提供數據分析服務。再如沃爾瑪和另外一家小公司合作,做數據分析,最後他把這家小公司買下來了,成了它的Walmart Labs。
一對多的模式,典型的是Palantir——Peter Thiel和斯坦福的幾個教授成立的公司,目前還是私有的,但估值近百億了,它很擅長給各類政府和金融機構提供數據價值提取服務。真正把這種能力開放的是Kaggle,它的雙邊,一邊是10多萬的分析師,另一邊是需求方企業,企業在Kaggle上發標,分析師競標,獲得業務。這可能是真正解決長尾公司價值提取能力的辦法。當然,如果能和我們的數據咖啡館結合,就更好了。
㈤ 不需要精確計算時 ,可以採用估大估小的方法。估算用錢時,一般採用什麼的方法
一般採用的方式就是四捨五入,一般小於五的就捨去了,大於五的就錄進去了。
㈥ 國外地鐵智能化措施
摘要 城市軌道交通服務標准化是滿足城市軌道交通作為服務業建立質量管理體系的要求,是保證城市軌道交通服務具有準公共產品特徵的基本手段,能夠提高服務質量,降低城市軌道交通運營管理成本,並促進城市軌道交通裝備國產化。
㈦ 演算法實現題 孤島營救問題
分層圖最短路徑問題,用狀壓,用P位二進製表示當前獲得的鑰匙狀態,建立2^P層圖。每層圖表示在當前鑰匙狀態下的地圖,每獲得一把鑰匙進入新的一層,BFS求最短路即可,網路流24題中的14題,自己搜搜吧
㈧ 信息化戰爭的作戰原則是什麼
三項基本原則:一是隱蔽;二是快速;三是高效。
隱蔽:就是通過隱身、欺騙等手段,確保「先敵發現、先敵攻擊」;
快速:就是依託情報監視與偵察和快速打擊系統,確保「發現即摧毀」;
高效:就是聯合、集中使用高能精確彈葯,確保戰爭的時間與空間「窗口最小」。
它們既是未來戰場上的生存法則,也是打贏信息化戰爭的勝利法則,更是評價基於信息系統的作戰體系建設水平的基本准則。
信息時代的作戰方式就是按照上述原則所規定的路徑演變的,其最新趨勢集中體現在四個方面:壓縮作戰空間,縮短作戰時間,提高作戰效能,拓展戰場空間。
信息時代的作戰已出現窗口作戰(windows operation)、實時作戰(real time operation)、聚能作戰(shaped charge mode operation)和公域作戰(global commons operation)四種新的作戰方式。
(8)防孤島演算法擴展閱讀:
信息化作戰走向智能化作戰。
近年來,隨著人工智慧、「互聯網+」、超算技術在軍事領域的廣泛運用,戰爭方式正迅速從信息化向智能化作戰演變,呈現出信息生「智」、以「智」賦「能」和「智」主釋「能」的新特徵。
信息化向智能化作戰轉型,比拼是智慧、是謀略、是系統工程頂層設計,必須要打破多領域行業壁壘,開放、流轉並運用好作戰數據,並對現有體系作戰力量進行重組重構、對人工智慧輔助決策流程進行再造,體現自主作戰和智能化體系作戰的作戰指導,體現加快軍事智能化步伐的時代要求。
一、信息如何生「智」。
信息生「智」,是在信息網路、大數據、雲計算和人工智慧等技術的支撐下,具有辨別是非、自主行為的能力,可按照人類事先設定的規則或演算法,進行「類腦」的思維活動,是信息化邁向智能化較為突出的特點和品質,也是信息化向智能化作戰形態演變或轉型的重要標志。
信息生「智」成為影響未來戰爭制勝的第一要素,它不僅使作戰行動具有了自適應化、精準化特點,而且還能夠通過敵我雙方的信息博弈,自主發現並判明敵作戰體系弱點,提供人工智慧輔助決策的目標規劃、任務規劃和行動規劃,為指揮員快速、精準決策提供科學依據。
即基於大數據的戰略分析自主設計戰爭、學習戰爭,基於海量數據的「雲計算」結論,提供戰爭目的、戰爭手段、戰爭方式的輔助決策方案,優選體系作戰計劃,並分別對不同戰爭輔助決策方案,進行達成戰爭目的、戰役作戰指標成功概率等;
基於大數據的海量信息收集和深度學習,自主糾偏、自主行動、自適應協同,也就是說信息化向智能化作戰轉型的過程中,其作戰體系架構是具有深度學習能力的「人工神經網路」,通過卷積神經網路的「權共享」,產生自主智慧。
辨別真偽之智。運用具有自主識別、多源平台信息融合的「人工神經網路」處理系統,洞察戰場真實動態,掌握單向透明的信息獲取優勢。它既是信息火力打擊實施先敵發現、先敵打擊的前提和基礎,又是信息化向智能化作戰轉型的重要標志。
一方面是運用深度學習法,賦予「人工神經網路」處理系統多源平台融合的信息獲取能力,提升目標感知的精準性和高效性。
另一方面是運用智能反情報獲取手段,提高自身偽裝、欺騙和軍事佯動能力,使敵無法准確掌握我方兵力布勢和戰場態勢。
自適應通信之智。即運用自組網、自進化的「人工神經網路」通信系統,實現高動態、抗強擾、抗截獲的全域情報信息傳輸。它既是系統與系統之間溝通的樞紐,是實現「分布式殺傷」的前提,又是信息化向智能化作戰轉型的基礎。
其主要特徵是基於卷積神經網路(CNNs),構建扁平化、多鏈路迂迴的「管神經」信息傳輸系統,以滿足信息化向智能化作戰轉型過程中,通信對抗環境不斷惡化、通信需求量不斷增大的客觀實際。
它以數字技術為基礎,以衛星通信為樞紐,採用網格式和輻射式相結合的「管神經」傳輸架構,在固定與移動通信支持下,形成以綜合干線通信網為主體的大容量、多功能深度置信通信網路系統。
輔助決策之智。運用遺傳演算法、遺傳規劃等進化計算,實現基於信息博弈的人工智慧輔助決策、精準指揮和靈活控制。
它是信息化向智能化作戰轉型過程中,指揮員和指揮機關組織籌劃和科學謀略的外在表象,其實現路徑是平時加強主要作戰對手情報信息偵察和活動規律研究,將「大數據」的情報收集與「雲計算」的分析處理有機結合起來,進而在聯合作戰中謀求指揮決策優勢,實現戰場態勢優劣轉化。
二、如何以「智」賦能。
以「智」賦能,是指通過數據分析、信息融合生「智」,為作戰體系中多軍兵種作戰要素、作戰單元、作戰系統,甚至是作戰平台灌輸自主「智慧」和自適應協同能力,實現要素尋優協作、智能輔助決策、無隙自主聯動、大群跨域組網,從而完成自主協同的作戰任務。
從本質上講,信息化向智能化作戰轉型是由信息主導向智能主導過渡,信息在流轉過程中,逐步由少到多、由分到合、由繁到精,由大數據分析到雲計算處理,進而產生智能,賦予多軍兵種聯合作戰指揮擁有超級大腦,最終推動智能化軍事裝備逐步從類腦水平向真腦、群腦水平快速遞進。
從這個角度說,信息的綜合集成是利用「演算法」生「智」,賦予多軍兵種信息火力打擊平台、感測器、指控系統精準發現、識別、捕獲和摧毀目標的「智慧」,不僅能夠自主控制己方多軍兵種作戰平台及多維空間、多元化作戰行動。
而且在快速的體系攻防過程中,能主動捕捉作戰對手的信息流轉規律及其薄弱環節,進而遏控或主導作戰對手的體系運行和各種行動,掌握包括制信息權在內的綜合制權。
以「料敵先機」之智賦「信息火力」之能。即以洞察先機之智驅動信息火力之能,構建智能牽引物質能直達式信息火力打擊通道,將參與作戰的多軍兵種聯合作戰單元、作戰要素、作戰系統融合為有機的作戰整體,使智慧智能、信息能、物質能相互融合、彼此交融,形成全域、全譜智能優勢。
以「腦機交互」之智賦「批亢搗虛」之能。即通過「腦機交互」方式,分析研究敵聯合作戰體系的網路結構,找出破擊敵作戰體系的要害目標或薄弱環節,賦予聯合作戰體系捕捉要害、擊敵要害的智慧。
通過「腦機交互」、網路賦權使多軍兵種作戰單元、作戰要素、作戰系統甚至是作戰平台,具有自適應規劃和自主協同的「智能」,使智慧智能、知識與物質、智能與物質能緊密結合,產生智能物化的倍增效能。
以「神經網路」之智賦「自主行動」之能。即通過智能化的「神經元」網路賦權,為多軍兵種、多元化作戰力量、多維空間作戰行動,形成扁平化的指揮控制方式,把戰術行動指揮控制權集中到聯合戰役、甚至是戰略指揮員及其指揮機構。
三、何為「智」主釋能。
「智」主釋能,就是以智能主導信息火力融合,主導信息火力打擊,主導體系結構破擊,充分發揮多軍兵種非對稱的精確打擊威力,最大限度地精準釋放智能化打擊威力,對作戰對手聯合作戰體系中的重要目標或關鍵性薄弱環節實施精準毀傷。
在大幅提升打擊效能的同時,減少人員的附帶損傷,以最低代價獲得最佳的聯合作戰效果。
從其內涵上看,信息化向智能化作戰轉型的過程中,戰場優勢不僅僅局限於以往追求的信息優勢、兵力優勢、火力優勢和機動優勢,而是力爭對作戰對手形成全空間、全要素、全系統、全流程的智能優勢,掌控戰場主導權和控制權,使戰爭按己方意圖進行或結束。
「智」主信息火力融合。
即智能融入信息作戰系統、火力打擊平台,智能主導信息力與火力融合,將針對敵作戰體系弱點的謀略技術,以人工智慧方式集成到信息火力平台中,主導信息作戰單元和火力打擊平台對目標實施精準的復合性打擊,實現對作戰對手攻防策略的全掌握,占據戰場透明、完全信息博弈的「智」差優勢。
「智」主信息火力打擊。平時利用大數據技術,收集作戰對手情報信息,分析研究其戰爭持續力和民眾的心理承受力,建立基於智能化評估的戰略目標資料庫、任務規劃資料庫和聯合行動方案庫等。
一旦發起作戰,信息、火力打擊平台從信息生「智」中掌握目標本質特徵,從智能化網路中獲取目標精準的指示信息,從「神經元」網路「賦權」中凝聚信息火力打擊能量,從智能作戰運用中達成作戰目標,通過「智」主釋「能」實現整體行動同步化打擊,空前地提高信息火力整體打擊效能。
「智」主體系結構破擊。從作戰體系看,體系之堅基礎在結構,體系之利取決於結構,而體系之肋也在於結構。
利用智能化打擊手段和作戰方式毀癱作戰對手的體系結構,發現並破壞作戰對手體系的網路結構和數據結構,毀癱其網路軟體系統,破壞數據鏈的信息傳輸,使作戰對手體系內各種作戰要素、平台既不能互聯互通,又不能各自為戰,成為信息「孤島」,從而肢解對手作戰體系,使之土崩瓦解。
㈨ 請問:資料庫建表時的原則是什麼
1. 原始單據與實體之間的關系
可以是一對一、一對多、多對多的關系。在一般情況下,它們是一對一的關系:即一張原始單據對應且只對應一個實體。在特殊情況下,它們可能是一對多或多對一的關系,即一張原始單證對應多個實體,或多張原始單證對應一個實體。這里的實體可以理解為基本表。明確這種對應關系後,對我們設計錄入界面大有好處。
〖例1〗:一份員工履歷資料,在人力資源信息系統中,就對應三個基本表:員工基本情況表、社會關系表、工作簡歷表。這就是「一張原始單證對應多個實體」的典型例子。
2. 主鍵與外鍵
一般而言,一個實體不能既無主鍵又無外鍵。在E—R 圖中, 處於葉子部位的實體, 可以定義主鍵,也可以不定義主鍵(因為它無子孫), 但必須要有外鍵(因為它有父親)。
主鍵與外鍵的設計,在全局資料庫的設計中,佔有重要地位。當全局資料庫的設計完成以後,有個美國資料庫設計專家說:「鍵,到處都是鍵,除了鍵之外,什麼也沒有」,這就是他的資料庫設計經驗之談,也反映了他對信息系統核心(數據模型)的高度抽象思想。因為:主鍵是實體的高度抽象,主鍵與外鍵的配對,表示實體之間的連接。
3. 基本表的性質
基本表與中間表、臨時表不同,因為它具有如下四個特性:
(1) 原子性。基本表中的欄位是不可再分解的。
(2) 原始性。基本表中的記錄是原始數據(基礎數據)的記錄。
(3) 演繹性。由基本表與代碼表中的數據,可以派生出所有的輸出數據。
(4) 穩定性。基本表的結構是相對穩定的,表中的記錄是要長期保存的。
理解基本表的性質後,在設計資料庫時,就能將基本表與中間表、臨時表區分開來。
4. 範式標准
基本表及其欄位之間的關系, 應盡量滿足第三範式。但是,滿足第三範式的資料庫設計,往往不是最好的設計。為了提高資料庫的運行效率,常常需要降低範式標准:適當增加冗餘,達到以空間換時間的目的。
〖例2〗:有一張存放商品的基本表,如表1所示。「金額」這個欄位的存在,表明該表的設計不滿足第三範式,因為「金額」可以由「單價」乘以「數量」得到,說明「金額」是冗餘欄位。但是,增加「金額」這個冗餘欄位,可以提高查詢統計的速度,這就是以空間換時間的作法。
在Rose 2002中,規定列有兩種類型:數據列和計算列。「金額」這樣的列被稱為「計算列」,而「單價」和「數量」這樣的列被稱為「數據列」。
表1 商品表的表結構
商品名稱 商品型號 單價 數量 金額
電視機 29吋 2,500 40 100,000
5. 通俗地理解三個範式
通俗地理解三個範式,對於資料庫設計大有好處。在資料庫設計中,為了更好地應用三個範式,就必須通俗地理解三個範式(通俗地理解是夠用的理解,並不是最科學最准確的理解):
第一範式:1NF是對屬性的原子性約束,要求屬性具有原子性,不可再分解;
第二範式:2NF是對記錄的惟一性約束,要求記錄有惟一標識,即實體的惟一性;
第三範式:3NF是對欄位冗餘性的約束,即任何欄位不能由其他欄位派生出來,它要求欄位沒有冗餘.
沒有冗餘的資料庫設計可以做到。但是,沒有冗餘的資料庫未必是最好的資料庫,有時為了提高運行效率,就必須降低範式標准,適當保留冗餘數據。具體做法是:在概念數據模型設計時遵守第三範式,降低範式標準的工作放到物理數據模型設計時考慮。降低範式就是增加欄位,允許冗餘。
6. 要善於識別與正確處理多對多的關系
若兩個實體之間存在多對多的關系,則應消除這種關系。消除的辦法是,在兩者之間增加第三個實體。這樣,原來一個多對多的關系,現在變為兩個一對多的關系。要將原來兩個實體的屬性合理地分配到三個實體中去。這里的第三個實體,實質上是一個較復雜的關系,它對應一張基本表。一般來講,資料庫設計工具不能識別多對多的關系,但能處理多對多的關系。
〖例3〗:在「圖書館信息系統」中,「圖書」是一個實體,「讀者」也是一個實體。這兩個實體之間的關系,是一個典型的多對多關系:一本圖書在不同時間可以被多個讀者借閱,一個讀者又可以借多本圖書。為此,要在二者之間增加第三個實體,該實體取名為「借還書」,它的屬性為:借還時間、借還標志(0表示借書,1表示還書),另外,它還應該有兩個外鍵(「圖書」的主鍵,「讀者」的主鍵),使它能與「圖書」和「讀者」連接。
7. 主鍵PK的取值方法
PK是供程序員使用的表間連接工具,可以是一無物理意義的數字串, 由程序自動加1來實現。也可以是有物理意義的欄位名或欄位名的組合。不過前者比後者好。當PK是欄位名的組合時,建議欄位的個數不要太多,多了不但索引佔用空間大,而且速度也慢。
8. 正確認識數據冗餘
主鍵與外鍵在多表中的重復出現, 不屬於數據冗餘,這個概念必須清楚,事實上有許多人還不清楚。非鍵欄位的重復出現, 才是數據冗餘!而且是一種低級冗餘,即重復性的冗餘。高級冗餘不是欄位的重復出現,而是欄位的派生出現。
〖例4〗:商品中的「單價、數量、金額」三個欄位,「金額」就是由「單價」乘以「數量」派生出來的,它就是冗餘,而且是一種高級冗餘。冗餘的目的是為了提高處理速度。只有低級冗餘才會增加數據的不一致性,因為同一數據,可能從不同時間、地點、角色上多次錄入。因此,我們提倡高級冗餘(派生性冗餘),反對低級冗餘(重復性冗餘)。
9. E--R圖沒有標准答案
信息系統的E--R圖沒有標准答案,因為它的設計與畫法不是惟一的,只要它覆蓋了系統需求的業務范圍和功能內容,就是可行的。反之要修改E--R圖。盡管它沒有惟一的標准答案,並不意味著可以隨意設計。好的E—R圖的標準是:結構清晰、關聯簡潔、實體個數適中、屬性分配合理、沒有低級冗餘。
10. 視圖技術在資料庫設計中很有用
與基本表、代碼表、中間表不同,視圖是一種虛表,它依賴數據源的實表而存在。視圖是供程序員使用資料庫的一個窗口,是基表數據綜合的一種形式, 是數據處理的一種方法,是用戶數據保密的一種手段。為了進行復雜處理、提高運算速度和節省存儲空間, 視圖的定義深度一般不得超過三層。 若三層視圖仍不夠用, 則應在視圖上定義臨時表, 在臨時表上再定義視圖。這樣反復交迭定義, 視圖的深度就不受限制了。
對於某些與國家政治、經濟、技術、軍事和安全利益有關的信息系統,視圖的作用更加重要。這些系統的基本表完成物理設計之後,立即在基本表上建立第一層視圖,這層視圖的個數和結構,與基本表的個數和結構是完全相同。並且規定,所有的程序員,一律只准在視圖上操作。只有資料庫管理員,帶著多個人員共同掌握的「安全鑰匙」,才能直接在基本表上操作。請讀者想想:這是為什麼?
11. 中間表、報表和臨時表
中間表是存放統計數據的表,它是為數據倉庫、輸出報表或查詢結果而設計的,有時它沒有主鍵與外鍵(數據倉庫除外)。臨時表是程序員個人設計的,存放臨時記錄,為個人所用。基表和中間表由DBA維護,臨時表由程序員自己用程序自動維護。
12. 完整性約束表現在三個方面
域的完整性:用Check來實現約束,在資料庫設計工具中,對欄位的取值范圍進行定義時,有一個Check按鈕,通過它定義欄位的值城。參照完整性:用PK、FK、表級觸發器來實現。用戶定義完整性:它是一些業務規則,用存儲過程和觸發器來實現。
13. 防止資料庫設計打補丁的方法是「三少原則」
(1) 一個資料庫中表的個數越少越好。只有表的個數少了,才能說明系統的E--R圖少而精,去掉了重復的多餘的實體,形成了對客觀世界的高度抽象,進行了系統的數據集成,防止了打補丁式的設計;
(2) 一個表中組合主鍵的欄位個數越少越好。因為主鍵的作用,一是建主鍵索引,二是做為子表的外鍵,所以組合主鍵的欄位個數少了,不僅節省了運行時間,而且節省了索引存儲空間;
(3) 一個表中的欄位個數越少越好。只有欄位的個數少了,才能說明在系統中不存在數據重復,且很少有數據冗餘,更重要的是督促讀者學會「列變行」,這樣就防止了將子表中的欄位拉入到主表中去,在主表中留下許多空餘的欄位。所謂「列變行」,就是將主表中的一部分內容拉出去,另外單獨建一個子表。這個方法很簡單,有的人就是不習慣、不採納、不執行。
資料庫設計的實用原則是:在數據冗餘和處理速度之間找到合適的平衡點。「三少」是一個整體概念,綜合觀點,不能孤立某一個原則。該原則是相對的,不是絕對的。「三多」原則肯定是錯誤的。試想:若覆蓋系統同樣的功能,一百個實體(共一千個屬性) 的E--R圖,肯定比二百個實體(共二千個屬性) 的E--R圖,要好得多。
提倡「三少」原則,是叫讀者學會利用資料庫設計技術進行系統的數據集成。數據集成的步驟是將文件系統集成為應用資料庫,將應用資料庫集成為主題資料庫,將主題資料庫集成為全局綜合資料庫。集成的程度越高,數據共享性就越強,信息孤島現象就越少,整個企業信息系統的全局E—R圖中實體的個數、主鍵的個數、屬性的個數就會越少。
提倡「三少」原則的目的,是防止讀者利用打補丁技術,不斷地對資料庫進行增刪改,使企業資料庫變成了隨意設計資料庫表的「垃圾堆」,或資料庫表的「大雜院」,最後造成資料庫中的基本表、代碼表、中間表、臨時表雜亂無章,不計其數,導致企事業單位的信息系統無法維護而癱瘓。
「三多」原則任何人都可以做到,該原則是「打補丁方法」設計資料庫的歪理學說。「三少」原則是少而精的原則,它要求有較高的資料庫設計技巧與藝術,不是任何人都能做到的,因為該原則是杜絕用「打補丁方法」設計資料庫的理論依據。
14. 提高資料庫運行效率的辦法
在給定的系統硬體和系統軟體條件下,提高資料庫系統的運行效率的辦法是:
(1) 在資料庫物理設計時,降低範式,增加冗餘, 少用觸發器, 多用存儲過程。
(2) 當計算非常復雜、而且記錄條數非常巨大時(例如一千萬條),復雜計算要先在資料庫外面,以文件系統方式用C++語言計算處理完成之後,最後才入庫追加到表中去。這是電信計費系統設計的經驗。
(3) 發現某個表的記錄太多,例如超過一千萬條,則要對該表進行水平分割。水平分割的做法是,以該表主鍵PK的某個值為界線,將該表的記錄水平分割為兩個表。若發現某個表的欄位太多,例如超過八十個,則垂直分割該表,將原來的一個表分解為兩個表。
(4) 對資料庫管理系統DBMS進行系統優化,即優化各種系統參數,如緩沖區個數。
(5) 在使用面向數據的SQL語言進行程序設計時,盡量採取優化演算法。
總之,要提高資料庫的運行效率,必須從資料庫系統級優化、資料庫設計級優化、程序實現級優化,這三個層次上同時下功夫。
上述十四個技巧,是許多人在大量的資料庫分析與設計實踐中,逐步總結出來的。對於這些經驗的運用,讀者不能生幫硬套,死記硬背,而要消化理解,實事求是,靈活掌握。並逐步做到:在應用中發展,在發展中應用。
㈩ 深圳的雙重預防機制怎麼做
構建雙重預防機制就是要將安全風險逐一建檔入賬,採取風險分級管控、隱患排查治理雙重預防性工作機制。通俗說,雙重預防機制就是構築防範生產安全事故的兩重防火牆。
第一重防火牆是管風險,以安全風險辨識和管控為基礎,從源頭上系統辨識風險、分級管控風險,努力把各類風險控制在可接受范圍內,杜絕和減少事故隱患;企業要對辨識出的安全風險進行分類梳理,對不同類別的安全風險,採用相應的風險評估方法確定安全風險等級,安全風險評估過程要突出遏制重特大事故,高度關注暴露人群,聚焦重大危險源、勞動密集型場所、高危作業工序和受影響的人群規模,重大安全風險應填寫清單、匯總造冊,並從組織、制度、技術、應急等方面對安全風險進行有效管控,要在醒目位置和重點區域分別設置安全風險公告欄,製作安全風險告知卡。全面排查風險點、風險因素和危險源,加強對風險的管控,提高企業本質安全。
第二重防火牆是治隱患,以隱患排查和治理為手段,認真排查風險管控過程中出現的缺失、漏洞和風險控制失效環節,堅決把隱患消滅在事故發生之前。企業不消除隱患,隱患就會消滅企業,甚至造成人亡企滅的嚴重後果。與其坐以待斃,不如奮力拚搏。
可以說,安全風險管控到位就不會形成事故隱患,隱患一經發現及時治理就不可能釀成事故,要通過雙重預防的工作機制,切實把每一類風險都控制在可接受范圍內,把每一個隱患都治理在形成之初,把每一起事故都消滅在萌芽狀態。安全生產工作與其他工作一樣,只有遵行規律方能駕馭它,必須堅定事故可防可控的理念,將風險分級管控和隱患排查治理牢牢挺在前面。
安全風險是某一特定危險情況發生的可能性和後果的組合。重大安全風險排查管控,是通過全面排查和系統評估,對本地區、本行業領域、本單位存在的安全風險進行辮識,從中篩選、確認具有高可能、高後果(造成重大人員傷亡、財產重大損失、惡劣社會影響)的重大安全風險,並主動採取措施對其實施特殊管理和嚴密控制,有效降低、減小事故發生的可能及造成的後果,把安全風險限制在可防、可控范圍之內,解決對重大安全風險「想不到、無人管、管不住」等問題,從而實現防範遏制重特大事故的目的。
賽為「一線三排」的方案簡述
方案構成
系統管理
業務數據初始化
業務流程設置
業務許可權分組
激勵機制
全員參與雙機制建設
主動掌握風險辨識方法
主動學習風險管控標准
積極參與隱患排查治理
積分考核執行效果
管控執行
管控標准APP推送
全員隱患排查上報
隱患自動閉環跟進
風險管控實時預警
風險管理系統
的風險辨識和評估、科學的風險
分級,制定切實有效的風險管控標准
、形成完整的風險資料庫。
隱患管理
跟蹤隱患的整改落實和關閉,實現隱患全過程管理
◆ 隱患排查◆ 隱患上報
◆ 隱患登記◆ 整改措施制定
◆..........
風險地圖
風險分級四色分布
運行數據自動統計
管控結果動態展現
安全隱患實時提醒
方案亮點
痕跡化
雙機制運行原始記錄自動存儲,痕跡記錄可隨時追溯查詢,員工一崗雙責、盡職減責、失職追責有據可依。
標准化
業務流程標准化,通過系統對雙機制的標准化運行提供支撐,通過系統可以開展一系列有針對性的、專業性的風險辨識和隱患排查活動。
動態化
實時採集數據並收集問題,管理層隨時掌握現場情況。
智能化
根據隱患排查治理數據,自動生成各項數據統計報表(檢查率、符合率、整改率、事故率等),根據內置演算法,實時顯示動態風險地圖,實現風險預警。
專業性
各項檢查有來源、有依據;同時通過App將專家的大腦與眼睛帶到現場。
成長性
實現安全知識、技能和經驗的積累與沉澱,形成企業雙機制建設專業資料庫。
兼容性
每一模塊既能獨立運行和單獨使用,又能多模塊無縫集成,還可以快速實現與企業現有IT系統、政府信息化系統的集成。
易用性
利用移動APP檢查作業,業務流轉簡單方便,易於操作 系統操作可快速上手,熟練掌握。
企業現場安全標准符合率 企業事故統計趨勢
方案價值:
■ 風險資料庫為巡檢與周期性工作內容的確立,提供了依據和來源,風險防控與日常工作有效銜接,避免了風險識別結果與實際工作兩張皮的現象。
■ 以防爆PAD替代紙質版巡檢表,更便於操作、更直觀、更有利於細致的排查巡檢要點。
■ 定期簡訊提醒功能,在很大程度上防止了巡檢及各類周期性工作遺失與拖延。
■ 減少了各級安全檢查後續統計、錄入的工作量。打破了風險管控與隱患排查之間的信息孤島,使隱患與風險進行了有效的關聯,充分體現出了雙重預防性管理的理念。
■ 通過對典型隱患進行分享,舉一反三,避免類似隱患發生;通過對好的工作經驗進行分享,可使得員工積累更多的工作經驗;通過對不標准行為、狀態進行分享,可使得員工引以為戒,規范行為標准。
■ 通過系統「隨機觀察」功能,無論何時何處,一旦發現問題或值得鼓勵分享的行為,都可以通過拍照、錄視頻的方式記錄下來,直觀、方便、快捷。發現的問題可轉為隱患,值得鼓勵或值得推廣的做法可全員分享,增強了行為觀察的時效性、實用性。
■ 各級管理者隨時可以通過系統很清晰的查看到檢查人、檢查時間、不合格數量及具體不符合詳情等內容。對下達的各類計劃,可以按專業、單位、時段區間,快速、便捷的查看計劃執行率,對風險防控落實到崗、到人,逐級監控、監管,保障風險管控措施的落實,起到了重要作用。
■ 徹底解決了企業安全生產主體責任分工不清,權責不明,安全責任考核不落地的問題。
■ 屬地安全責任劃分更加明確,激勵了全員參與安全隱患排查治理的熱情。
■ 統一了風險辨識的方法,徹底解決了使用風險辨識工具不明確,專業安全管理人員不知道如何開展風險辨識的問題。形成了標准化的風險分級管控清單和標准。
■ 將現場風險管控標准植入雙機制信息化系統,有效推動全員參與安全管理,將每項安全作業標准和風險管控措施轉化為基層員工的安全作業行為習慣。
■ 隱患管理建立閉環管理,形成隱患識別、報告的良好氛圍。
■ 實時動態的四色地圖顯示及風險管控狀況預警,真正做到把安全風險管控挺在隱患前面,把隱患排查治理挺在事故前面。
■ 實現了零事故、零傷亡的目標。成為當地「安全生產管理標桿企業」,政府主管部門推崇和企業學習的對象。