當前位置:首頁 » 操作系統 » doa演算法

doa演算法

發布時間: 2023-09-04 02:06:33

A. 請問MUSIC演算法和LMS演算法到底是怎麼回事,都是用來干嗎的啊

這是兩種不同的演算法,MUSIC演算法是多重信號分類演算法,是經典的空間譜估計演算法,通過將接受信號分成雜訊子空間和信號子空間(這兩子空間正交)達到超分辨譜估計.MUSIC演算法可以完成DOA(波達方向)估計和頻率估計.其實質是基於一維搜索的雜訊子空間演算法.
LMS演算法是最小均方演算法,是自適應技術的基礎.LMS演算法是達到輸入信號與期望信號有最小的均方誤差的一種演算法.

B. DOA估計演算法

學號:20000300055

姓名:王鐸澎

嵌牛導讀:文章對DOA演算法進行了簡單的介紹。

嵌牛正文:https://blog.csdn.net/zhangziju/article/details/100730081?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160689878119725222413438%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160689878119725222413438&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~_landing_v2~default-1-100730081.pc_first_rank_v2_rank_v28&utm_term=Musicsuanfa&spm=1018.2118.3001.4449

DOA估計演算法

DOA(Direction Of Arrival)波達方向定位技術主要有ARMA譜分析、最大似然法、熵譜分析法和特徵分解法,特徵分解法主要有MUSIC演算法、ESPRIT演算法WSF演算法等。

MUSIC (Multiple Signal Classification)演算法,即多信號分類演算法,由Schmidt等人於1979年提出。MUSIC演算法是一種基於子空間分解的演算法,它利用信號子空間和雜訊子空間的正交性,構建空間譜函數,通過譜峰搜索,估計信號的參數。對於聲源定位來說,需要估計信號的DOA。MUSIC演算法對DOA的估計有很高的解析度,且對麥克風陣列的形狀沒有特殊要求,因此應用十分廣泛。

運用矩陣的定義,可得到更為簡潔的表達式:

X = A S + N X=AS+NX=AS+N

式中

X = [ x 1 ( t ) , x 2 ( t ) , . . . x M ( t ) ] T X=[x_1(t),x_2(t),...x_M(t)]^TX=[x1​(t),x2​(t),...xM​(t)]T,

S = [ S 1 ( t ) , S 2 ( t ) , . . . S D ( t ) ] T S=[S_1(t),S_2(t),...S_D(t)]^TS=[S1​(t),S2​(t),...SD​(t)]T,

A = [ a ( θ 1 ) , a ( θ 2 ) , . . . a ( θ D ) ] T A=[a(\theta_1),a(\theta_2),...a(\theta_D)]^TA=[a(θ1​),a(θ2​),...a(θD​)]T,

N = [ n 1 ( t ) , n 2 ( t ) , . . . n M ( t ) ] T N=[n_1(t),n_2(t),...n_M(t)]^TN=[n1​(t),n2​(t),...nM​(t)]T。

X XX為陣元的輸出,A AA為方向響應向量,S SS是入射信號,N NN表示陣列雜訊。

其中 φ k = 2 π d λ s i n θ k \varphi_k=\frac{2\pi d}{\lambda}sin\theta_kφk​=λ2πd​sinθk​有

A = [ a ( θ 1 ) , a ( θ 2 ) , . . . a ( θ D ) ] T = [ 1 1 ⋯ 1 e − j φ 1 e − j φ 2 ⋯ e − j φ D ⋮ ⋮ ⋱ ⋮ e − j ( M − 1 ) φ 1 e − j ( M − 1 ) φ 2 ⋯ e − j ( M − 1 ) φ D ] A=[a(\theta_1),a(\theta_2),...a(\theta_D)]^T=\left[

1e−jφ1⋮e−j(M−1)φ11e−jφ2⋮e−j(M−1)φ2⋯⋯⋱⋯1e−jφD⋮e−j(M−1)φD11⋯1e−jφ1e−jφ2⋯e−jφD⋮⋮⋱⋮e−j(M−1)φ1e−j(M−1)φ2⋯e−j(M−1)φD

\right]A=[a(θ1​),a(θ2​),...a(θD​)]T=⎣⎢⎢⎢⎡​1e−jφ1​⋮e−j(M−1)φ1​​1e−jφ2​⋮e−j(M−1)φ2​​⋯⋯⋱⋯​1e−jφD​⋮e−j(M−1)φD​​⎦⎥⎥⎥⎤​

對x m ( t ) x_m(t)xm​(t)進行N點采樣,要處理的問題就變成了通過輸出信號x m ( t ) x_m(t)xm​(t)的采樣{ x m ( i ) = 1 , 2 , . . . , M } \{ x_m (i)=1,2,...,M\}{xm​(i)=1,2,...,M}估計信號源的波達方向角θ 1 , θ 2 . . . θ D \theta_1,\theta_2...\theta_Dθ1​,θ2​...θD​,由此可以很自然的將陣列信號看作是雜訊干擾的若干空間諧波的疊加,從而將波達方向估計問題與譜估計聯系起來。

對陣列輸出X做相關處理,得到其協方差矩陣

R x = E [ X X H ] R_x=E[XX^H]Rx​=E[XXH]

其中H HH表示矩陣的共軛轉置。

根據已假設信號與雜訊互不相關、雜訊為零均值白雜訊,因此可得到:

R x = E [ ( A S + N ) ( A S + N ) H ] = A E [ S S H ] A H + E [ N N H ] = A R S A H + R N R_x=E[(AS+N)(AS+N)^H] =AE[SS^H]A^H+E[NN^H]=AR_SA^H+R_NRx​=E[(AS+N)(AS+N)H]=AE[SSH]AH+E[NNH]=ARS​AH+RN​

其中R s = E [ S S H ] R_s=E[SS^H]Rs​=E[SSH]稱為信號相關矩陣

R N = σ 2 I R_N=\sigma^2IRN​=σ2I是雜訊相關陣

σ 2 \sigma^2σ2是雜訊功率

I II是M × M M\times MM×M階的單位矩陣

在實際應用中通常無法直接得到R x R_xRx​,能使用的只有樣本的協方差矩陣:

R x ^ = 1 N ∑ i = 1 N X ( i ) X H ( i ) \hat{R_x}=\frac{1}{N} \sum_{i=1}^{N}X(i)X^H (i)Rx​^​=N1​∑i=1N​X(i)XH(i),R x ^ \hat{R_x}Rx​^​是R x R_xRx​的最大似然估計。

當采樣數N → ∞ N\to\inftyN→∞,他們是一致的,但實際情況將由於樣本數有限而造成誤差。根據矩陣特徵分解的理論,可對陣列協方差矩陣進行特徵分解,首先考慮理想情況,即無雜訊的情況:R x = A R s A H R_x=AR_sA^HRx​=ARs​AH,對均勻線陣,矩陣A由

A = [ a ( θ 1 ) , a ( θ 2 ) , . . . a ( θ D ) ] T = [ 1 1 ⋯ 1 e − j φ 1 e − j φ 2 ⋯ e − j φ D ⋮ ⋮ ⋱ ⋮ e − j ( M − 1 ) φ 1 e − j ( M − 1 ) φ 2 ⋯ e − j ( M − 1 ) φ D ] A=[a(\theta_1),a(\theta_2),...a(\theta_D)]^T=\left[

1e−jφ1⋮e−j(M−1)φ11e−jφ2⋮e−j(M−1)φ2⋯⋯⋱⋯1e−jφD⋮e−j(M−1)φD11⋯1e−jφ1e−jφ2⋯e−jφD⋮⋮⋱⋮e−j(M−1)φ1e−j(M−1)φ2⋯e−j(M−1)φD

\right]A=[a(θ1​),a(θ2​),...a(θD​)]T=⎣⎢⎢⎢⎡​1e−jφ1​⋮e−j(M−1)φ1​​1e−jφ2​⋮e−j(M−1)φ2​​⋯⋯⋱⋯​1e−jφD​⋮e−j(M−1)φD​​⎦⎥⎥⎥⎤​

所定義的范德蒙德矩陣,只要滿足θ i ≠ θ j , i ≠ j \theta_i\neq \theta_j,i\neq jθi​​=θj​,i​=j,則他的各列相互獨立。

若R s R_sRs​為非奇異矩陣R a n k ( R s ) = D Rank(R_s)=DRank(Rs​)=D,各信號源兩兩不相干,且M > D M>DM>D,則r a n d ( A R s A H ) = D rand(AR_sA^H)=Drand(ARs​AH)=D,

由於R x = E [ X X H ] R_x=E[XX^H]Rx​=E[XXH],有:

R s H = R x R_s^H=R_xRsH​=Rx​

即R s R_sRs​為Hermite矩陣,它的特性是都是實數,又由於R s R_sRs​為正定的,因此A R s A … … H AR_sA……HARs​A……H為半正定的,它有D個正特徵值和M − D M-DM−D個零特徵值。

再考慮有雜訊存在的情況

R x = A R s A H + σ 2 I R_x=AR_sA^H+\sigma^2IRx​=ARs​AH+σ2I

由於σ 2 > 0 \sigma^2>0σ2>0,R x R_xRx​為滿秩陣,所以R x R_xRx​有M個正實特徵值λ 1 , λ 2 . . . λ M \lambda_1,\lambda_2...\lambda_Mλ1​,λ2​...λM​

分別對應於M個特徵向量v 1 , v 2 . . . v M v_1,v_2...v_Mv1​,v2​...vM​。又由於R x R_xRx​為Hermite矩陣,所以各特徵向量是正交的,即:v i H v j = 0 , i ≠ j v_i^Hv_j=0,i\neq jviH​vj​=0,i​=j與信號有關的特徵值只有D個,分別等於矩陣A R s A H AR_sA^HARs​AH的各特徵值與σ 2 \sigma^2σ2之和,其餘M − D M-DM−D個特徵值為σ 2 \sigma^2σ2,即σ 2 \sigma^2σ2為R RR的最小特徵值,它是M − D M-DM−D維的,對應的特徵向量v i , i = 1 , 2 , . . . , M v_i,i=1,2,...,Mvi​,i=1,2,...,M中,也有D個是與信號有關的,另外M − D M-DM−D個是與雜訊有關的,可利用特徵分解的性質求出信號源的波達方向θ k \theta_kθk​。

MUSIC演算法的原理及實現

通過對協方差矩陣的特徵值分解,可得到如下結論:

將矩陣R x R_xRx​的特徵值進行從小到大的排序,即λ 1 ≥ λ 2 ≥ . . . ≥ λ M > 0 \lambda_1 \geq \lambda_2\geq...\geq\lambda_M>0λ1​≥λ2​≥...≥λM​>0,其中D個較大的特徵值對應於信號,M − D M-DM−D個較小的特徵值對應於雜訊。

矩陣R x R_xRx​的屬於這些特徵值的特徵向量也分別對應於各個信號和雜訊,因此可把R x R_xRx​的特徵值(特徵向量)劃分為信號特徵(特徵向量)與雜訊特徵(特徵向量)。

設λ i \lambda_iλi​為R x R_xRx​的第i ii個特徵值,v i v_ivi​是與λ i \lambda_iλi​個相對應的特徵向量,有:

R x v i = λ i v i R_xv_i=\lambda_iv_iRx​vi​=λi​vi​

再設λ i = σ 2 \lambda_i=\sigma^2λi​=σ2是R x R_xRx​的最小特徵值R x v i = σ 2 v i i = D + 1 , D + 2... M R_xv_i=\sigma^2v_i i=D+1,D+2...MRx​vi​=σ2vi​i=D+1,D+2...M,

將R x = A R s A H + σ 2 I R_x=AR_sA^H+\sigma^2IRx​=ARs​AH+σ2I代入可得σ 2 v i = ( A R s A H + σ 2 I ) v i \sigma^2v_i=(AR_sA^H+\sigma^2I)v_iσ2vi​=(ARs​AH+σ2I)vi​,

將其右邊展開與左邊比較得:

A R s A H v i = 0 AR_sA^Hv_i=0ARs​AHvi​=0

因A H A A^HAAHA是D ∗ D D*DD∗D維的滿秩矩陣,( A H A ) − 1 (A^HA)^{-1}(AHA)−1存在;

而R s − 1 R_s^{-1}Rs−1​同樣存在,則上式兩邊同乘以R s − 1 ( A H A ) − 1 A H R_s^{-1}(A^HA)^{-1}A^HRs−1​(AHA)−1AH,

有:

R s − 1 ( A H A ) − 1 A H A R s A H v i = 0 R_s^{-1}(A^HA)^{-1}A^HAR_sA^Hv_i=0Rs−1​(AHA)−1AHARs​AHvi​=0

於是有

A H v i = 0 , i = D + 1 , D + 2 , . . . , M A^Hv_i=0,i=D+1,D+2,...,MAHvi​=0,i=D+1,D+2,...,M

上式表明:雜訊特徵值所對應的特徵向量(稱為雜訊特徵向量)v i v_ivi​,與矩陣A AA的列向量正交,而A AA的各列是與信號源的方向相對應的,這就是利用雜訊特徵向量求解信號源方向的出發點。

用各雜訊特徵向量為例,構造一個雜訊矩陣E n E_nEn​:

E n = [ v D + 1 , v D + 2 , . . . v M ] E_n=[v_{D+1},v_{D+2},...v_{M}]En​=[vD+1​,vD+2​,...vM​]

定義空間譜P m u ( θ ) P_{mu}(\theta)Pmu​(θ):

P m u ( θ ) = 1 a H ( θ ) E n E n H a ( θ ) = 1 ∥ E n H a ( θ ) ∥ 2 P_{mu}(\theta)=\frac{1}{{a^H}(\theta)}E_nE_n^Ha(\theta)=\frac{1}{\Vert E_n^Ha(\theta)\Vert^2}Pmu​(θ)=aH(θ)1​En​EnH​a(θ)=∥EnH​a(θ)∥21​

該式中分母是信號向量和雜訊矩陣的內積,當a ( θ ) a(\theta)a(θ)和E n E_nEn​的各列正交時,該分母為零,但由於雜訊的存在,它實際上為一最小值,因此P m u ( θ ) P_{mu}(\theta)Pmu​(θ)有一尖峰值,由該式,使θ \thetaθ變化,通過尋找波峰來估計到達角。

MUSIC演算法實現的步驟

1.根據N個接收信號矢量得到下面協方差矩陣的估計值:

R x = 1 N ∑ i = 1 N X ( i ) X H ( i ) R_x=\frac{1}{N} \sum_{i=1}^NX(i)X^H(i)Rx​=N1​∑i=1N​X(i)XH(i)

對上面得到的協方差矩陣進行特徵分解

R x = A R s A H + σ 2 I R_x=AR_sA^H+\sigma^2IRx​=ARs​AH+σ2I

2.按特徵值的大小排序 將與信號個數D DD相等的特徵值和對應的特徵向量看做信號部分空間,將剩下的M − D M-DM−D個特徵值和特徵向量看做雜訊部分空間,得到雜訊矩陣E n E_nEn​:

A H v i = 0 , i = D + 1 , D + 2 , . . . , M A^Hv_i=0,i=D+1,D+2,...,MAHvi​=0,i=D+1,D+2,...,M

E n = [ v D + 1 , v D + 2 , . . . v M ] E_n=[v_{D+1},v_{D+2},...v_{M}]En​=[vD+1​,vD+2​,...vM​]

3.使θ \thetaθ變化 ,按照式

P m u ( θ ) = 1 a H ( θ ) E n E n H a ( θ ) P_{mu}(\theta)=\frac{1}{{a^H}(\theta)E_nE_n^Ha(\theta)}Pmu​(θ)=aH(θ)En​EnH​a(θ)1​

來計算譜函數,通過尋求峰值來得到波達方向的估計值。

clear; close all;

%%%%%%%% MUSIC for Uniform Linear Array%%%%%%%%

derad = pi/180;      %角度->弧度

N = 8;              % 陣元個數       

M = 3;              % 信源數目

theta = [-30 0 60];  % 待估計角度

snr = 10;            % 信噪比

K = 512;            % 快拍數

dd = 0.5;            % 陣元間距

d=0:dd:(N-1)*dd;

A=exp(-1i*2*pi*d.'*sin(theta*derad));  %方向矢量

%%%%構建信號模型%%%%%

S=randn(M,K);            %信源信號,入射信號

X=A*S;                    %構造接收信號

X1=awgn(X,snr,'measured'); %將白色高斯雜訊添加到信號中

% 計算協方差矩陣

Rxx=X1*X1'/K;

% 特徵值分解

[EV,D]=eig(Rxx);                  %特徵值分解

EVA=diag(D)';                      %將特徵值矩陣對角線提取並轉為一行

[EVA,I]=sort(EVA);                %將特徵值排序 從小到大

EV=fliplr(EV(:,I));                % 對應特徵矢量排序

% 遍歷每個角度,計算空間譜

for iang = 1:361

    angle(iang)=(iang-181)/2;

    phim=derad*angle(iang);

    a=exp(-1i*2*pi*d*sin(phim)).';

    En=EV(:,M+1:N);                  % 取矩陣的第M+1到N列組成雜訊子空間

    Pmusic(iang)=1/(a'*En*En'*a);

end

Pmusic=abs(Pmusic);

Pmmax=max(Pmusic)

Pmusic=10*log10(Pmusic/Pmmax);            % 歸一化處理

h=plot(angle,Pmusic);

set(h,'Linewidth',2);

xlabel('入射角/(degree)');

ylabel('空間譜/(dB)');

set(gca, 'XTick',[-90:30:90]);

grid on;

實現結果

C. DOA的DOA主要內容

DOA 主要包括以下內容:面向數據的體系結構的機制、面向數據的體系結構的組成、數據注冊中心的機制、 數據許可權中心的機制、數據異常控制中心的機制、數據應用單元的機制等。
(1)面向數據的體系結構的機制
包括: 面向數據和以數據為核心的指導思想;大數據時代對體系結構的需求;數據的定義和分類;數據的載體及與雲計算的關系;數據生態系統的含義及 DOA作用; DOA 與數據和應用的關系; DOA 對數據的管理和服務模式; DOA 與應用的業務邏輯和數據邏輯關系; DOA 下數據安全的基本原理;等。面向數據和以數據為核心的指導思想。 數據是有生命的,具有生命周期,生命過程需要全記錄。數據是有屬性的,具有安全屬性、身份屬性、時間和空間屬性。數據要天生加密,穿戴盔甲,加密呈現,具有不同的加密級別和深度。數據是獨立於系統的,數據是應用的基礎,不依賴於特定的硬體環境和軟體環境。同一數據可以支撐不同的應用。數據的訪問和應用是基於授權的,特定的訪問者,特定的場合(環境),特定的時間(時段),數據的使用和用戶適合於網路安全的授權、認證和計帳( AAA, Authorization, Authentication, Accounting)機制。數據是加密存儲與傳輸的(數據態),授權後解密使用(應用態)。數據系統是生態的,變化和發展的,是可持續發展的,自生長、自管理、自適應的。虛擬世界由數據組成,是真實世界的映射。建立數據生態系統,就要面向數據和一切以數據為核心。數據生態系統包括生態的各種應用,是「肥沃的數據土壤上生長著茂盛的應用森林」。數據生態系統需要構建邏輯的數據資源池,支持數據大平台與碎片化和不斷增長的應用,支持數據共享和系統可擴展。基於數據:一切可測,一切可聯,一切可操作,一切可實現。
大數據時代對體系結構的需求。 大數據時代,我們從信息技術(IT,Information Technology) 時代來到了數據技術( DT, Data Technology) 時代。從關注技術(T)到關注信息(I),再到關注數據(D)。信息是因人而異的,是功利性的、利己的,強調的是我,信息技術是為自己的;數據具有普適性,可以產生信息,是公益性的、利他的,強調的是我們,數據技術是為大家的。 馬雲提出,人類已經從 IT 時代走向 DT 時代, IT 時代是以自我控制、自我管理為主,而DT時代,它是以服務大眾、激發生產力為主的技術。 數據技術包括信息技術,數據技術范圍更廣,內涵更豐富;信息技術更具體,針對性更強。數據系統包括信息系統,信息系統是數據系統的子集。雲計算為數據技術時代的到來提供了可能:雲存儲具有幾乎無限的海量數據存儲能力。數據技術時代,需要新的世界觀,即數據世界觀,數據安全觀。數據技術時代,也就是大數據時代,需要相適應的軟體體系結構,支持數據安全,支持一切業務數據化,管理海量、異構、復雜、變化和爆發式增長的大數據,並提供挖掘有價值信息的支持。現有系統架構大都是小數據時代遺留和發展的技術架構,現有安全體系也是建立在小數據時代技術架構之上的。以信息技術(小數據時代)發展而來的技術和信息安全技術,不能適應大數據時代的要求。 Hadoop、MapRece 等技術,只解決了大數據的靜態和量大的一部分問題。需要重新審視數據,站在數據的角度審視技術、架構、安全體系。
數據的定義和分類。 網路和維基網路分別給出的「數據」定義是: 「數據就是數值,也就是我們通過觀察、實驗或計算得出的結果。數據有很多種,最簡單的就是數字。數據也可以是文字、圖像、聲音等。數據可以用於科學研究、設計、查證等」, 「數據,或稱資料,指描述事物的符號記錄,是可定義為意義的實體,它涉及到事物的存在形式。它是關於事件之一組離散且客觀的事實描述,是構成信息和知識的原始材料。數據可分為模擬數據和數字數據兩大類。數據指計算機加工的『原料』,如圖形、聲音、文字、數、字元和符號等」。我們研究的大數據時代的數據是廣義數據: 就是真實世界映射成虛擬世界的內容。 除了我們理解的計算機可以直接處理的數據外,還可以是能被注冊的各類事物:如設備,服務,APP,人,物等。這就需要研究大數據時代下的數據定義或廣義數據定義。可以從不同角度來分類數據:結構化/非結構化數據,關系型資料庫/NoSQL,動態數據/靜態數據,變化的數據/歷史數據,簡單數據/復雜數據,自有數據/共享數據/公開數據,不斷變化和不斷積累增長的大數據,等。
數據的載體及與雲計算的關系。 雲計算可以從彈性計算和存儲服務兩個方面來劃分類型,典型如亞馬遜的彈性計算雲( EC2, Elastic Compute Cloud)和簡單存儲服務(S3, Simple Storage Service)。在架構上習慣上分為基礎設施作為服務(IaaS, Infrastructure as a Service)、平台作為服務(PaaS, Platform as a Service)和軟體作為服務(SaaS,Software as a Service)三層,本質上雲計算就是雲服務,但還應有數據作為服務(DaaS, Data as a Service)這重要的一層。從數據角度,雲計算更多是數據的存儲服務,是 IaaS 和DaaS,通過分布式和虛擬化技術,將基礎設施與數據融為一體( I+D, Infrastructure plus Data),為終端用戶提供彈性的、可計量的、個性化的數據和計算服務,可以簡稱「雲」。一切皆在雲中,包括所有的基礎設施,如網路、伺服器、存儲設備等,更重要的是包括所有的數據,網路世界和物理世界的數據等。以數據為內容定義雲,可以分為存儲雲、網路雲和物理雲。存儲雲數據舉例:基礎數據,影像數據,歷史數據,行業數據等;網路雲數據舉例: QQ,微信,網路,博客,簡訊,淘寶,電子郵件, APP 軟體等;物理雲數據舉例:雨量,溫度,視頻,PM2.5,交通流量,設備,人員等。數據生態系統的含義及 DOA 作用。 數據生態系統,是「肥沃的數據土壤上生長著茂盛的應用森林」, DOA 是數據與應用之間可持續發展的關系描述。一個數據生態系統能夠成立,關鍵是要建立一種有效的作用機制,這就是面向數據的體系結構(DOA)。 DOA, 「是一個信息系統的體系結構,針對任何數據類型,基於雲服務的概念,與具體的硬體平台和軟體系統無關,通過以數據為核心和面向數據的理念來建立構建復雜信息系統的機制,以數據標識作為數據的識別和定位標記,建立數據的分類體系和訪問許可權,通過數據注冊和登記中心實現數據的管理和交換,通過建立各種數據功能單元,可以由簡到繁、由易到難地構建復雜應用系統,實現多系統間的數據共享、訪問和協同」。DOA 與數據和應用的關系。 人類通過包含計算機網路在內的計算機硬體和軟體系統建立了虛擬世界,通過虛擬世界去認識、建設、改造和適應真實世界,於是產生了大量的數據和各種應用。 DOA 就是建立在雲計算支撐的數據和各種應用之間的、分別可以對數據和應用進行管理和服務的一種機制、一個平台,形成一個以這種機制和平台的相對不變來應對數據和應用萬變的數據和應用的生態系統。這種關系和機制,也可以實現從實時數據到實時應用的支持。數據、DOA 平台和應用所構成的三層架構如右圖所示。
DOA 對數據的管理和服務模式。 DOA 面對的數據是廣義數據。要對廣義數據進行管理和服務,首先要解決對各種類型數據的統一標識和管理問題。其次,要考慮數據的價值保護,要對數據進行屬性管理,對數據進行許可權和授權管理。再次,在分布式應用和有數據冗餘的情況下,要考慮數據的一致性問題。據此提出數據注冊中心( DRC)、數據許可權中心( DAC)和數據異常控制中心( DEC),互相配合實現對各種類型數據的統一管理,並為應用提供數據服務。
DOA 與應用的業務邏輯和數據邏輯關系。 傳統的應用信息系統構建邏輯大都是面向業務的邏輯,即根據需求,按照業務流程進行需求分析,就事論事地對系統進行設計和開發。按照業務邏輯,要求信息處理流程、數據結構等都按照業務過程的要求進行設計,好處是信息流程與業務流程比較一致,但缺點是,在今後一旦業務流程發生變化,信息處理流程、數據結構等都要做相應的變化,給系統開發和維護帶來不可預測的困難。 DOA 要求面向數據,即要將應用的業務邏輯轉換為數據邏輯,這樣,就要求將業務流程按照對數據資源池訪問的周期梳理成一個個小的面向數據的流程,最後再將這些面向數據的流程整合成面向業務的流程,完成應用信息系統的開發。這樣做的好處是一旦構建了數據資源池,構建面向數據的業務流程會比較便捷,而且業務流程發生變化,不會影響整個數據邏輯和數據流程,只需增加變化的部分或調整一些數據流程去適應新的變化即可。缺點是,要將業務邏輯轉換為數據邏輯,需要做一個思想轉變。
DOA 下數據安全的基本原理。 傳統的信息安全,首先是建立一個封閉和相對安全的環境,通過各種方式來保證這個封閉環境是安全的或可信的,但在這裡面的數據卻大多是「裸露」的。一旦有不速之客通過漏洞進入到這個環境, 「裸露」的數據就面臨著極大的危險。在互聯網和雲計算的開放環境下,按照這種封閉環境下的信息安全策略進行數據保護,將面臨著極大的挑戰。
DOA 是面向數據和以數據為核心的。數據是有屬性的,具有安全屬性、身份屬性、時間屬性和空間屬性。要明確數據的主人、朋友和敵人。從數據角度考慮安全問題,要保證數據的完整性、機密性和可用性。數據要「天生加密,授權使用」。數據具有自保護功能,要穿戴盔甲,以加密方式呈現,具有不同的加密級別和深度。數據的使用要經過授權。數據具有兩種狀態:存儲和傳輸時的「數據態」以及授權使用中的「應用態」。 「數據態」是加密狀態, 「應用態」是解密狀態。一旦完成「應用」或離開了應用環境,數據應立即「變」為加密的「數據態」。 DOA 提供一種加解密機制和授權使用機制,使得數據在存儲和傳輸時是不可訪問和使用的,而經過授權的用戶在訪問數據或通過應用使用數據時,是透明的,即感覺不到數據的加密和解密過程。因此, DOA 下的數據安全策略是, 「數據態」的數據,既適合於封閉環境,也適合於開放環境,而「應用態」的數據,僅適合於「封閉」環境。這樣,數據安全問題就化解為數據加密和授權使用機制、數據自我保護和自動加解密機制、應用環境安全等幾個關鍵問題了。
(2)面向數據的體系結構的組成
包括: DOA 的組成及完備性;數據注冊中心( DRC)基本功能;數據許可權中心( DAC)基本功能;數據異常控制中心( DEC)基本功能;數據應用單元( DAUs)的基本功能;面向數據的軟體工程原理初步探索;等。
DOA 的組成及完備性。 DOA 是一種構建在雲計算環境之上的軟體體系結構,不涉及直接對具體硬體的控制和訪問。作為協調數據和應用之間的關系以及構建數據生態系統的一種機制, DOA 應具有對廣義數據進行全面管理和服務的功能,以及對各類應用進行全面管理和服務的功能。初步考慮的 DOA 組成包括:對廣義和各類數據進行登記注冊管理的數據注冊中心( DRC),對數據進行授權、認證和計帳(授權及訪問過程記錄)管理的數據許可權中心( DAC),對數據的一致性進行管理的數據異常控制中心( DEC),以及對各類應用進行管理、服務提供支持的數據應用單元( DAUs)。這些中心和應用單元,構成了 DOA 的基本框架,它們之間既相互獨立,又相互關聯,形成一個有機的整體。相互獨立,體現在它們的任務和功能互不相同;相互關聯,體現在它們之間的互為依賴。例如,DAC、 DEC 和 DAUs,都要依賴於 DRC。
數據注冊中心(DRC)基本功能。 數據注冊中心對各種類型的數據和廣義數據進行登記注冊,形成邏輯的數據資源池,方便應用對數據的訪問。其功能涉及但不限於:數據注冊信息定義,數據屬性信息,數據分類,元數據標准,元數據分類,不同類型數據的注冊方法,數據索引,元數據索引,數據檢索,廣義數據模式識別,分布式部署,數據注冊內容隨需自適應機制,數據生成自動注冊機制,歷史數據注冊與管理,等。
數據許可權中心( DAC)基本功能。 數據許可權中心對數據進行許可權管理,功能涉及但不限於:數據安全屬性定義,數據合法性鑒別,數據訪問許可權定義,用戶許可權認證,應用授權,用戶授權,數據授權與 PKI,計帳演算法及機制,數據透明加解密機制,高效數據加解密演算法等。
數據異常控制中心(DEC)基本功能。 數據異常控制中心對分布式環境下有數據冗餘時的數據一致性進行處理,功能涉及但不限於:數據維護,自適應管理,異常探測與處理,巡檢,異常與沖突發現,同步處理,冗餘處理,負載均衡等。數據應用單元( DAUs)的基本功能。 數據應用單元是在數據資源池之上的一系列應用單元模塊,針對應用管理和服務,通過類似於基於構件的軟體開發模式( COA)的搭積木方式和應用程序介面( API, Application Programming Interface)調用,以「數據驅動應用」,快速滿足用戶的各種應用功能需求。其功能應根據各種具體應用的需求,涉及但不限於:根據不同數據類型提供不同功能的數據功能單元( DFU, Data Function Unit),以推送方式提供服務的數據服務單元( DSU,Data Service Unit),數據加解密單元( DEU, Data Encryption Unit),數據授權調用單元( DIU, Data Invocation Unit),數據應用組合單元( DCU, Data CombinationUnit),數據可視化單元( DVU, Data Visualization Unit),數據處理單元( DPU,Data Processing Unit),等。
面向數據的軟體工程原理初步探索。 面向數據的體系結構 DOA 為軟體開發提供了新的方法。區別於傳統的面向業務的軟體工程,新的面向數據的軟體工程具有新的活力。擬開展以下研究:具有生命周期的應用軟體與數據生態系統的關系研究;業務邏輯轉化為數據邏輯的開發過程研究;邏輯的數據資源池建設和運行維護機制研究;基於成長型數據生態系統的應用軟體開發模式研究;基於DAUs 的面向數據的應用軟體快速構建機制研究;已有系統的數據整合方法研究;等。
(3)數據注冊中心(DRC)的機制
包括:數據注冊內容定義及元數據標准;數據屬性信息定義;數據分類及分類標准;數據注冊方法;元數據索引和檢索方法;廣義數據模式識別;數據注冊中心分布式部署模式;數據注冊內容隨需自適應機制;數據生成自動注冊機制;歷史數據注冊與管理;等。
數據注冊內容定義及元數據標准。 廣義數據包括雲中存儲的各種類型的數據,也包括互聯網中傳遞的實時變化的數據,還包括物理世界存在的實體對象和狀態所表徵的數據,如果用雲的概念來表達數據,就是存儲雲(數據)、網路雲(數據)與物理雲(數據)。對這些數據進行注冊,就要針對這些數據的特徵定義注冊內容,最重要的是要指出這些數據的名稱和存在的位置,作為統一管理數據的唯一標識。此外,還需要有數據的描述、數據的屬性、數據的許可權等內容。這些內容體現為元數據,需要制定統一的數據注冊元數據標准。數據屬性信息定義。 數據具有屬性,不同的數據具有不同的屬性。數據都具有價值, DRC 需要管理數據的共性屬性。例如,數據權人(數據主人),數據的生命周期,數據的許可權,數據的狀態,數據的性質,數據的合法性,數據的質量等。
數據分類及分類標准。 數據可以分為不同的大類和子類,對於分類的標准、分類的方法、分類的類別和分類的應用等,需要開展研究。為了提高數據檢索效率,還需對元數據進行進一步的分類研究。數據注冊方法。 根據不同的數據類型,不同的數據性質,要採用相適應的數據注冊方法,可以分為手動注冊、半自動注冊和全自動注冊方法。在數據注冊的同時,建立數據索引。應用產生數據,應用產生的數據應該自動進行注冊。
元數據索引和檢索方法。 數據注冊中心是為應用提供數據訪問服務的,訪問效率取決於索引和檢索方法。由於數據注冊中心的體量可以很大,根據不同系統,其規模可以達到TB級甚至PB級。因此,建立高效的元數據索引和檢索機制和研究高效的索引和檢索方法,是非常必要的。廣義數據模式識別。 數據注冊中心注冊的內容可以是廣義數據,例如物理世界的實體。要快速檢索這些廣義數據,需要採取新的識別技術。例如可以採用基於模糊理論的模式識別技術來建立索引等方法。數據注冊中心分布式部署模式。 數據注冊中心的數據雖然是數據的注冊信息,其體量和實體數據相比約佔千分之一,當實體數據達到 PB 量級,注冊中心的數據將達到 TB 級,因此,數據注冊中心也要部署到雲的分布式環境中。為高效地運行數據注冊中心,需要對其進行分布式部署模式研究。
(4)數據許可權中心(DAC)的機制
DOA 意在從架構角度對未來數據系統進行全方位設計,包括數據安全在內。DAC 通過數據許可權的管理對數據進行保護,並提供數據授權使用的機制,也可以保護數據擁有者的利益。因此,DAC 的機制涉及但不限於:開放環境下數據安全基本理論;數據的狀態機制;數據固有安全屬性;數據訪問控制許可權及管理機制;數據合法性鑒定;數據許可權中心的作用和運作機制;用戶認證機制及證書授權( CA, Certificate Authority)技術;數據授權機制及與公共密鑰基礎設施( PKI,Public Key Infrastructure)關系;數據使用記錄及其溯源機制;計帳機制;多級授權及認證機制;單個數據與批量數據或大數據量授權使用機制;密鑰體系;數據透明加解密策略和演算法;加解密效率與安全性及授權過程的妥協關系;傳統數據傳輸加密技術適應性;應用環境安全保障;數據非法使用識別及數字水印技術;數據權人權利和知識產權相關問題;等。
開放環境下數據安全基本理論。 開放環境下,要做到數據本身的安全,並能夠安全使用,首先就是數據要進行加密,數據應該具有「天生加密,授權使用」的特性。不妨假設數據在使用中是不加密狀態,那麼數據不在使用中就應該保持加密狀態。因此,設定數據具有兩種狀態:存儲和傳輸時處於加密狀態的「數據態」以及授權使用中處於解密狀態的「應用態」。 DOA 作為一種機制,就要保證數據能夠在這兩種狀態中與授權和加解密技術關聯起來。目前有關數據安全的理論和方法體系、網路的授權、認證和計帳的 AAA 技術、CA技術、PKI技術、密鑰體系、加解密技術等,以及網路安全技術、系統安全技術、應用環境安全技術等,都是適用的,但要從面向數據和以數據為核心的角度進行重新梳理,從數據安全的理念、理論、方法和受保護數據的應用機制等方面,進行適應性研究和更進一步的探討。
數據的狀態機制。 可以以面向對象的觀點來看待數據,數據除了其自身應具有的價值外,還具有內部屬性和外部狀態。從外部看,數據應具有「數據態」和「應用態」兩種狀態。要研究數據狀態的定義,數據狀態的設置和獲取,數據狀態的轉化,數據狀態的作用,數據狀態對環境的要求,數據狀態與數據加解密關系及作用機制,等。
數據固有安全屬性。 數據的內部屬性包括關鍵的數據安全屬性。要研究數據安全屬性的定義,數據安全屬性的內容,數據具有的訪問許可權,數據安全性說明,數據狀態,數據的主人(數據權人)、朋友(被授權人)、陌生人(未授權人)和敵人(不受權人),數據讀寫權利,數據追加歷史記錄,數據的數字水印與防偽鑒別,數據授權記錄,等。
數據訪問控制許可權及管理機制。 數據訪問控制依賴於數據安全屬性,又與數據的加解密關系密切。過去的數據訪問控制許可權是由軟體所控制,由訪問軟體控制數據的訪問,而數據本身則有可能加密也有可能不加密。當另外的軟體訪問數據時,有可能繞過許可權控制,例如越權訪問數據,造成數據的非法訪問和重要信息泄露。本項研究立足於數據「天生加密,授權使用」的觀念,數據的訪問依據數據的安全屬性和訪問者的身份,通過應用授權、用戶授權,再確定數據授權,依據授權的方式和應用的環境,提供解密密鑰或解密演算法,實現數據的安全使用。涉及數據的使用,還有數據的讀寫許可權、修改許可權、追加許可權、數據的獲取及數據權人的確定,以及按照數據權人的身份信息進行數據自動加密和自動注冊等。依照不同的應用類型、不同的應用場景、不同的用戶表現方式,這種數據訪問控制方法及許可權管理機制,需要深入開展研究。
數據許可權中心的作用和運作機制。 數據許可權中心負責對數據進行安全保護,並對數據的使用進行授權管理和應用安全管理。因此,數據許可權中心要管理數據安全屬性,鑒別數據的合法性,設定數據的訪問許可權,認證用戶和應用,對數據進行用戶和應用授權,對授權過程進行記錄和計帳,對數據進行加解密,等。數據許可權中心要與數據注冊中心配合,有關數據的屬性和許可權等數據,需要在數據注冊中心進行注冊和登記,數據許可權中心根據注冊的信息,對數據進行監控、授權、回收權利、認證、計帳、加解密和新數據安全屬性注冊等操作。從內部看,數據的使用過程就是數據的授權和不斷擴大授權范圍的過程,計帳就是對這些授權的記錄,可以為後續的商業應用奠定基礎。未來任何一個 DOA 平台,在提供數據管理和服務的同時,也具備了數據商業運作的基本能力。
用戶認證機制及證書授權(CA)技術。 數據應用授權是建立在用戶認證的基礎上的。用戶認證與用戶的屬性相關,認證過程是用戶注冊和管理維護過程。登記用戶信息是數據注冊中心(DRC)重要的數據注冊內容,也是數據許可權中心(DAC)需要用到的重要數據。用戶認證技術,可以採用傳統的 CA 技術,需要有第三方權威中心或局部中心向用戶頒發用戶證書(私鑰)。同時,數據和用戶之間通過數據安全屬性建立關聯關系。
數據授權機制及與公鑰基礎設施(PKI)關系。 向用戶授權使用數據,就需要將經數據權人(數據的主人)公鑰加密的數據轉變成用被授權用戶(數據的朋友)公鑰加密的數據,再提供給被授權用戶下載使用。當遇到體量較大的數據,為提高加解密效率,用公鑰加密的應該是對數據進行對稱加密的密鑰,而不是數據本身。數據許可權中心(DAC)要提供這種基於 PKI 的加解密授權機制和方法。
(5)數據異常控制中心(DEC)的機制
DEC對數據資源池(數據注冊中心注冊的數據)進行一致性管理,對數據資源進行維護,保證數據的唯一性和一致性。因此,DEC的機制涉及但不限於:數據一致性維護機制,數據動態變化自適應管理機制,數據一致性異常探測與處理機制,數據巡檢演算法,數據異常與沖突發現演算法,數據同步處理演算法,數據冗餘處理演算法,熱數據自動復制技術,冷數據自動刪除技術,系統負載均衡,等。
(6)數據應用單元(DAUs)的機制
DAUs在數據注冊中心DRC以及數據許可權中心DAC的基礎上,建立一系列應用單元模塊,通過類似於基於構件的軟體開發模式(COA)的搭積木方式和應用程序介面(API)調用,以「數據驅動應用」,快速滿足用戶的各種應用功能需求,對各類應用進行管理和服務。因此,DAUs的機制涉及但不限於:數據應用單元的結構規范,程序調用參數規范,數據訪問規范,應用注冊管理規范,應用擴展機制,授權數據訪問機制,非授權數據訪問識別,數據功能單元,數據服務單元,數據加解密單元,數據授權調用單元,數據應用組合單元,數據可視化單元,數據處理單元,等。

熱點內容
壓縮內存軟體 發布:2025-01-31 16:51:39 瀏覽:145
腳本lcd 發布:2025-01-31 16:41:02 瀏覽:515
安卓selinux干什麼用的 發布:2025-01-31 16:32:04 瀏覽:531
俠盜獵車手加錢密碼是多少 發布:2025-01-31 15:44:28 瀏覽:662
沒密碼怎麼登微信 發布:2025-01-31 15:33:51 瀏覽:737
c語言死機程序 發布:2025-01-31 15:07:52 瀏覽:18
編程教育裝修 發布:2025-01-31 15:04:38 瀏覽:402
函數和存儲過程的區別 發布:2025-01-31 14:39:12 瀏覽:609
地下室柱子箍筋的加密 發布:2025-01-31 14:36:11 瀏覽:934
手機拍攝視頻在哪個文件夾 發布:2025-01-31 14:34:28 瀏覽:761