hdf存儲

『壹』 HDFS和HDF5 有區別嗎是同一個東西嗎

HDF5是一種軟體系統，用於創建定製的數據容器，並提供對存儲在它們中的數據的有效訪問，在廣泛的應用程序域、跨平台上，以及僅由宿主存儲層所限制的大小。Hadoop是一種分布式系統，用於處理、生成和存儲大型數據集。從表面上看，它們都有能力存儲大型數據集。盡管HDF5和Hadoop用於實現非常不同的目標，但是有一些方法可以很好地互補，例如，通過提供高效的Hadoop訪問存儲在HDF5容器中的數據。

『貳』 c語言讀取hdf文件

一、 HDF文件格式

1．概述

HDF 是美國國家高級計算應用中心（National Center for Supercomputing Application）為了滿足各種領域研究需求而研製的一種能高效存儲和分發科學數據的新型數據格式。一個HDF文件中可以包含多種類型的數據，如柵格圖像數據，科學數據集，信息說明數據。這種數據結構，方便了我們對於信息的提取。例如，當我們打開一個HDF圖像文件時，除了可以讀取圖像信息以外，還可以很容易的查取其地理定位，軌道參數，圖像雜訊等各種信息參數。HDF 的數據結構是一種分層式數據管理結構。

2．HDF數據結構特點

HDF是一個能夠自我描述、多目標、用於科學數據存儲和分發的數據格式。它針對存儲和分發科學數據的各種要求提供解決方法。HDF設計特點為：
· 自我描述：一個HDF文件中可以包含關於該數據的全面信息。
· 多樣性：一個HDF文件中可以包含多種類型的數據。例如，可以通過利用適當的HDF 文件結構，在某個HDF文件中存儲符號、數值和圖形數據。
· 靈活性：可以讓用戶把相關數據目標集中一個HDF文件的某個分層結構中，並對其加以描述。同時可以給數據目標記上標記，方便查取。用戶也可以把科學數據存儲到多個HDF文件中。
· 可擴展性：在HDF中可以加入新數據模式，增強了它與其它標准格式的兼容性。
· 獨立性：HDF是一種同平台無關的格式。HDF文件在不同平台間傳遞而不用轉換格式。

3．為什麼建立HDF

人們通常在不同機器上建立、處理數據。在處理過程中，除了原始數據信息以外，無疑會產生大量的結果、輔助、說明等信息，這些信息由於具有不同的格式，所以往往被存於不同的文件中。這樣，在數據共享過程中，我們不得不利用各種軟體將其打包，進行傳輸。即便如此，也難免會出現遺漏或出錯現象，造成了許多不必要的麻煩。HDF通過提供「總體目錄結構」來處理這類問題：
·為程序提供一種機制，使它能夠直接從嵌套的文件中獲得信息。
·可以將不同類型的數據源存於同一個文件中，而這些數據源又可以同時包含其數據信息和和其它相關信息。
·對常用數據集的格式和描述標准化。
·鼓勵所有機器和程序使用標准數據格式，產生包括具體數據的文件。

4．HDF數據類型

HDF有6種主要數據類型：柵格圖象,調色板，科學資料庫，注釋，Vdata和Vgroup。
· 柵格圖象: 數據模式提供一種靈活方式存儲、描述柵格圖象數據，包括8bit柵格圖象。
· 調色板: 也叫作彩色查對表，它提供圖像的色譜。
· 科學數據集: 用來存儲和描述多維科學數據陳列。
· Vdata: 是一個框架，用於存儲和描述數據表。
· HDF注釋: 是文字串，用來描述HDF文件或HDF數據目標。
· Vgroup: 是用來把相關數據目標聯系起來。一個Vgroup可以含有其它Vgroup，以及數據目標。任一個HDF目標均可以包括進某個Vgroup中。

5．HDF文件格式

HDF格式可以被看成一本帶目錄的多章節書。HDF文件作為「數據書」，每一章包含不同類型的數據元素。HDF文件用「數據目錄」列出數據元素。
一個HDF 文件應包括一個文件頭，一個或多個描述符塊，若干個數據元素。
數據頭是用來確定一個文件是否為HDF文件，描述符塊存有數據描述符的序號。一個數據描述符和數據元素一起組成了數據對象。數據對象是HDF 的基本結構。
1)文件頭
文件頭佔用文件的前4個位元組，它由4個ASCII碼形式的控制字元組成，每個字元佔用一個位元組。第一個控制字元是『N』，第二個是『C』， 第三個是『S』，第四為『A』，即(^N^C^S^A).
2) 數據對象
一個數據對象是由一個數據描述符和一個數據元素組成。數據描述符包含了數據元素的類型、位置、尺度等信息。數據元素是實際的數據資料。HDF 這種數據組織方式可以實現HDF 數據的自我描述。

(1) 數據描述符
所有的數據描述符都為12個位元組長，它包含4個區域：標識符(佔16-bit)，參照數（16-bit），數據偏移量（32-bit），數據長度（32-bit）。

標識符：

數據標識符（tag）是用來確定數據元素區數據類型的。它是16位無符號整型值（1~65535），如果沒有與其相對應的數據元素，則tag為DFTGA_NULL(或0)。下面為tag的值的說明：

1~32767——HDF 結構專用

32768~64999——可由用戶定義

65000~65535——HDF 規格擴展使用

參照數：

對於HDF 文件中的每個標記符，都有唯一的一個參照數與其相對應。參照數是一個16—bit無符號整型數，在數據對象中一般是不可變的。標記符和參照數相結合確定唯一的數據對象。

數據偏移量和長度：

數據偏移量是指從文件開始位置到數據元素的起始位置所包含的位元組數。長度是指整個數據元素區佔用位元組數。數據偏移量和長度均為32-bit 無符號整型數。

(2) 數據元素

數據元素是數據對象中的裸數據部分。

(3) 在HDF 文件中將數據對象分組

在HDF 文件中通常將含有相關數據的數據對象分為一組。這些數據對象組稱為數據集。HDF 用戶採用應用界面來處理這些數據集。例如：一套8-bit的圖像數據集一般有3個數據對象：一組對象用來描述數據集的成員，一組對象是圖像數據，另一組對象則用來描述圖像的尺度大小。一個數據對象可以同時屬於多個數據集，例如包含在一個柵格圖像中的調色板對象，如果它的標識號和參照值也同時包含在另一個數據集描述符中，那麼則可以被另一個柵格圖像調用。

『叄』 HDFS1.0可以水平擴展嗎

HDFS1.0可以水平擴展。

Ja-va、大數據基礎、HDFS分布式文件系統、MapRece分布式計算模型、 Yarn分布式資源管理器、Zookeeper分布式協調服務、Hbase分布式資料庫、Hive分布式數據倉庫、 FlumeNG分布式數據採集系統、Sqoop大數據遷移系統、Scala大數據黃金語言、 kafka分布式匯流排系統。

數據類型：

HDF提供6種基本數據類型：光柵圖像（RasterImage），調色板（Palette），科學數據集（ScientificDataSet），註解（Annotation），虛擬數據（Vdata）和虛擬組（Vgroup）。

ScientificDataSet模型是用來存儲和描述科學數據的多維數組。Vdata模式是用來存儲和描述數據表格的結構。HDF的Annotations是文本字元串，用來描述HDF文件，或HDF文件包含的HDF數據對象。

Vgroup結構模型被設計為與相關數據對象有關。一個Vgroup可以包含另一個Vgroup以及數據對象。任何HDF對象都可以包含在一個Vgroup中 。

『肆』 hdf文件的HDF數據結構特點

HDF是一個能夠自我描述、多目標、用於科學數據存儲和分發的數據格式。它針對存儲和分發科學數據的各種要求提供解決方法。HDF設計特點為：
· 自我描述：一個HDF文件中可以包含關於該數據的全面信息。
· 多樣性：一個HDF文件中可以包含多種類型的數據。例如，可以通過利用適當的HDF 文件結構，在某個HDF文件中存儲符號、數值和圖形數據。
· 靈活性：可以讓用戶把相關數據目標集中一個HDF文件的某個分層結構中，並對其加以描述。同時可以給數據目標記上標記，方便查取。用戶也可以把科學數據存儲到多個HDF文件中。
· 可擴展性：在HDF中可以加入新數據模式，增強了它與其它標准格式的兼容性。
· 獨立性：HDF是一種同平台無關的格式。HDF文件在不同平台間傳遞而不用轉換格式。

『伍』 hdf文件的HDF數據類型

HDF有6種主要數據類型：柵格圖象,調色板，科學資料庫，注釋，Vdata和Vgroup。
· 柵格圖象: 數據模式提供一種靈活方式存儲、描述柵格圖象數據，包括8bit柵格圖象。
· 調色板: 也叫作彩色查對表，它提供圖像的色譜。
· 科學數據集: 用來存儲和描述多維科學數據陳列。
· Vdata: 是一個框架，用於存儲和描述數據表。
· HDF注釋: 是文字串，用來描述HDF文件或HDF數據目標。
· Vgroup: 是用來把相關數據目標聯系起來。一個Vgroup可以含有其它Vgroup，以及數據目標。任一個HDF目標均可以包括進某個Vgroup中。

『陸』 請問一下HDF是什麼意思

HDF 在 牛津簡明英漢袖珍辭典 中的 解釋:
Hierarchical Data Format,層次型數據格式

hdf 在 醫學專業詞典 中的 解釋:
high dose fractionation

『柒』 hdf文件的概述

HDF 是美國國家高級計算應用中心（National Center for Supercomputing Application）為了滿足各種領域研究需求而研製的一種能高效存儲和分發科學數據的新型數據格式。一個HDF文件中可以包含多種類型的數據，如柵格圖像數據，科學數據集，信息說明數據。這種數據結構，方便了我們對於信息的提取。例如，當我們打開一個HDF圖像文件時，除了可以讀取圖像信息以外，還可以很容易的查取其地理定位，軌道參數，圖像雜訊等各種信息參數。HDF 的數據結構是一種分層式數據管理結構。
美國國家宇航局（NASA）在HDF數據格式基礎上提出了HDF—EOS子集，用於記錄MODIS感測器數據。如果需要對HDF格式數據進行讀寫，必須先要對其格式有深刻了解。