hdfs存儲

1. hdfs數據存儲在集群什麼地方

1、存儲文件的時候需要指定存儲的路徑，這個路徑是HDFS的路徑。而不是哪個節點的某個目錄。比如./hadoopfs-putlocalfilehdfspat一般操作的當前路徑是/user/hadoop比如執行./hadoopfs-ls.實際上就相當於./hadoopfs-ls/user/hadoop2、HDFS本身就是一個文件系統，在使用的時候其實不用關心具體的文件是存儲在哪個節點上的。如果需要查詢可以通過頁面來查看，也可以通過API來實現查詢。

2. 關於hdfs的物理存儲路徑問題

我沒用過Hive，但HDFS的存儲機制都是一樣的。
你所謂的物理位置指的是在操作系統中的磁碟路徑？
這個路徑是在Hadoop配置的時候寫在hdfs-site.xml文件的dfs.datanode.data.dir欄位里的，在每個datanode的這個文件夾里存著該節點上存儲的所有數據塊block，以blk_打頭。
dfs.namenode.data.dir指定的文件夾在namenode中則存在元數據。
所以即便你知道這個所謂的物理路徑也沒什麼用，數據都是以block形式存在的，大的數據還由好多個block組成，而且每個block還有副本。

3. hadoop 中文件是怎麼存儲的

1、存儲文件的時候需要指定存儲的路徑，這個路徑是HDFS的路徑。而不是哪個節點的某個目錄。比如./hadoopfs-putlocalfilehdfspat

一般操作的當前路徑是/user/hadoop比如執行./hadoopfs-ls.實際上就相當於./hadoopfs-ls/user/hadoop

2、HDFS本身就是一個文件系統，在使用的時候其實不用關心具體的文件是存儲在哪個節點上的。如果需要查詢可以通過頁面來查看，也可以通過API來實現查詢。

4. 儲存框架HDFS是啥

分布式文件儲存系統

5. HDFS的文件存儲過程

在正式介紹HDFS小文件存儲方案之前，我們先介紹一下當前HDFS上文件存取的基本流程。
(1) 讀文件流程
1）client端發送讀文件請求給namenode，如果文件不存在，返回錯誤信息，否則，將該文件對應的block及其所在datanode位置發送給client
2） client收到文件位置信息後，與不同datanode建立socket連接並行獲取數據。
(2) 寫文件流程
1） client端發送寫文件請求，namenode檢查文件是否存在，如果已存在，直接返回錯誤信息，否則，發送給client一些可用namenode節點
2） client將文件分塊，並行存儲到不同節點上datanode上，發送完成後，client同時發送信息給namenode和datanode
3） namenode收到的client信息後，發送確信信息給datanode
4） datanode同時收到namenode和datanode的確認信息後，提交寫操作。

6. hdfs為什麼能存儲不同類型數據為什麼能存儲pb級的數據

「TB是一個計算機存儲容量的單位，它等於2的40次方，或者接近一萬億個位元組（即，一千千兆位元組）。」
一提到數據量級，人們通常會聯想到美國國會圖書館（見圖）。德勤、麥肯錫、IBM、Gartner和移動廣告公司Adfonic的數據專家向TechTarget記者介紹了PB級數據究竟有多大。

麥肯錫首席分析師Michael Chui指出，美國國會圖書館「在2011年4月前已經收集了235TB的數據，而一個PB相當於它的4倍。」
TechTarget自己的網路網站Whatis有關於PB大小的定義：「PB是數據存儲容量的單位，它等於2的50次方個位元組，或者在數值上大約等於1000個TB。」
未來學家Raymond Kurzweil他的論文中對PB的定義進行延伸：人類功能記憶的容量預計在1.25個TB。這意味著，800個人類記憶才相當於1個PB。
如果這樣還不夠清楚，那麼Adfonic的CTO Wes Biggs給出了下面更直接的計算：
假設手機播放MP3的編碼速度為平均每分鍾1MB，而1首歌曲的平均時長為4分鍾，那麼1PB歌曲可以連續播放2000年。
如果智能手機相機拍攝相片的平均大小為3MB，列印照片的平均大小為8.5英寸，那麼總共1PB的照片的並排排列長度就達到48000英里——大約可以環繞地球2周。
1PB足夠存儲整個美國人口的DNA，而且還能再克隆2倍。
DVD、戰列艦和六國賽
從比特（bit）和位元組（byte）開始，德勤的分析師還將他們的思考向以下方面進一步延伸。（1個比特是1個二進制位，可能是0或1;1個位元組長8個二進制）：
如果以每秒1個位的速度數一下1PB所包含的位數，那麼您需要2.85億年才能數完。
如果每秒數1個位元組，那麼您需要數357萬年。
保存1PB數據需要用掉22.3萬張DVD。
保存1PB數據，需要用掉7.46億張3.5英寸軟盤;這7.46億軟盤重13422噸。這個重量僅僅比2艘Type 45驅逐艦輕一些。
人類身體細胞數據各不相同，但是數量最多的接近100萬億個，如果用1個位來表示1個細胞，那麼1PB足夠記錄90個人的身體細胞，相當於橄欖球六國賽的全部球員。
谷歌、社交媒體和宇宙大爆炸
谷歌在2004年率先進軍數字地圖領域，並在2005年發布了谷歌地圖和谷歌地球。現在，谷歌為用戶提供了超過20PB（215億MB）的地圖影像——包括衛星圖片、航拍照片和360度街景圖片。
即使在2008年，谷歌每天處理的數據已經達到20 PB，一年就是7300 PB。
從那時起，社交媒體網站就開始生成PB級數據，它們逐漸成為所謂的「大數據」。
根據2012年2月1日Facebook向美國證券交易委員會提交的IPO文檔記錄，Facebook在1年前已經存儲了100 PB數據。
在Twitter網站上，每分鍾就有34000條微博出現。IBM非常關注於一個天文項目：「由於20個國家共同出資總計15億歐元建設的平方公里陣列（Square Kilometer Array, SKA）是一個無線電天文望遠鏡，它可以觀測宇宙大爆炸的衰弱信號。」
SKA（計劃在2024年完成）估計整個宇宙每天將生成1376 PB數據，相當於每天傳輸的全球互聯網流量的兩倍。
只能盡量減少，而不能消除，常用減少誤差的

7. 數據存儲在OBS和HDFS有什麼區別

據存儲在OBS和HDFS有什麼區別？
MRS集群處理的數據源來源於OBS或HDFS，HDFS是Hadoop分布式文件系統（Hadoop Distributed File System），OBS（Object Storage Service）即對象存儲服務，是一個基於對象的海量存儲服務，為客戶提供海量、安全、高可靠、低成本的數據存儲能力。MRS可以直接處理OBS中的數據，客戶可以基於雲管理平台Web界面和OBS客戶端對數據進行瀏覽、管理和使用，同時可以通過REST API介面方式單獨或集成到業務程序進行管理和訪問數據。
數據存儲在OBS：數據存儲和計算分離，集群存儲成本低，存儲量不受限制，並且集群可以隨時刪除，但計算性能取決於OBS訪問性能，相對HDFS有所下降，建議在數據計算不頻繁場景下使用。
數據存儲在HDFS：數據存儲和計算不分離，集群成本較高，計算性能高，但存儲量受磁碟空間限制，刪除集群前需將數據導出保存，建議在數據計算頻繁場景下使用。

8. hdfs適合存儲多大的單個文件

首先hdfs是建立在多個機器文件系統上的一個邏輯上的文件系統。它的底層數據以數據塊方式存儲，塊大小可進行調整。
假如你設置一個數據塊大小為256M，上傳一個1G的文件，它底層會將這個文件分成4塊存儲，每個塊256M。你在hdfs上看到的是一個完整的文件，隨時可對這個文件進行操作，無需關注它的存儲。就像你在操作系統上操作文件一樣，無需關注它存在那個磁碟哪個扇區