文件存儲數據
1. 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼
一、概念及區別
針對不同的應用場景，選擇的分布式存儲方案也會不同，因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面：
1. 對象存儲:
也就是通常意義的鍵值存儲，其介面就是簡單的GET,PUT,DEL和其他擴展，
2. 塊存儲:
這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)
3. 文件存儲:
通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。
二、IO特點
按照這三種介面和其應用場景，很容易了解這三種類型的IO特點，括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):
介面簡單，一個對象我們可以看成一個文件，只能全寫全讀，通常以大文件為主，要求足夠的IO帶寬。
2. 塊存儲(硬碟):
它的IO特點與傳統的硬碟是一致的，一個硬碟應該是能面向通用需求的，即能應付大文件讀寫，也能處理好小文件讀寫。但是硬碟的特點是容量大，熱點明顯。因此塊存儲主要可以應付熱點問題。另外，塊存儲要求的延遲是最低的。
3. 文件存儲(文件系統):
支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的，它比塊存儲具有更豐富的介面，需要考慮目錄、文件屬性等支持，實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統，可以通過根據實現來定義介面，會容易一點。
因此，這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現，通常來說，需要盡量滿足各種需求，而介面定義已經一定意義上就砍去了一些需求，如對象存儲會以冷存儲更多，大文件為主。
主要用C語言的庫函數，有open write read 或者是fopen fwrite fread這幾個函數，迅速就是先open 然後write，具體函數的用法可自行網路，如果你是問存儲數據的格式的話，自己定義結構體存儲的方式是最方便直接的
3. java程序中怎樣用文件存儲數據
對於一些小文件，我們可以一次性讀取它的所有位元組，然後一次提交到資料庫
///
/// 這個方法演示了如何一次提交所有的位元組。這樣導致的結果是：應用程序立即需要申請等同於文件大小的內存
static void SubmitFileByOnce() {
string file = @"F:\功夫熊貓.rmvb";//文件大小為519MB
byte[] buffer = File.ReadAllBytes(file);
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true")) {
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "INSERT INTO Files(FileName,FileContents) VALUES(@fileName,@fileContents)";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
new SqlParameter("@fileContents",buffer)
});
conn.Open();
cmd.ExecuteNonQuery();
conn.Close();
}
}
}
但是，上面的方法有幾個問題，主要體現在如果文件比較大的話
它需要一次性很大的內存，具體數據等同於文件大小。因為File.ReadAllBytes方法是將所有位元組全部讀入到內存。
它會導致提交失敗，就是因為數據太大了。資料庫也會拒絕。
那麼，我就對這個方法做了一下改進，將文件拆分為5MB一段，也就是說，此時每次申請的內存只有5MB。這就大大地提高了可用性。
/// 這個方法是將文件切分為5MB的塊，每次只是提交5MB，所以可能多次提交，但內存佔用就比較小
static void SubmitFileStepByStep() {
string file = @"F:\功夫熊貓.rmvb";//以這個文件為例，大小為519MB，一共需要的時間大約94秒。還是有點慢的，所以還可能需要進行壓縮
FileStream fs = new FileStream(file, FileMode.Open);
byte[] buffer = new byte[5 * 1024 * 1024];
int readCount;
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true"))
{
conn.Open();
while ((readCount = fs.Read(buffer, 0, buffer.Length)) > 0)
{
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "INSERT INTO Files(FileName,FileContents) VALUES(@fileName,@fileContents)";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
new SqlParameter("@fileContents",buffer)
});
cmd.ExecuteNonQuery();
}
}
conn.Close();
}
}
這樣的話，有一個後果就是一個文件，可能在資料庫中會有多條記錄。所以在讀取的時候，我們需要對其進行合並
static void DownloadFile() {
string file = @"F:\功夫熊貓.rmvb";
string destfile = @"E:\Temp\Temp.wmv";
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true"))
{
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "SELECT FileContents FROM Files WHERE FileName=@fileName";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
});
conn.Open();
SqlDataReader reader = cmd.ExecuteReader();
FileStream fs = new FileStream(destfile, FileMode.Append, FileAccess.Write);
while (reader.Read())
{
byte[] buffer = (byte[])reader[0];
fs.Write(buffer, 0, buffer.Length);
}
fs.Close();
reader.Close();
conn.Close();
}
}
}
4. 存放文件使用什麼資料庫
常見的資料庫都是支持文件存放的,但是非常不推薦在資料庫里存文件之類的大對象,效率非常低
通常都是把文件存在磁碟上,然後把文件的路徑存入資料庫
5. c語言如何用文件存儲數據
具體操作步驟如下：
1、首先，創建一個新文件夾，在該文件夾中創建一個文檔，如下圖所示，然後進入下一步。
6. 文件存儲管理
三維數字實物地質資料館採用人工虛擬建模，地質標本採用三維激光掃描數據建模和三維全景影像建模。因此，數據類型主要以三維模型、Flash模型、網頁模型構成，存儲管理分為3種方式：
1）採用3D模型文件與資料庫結合方式管理，將模型文件集成到HTML頁面中，以獨立的HTML頁面和3D文件為單元存儲在硬碟上，並在資料庫中記錄HTML文件對應的路徑及編號，可以按通常互聯網數據訪問模式對HTML進行訪問。
2）採用3D物理文件存儲方式，將地質標本模型直接集成到三維數字實物地質資料展廳的三維模型文件中，進行統一的存儲，並通過3D引擎提供的介面進行數據訪問。
3）採用資料庫存儲方式，將文件模型以二進制流形式直接存儲在資料庫中，通過資料庫提供的相關介面讀取數據流，並用3D引擎進行數據轉換訪問。
7. Java中通過txt文件存儲和取出數據
如果是這樣的話，你就先用string的split方法以,為分隔符號分開，再replace「」，這兩個東東就可以得到你要的中間的數據了。有個缺點比較佔用內存，或許你也可以去讀文件讀到,的時候就將之前的存起來，然後再讀下面的東西。思路而已試試看吧～