文件存储数据
1. 块存储、文件存储、对象存储这三者的本质差别是什么
一、概念及区别
针对不同的应用场景，选择的分布式存储方案也会不同，因此有了对象存储、块存储、文件系统存储。这三者的主要区别在于它们的存储接口：
1. 对象存储:
也就是通常意义的键值存储，其接口就是简单的GET,PUT,DEL和其他扩展，
2. 块存储:
这种接口通常以QEMU Driver或者Kernel Mole的方式存在，这种接口需要实现Linux的BlockDevice的接口或者QEMU提供的BlockDriver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)
3. 文件存储:
通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
二、IO特点
按照这三种接口和其应用场景，很容易了解这三种类型的IO特点，括号里代表了它在非分布式情况下的对应:1. 对象存储(键值数据库):
接口简单，一个对象我们可以看成一个文件，只能全写全读，通常以大文件为主，要求足够的IO带宽。
2. 块存储(硬盘):
它的IO特点与传统的硬盘是一致的，一个硬盘应该是能面向通用需求的，即能应付大文件读写，也能处理好小文件读写。但是硬盘的特点是容量大，热点明显。因此块存储主要可以应付热点问题。另外，块存储要求的延迟是最低的。
3. 文件存储(文件系统):
支持文件存储的接口的系统设计跟传统本地文件系统如Ext4这种的特点和难点是一致的，它比块存储具有更丰富的接口，需要考虑目录、文件属性等支持，实现一个支持并行化的文件存储应该是最困难的。但像HDFS、GFS这种自己定义标准的系统，可以通过根据实现来定义接口，会容易一点。
因此，这三种接口分别以非分布式情况下的键值数据库、硬盘和文件系统的IO特点来对应即可。至于冷热、快慢、大小文件而言更接近于业务。但是因为存储系统是通用化实现，通常来说，需要尽量满足各种需求，而接口定义已经一定意义上就砍去了一些需求，如对象存储会以冷存储更多，大文件为主。
主要用C语言的库函数，有open write read 或者是fopen fwrite fread这几个函数，迅速就是先open 然后write，具体函数的用法可自行网络，如果你是问存储数据的格式的话，自己定义结构体存储的方式是最方便直接的
3. java程序中怎样用文件存储数据
对于一些小文件，我们可以一次性读取它的所有字节，然后一次提交到数据库
///
/// 这个方法演示了如何一次提交所有的字节。这样导致的结果是：应用程序立即需要申请等同于文件大小的内存
static void SubmitFileByOnce() {
string file = @"F:\功夫熊猫.rmvb";//文件大小为519MB
byte[] buffer = File.ReadAllBytes(file);
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true")) {
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "INSERT INTO Files(FileName,FileContents) VALUES(@fileName,@fileContents)";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
new SqlParameter("@fileContents",buffer)
});
conn.Open();
cmd.ExecuteNonQuery();
conn.Close();
}
}
}
但是，上面的方法有几个问题，主要体现在如果文件比较大的话
它需要一次性很大的内存，具体数据等同于文件大小。因为File.ReadAllBytes方法是将所有字节全部读入到内存。
它会导致提交失败，就是因为数据太大了。数据库也会拒绝。
那么，我就对这个方法做了一下改进，将文件拆分为5MB一段，也就是说，此时每次申请的内存只有5MB。这就大大地提高了可用性。
/// 这个方法是将文件切分为5MB的块，每次只是提交5MB，所以可能多次提交，但内存占用就比较小
static void SubmitFileStepByStep() {
string file = @"F:\功夫熊猫.rmvb";//以这个文件为例，大小为519MB，一共需要的时间大约94秒。还是有点慢的，所以还可能需要进行压缩
FileStream fs = new FileStream(file, FileMode.Open);
byte[] buffer = new byte[5 * 1024 * 1024];
int readCount;
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true"))
{
conn.Open();
while ((readCount = fs.Read(buffer, 0, buffer.Length)) > 0)
{
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "INSERT INTO Files(FileName,FileContents) VALUES(@fileName,@fileContents)";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
new SqlParameter("@fileContents",buffer)
});
cmd.ExecuteNonQuery();
}
}
conn.Close();
}
}
这样的话，有一个后果就是一个文件，可能在数据库中会有多条记录。所以在读取的时候，我们需要对其进行合并
static void DownloadFile() {
string file = @"F:\功夫熊猫.rmvb";
string destfile = @"E:\Temp\Temp.wmv";
using (SqlConnection conn = new SqlConnection("server=(local);database=demo;integrated security=true"))
{
using (SqlCommand cmd = conn.CreateCommand())
{
cmd.CommandText = "SELECT FileContents FROM Files WHERE FileName=@fileName";
cmd.Parameters.AddRange(
new[]
{
new SqlParameter("@fileName",file),
});
conn.Open();
SqlDataReader reader = cmd.ExecuteReader();
FileStream fs = new FileStream(destfile, FileMode.Append, FileAccess.Write);
while (reader.Read())
{
byte[] buffer = (byte[])reader[0];
fs.Write(buffer, 0, buffer.Length);
}
fs.Close();
reader.Close();
conn.Close();
}
}
}
4. 存放文件使用什么数据库
常见的数据库都是支持文件存放的,但是非常不推荐在数据库里存文件之类的大对象,效率非常低
通常都是把文件存在磁盘上,然后把文件的路径存入数据库
5. c语言如何用文件存储数据
具体操作步骤如下：
1、首先，创建一个新文件夹，在该文件夹中创建一个文档，如下图所示，然后进入下一步。
6. 文件存储管理
三维数字实物地质资料馆采用人工虚拟建模，地质标本采用三维激光扫描数据建模和三维全景影像建模。因此，数据类型主要以三维模型、Flash模型、网页模型构成，存储管理分为3种方式：
1）采用3D模型文件与数据库结合方式管理，将模型文件集成到HTML页面中，以独立的HTML页面和3D文件为单元存储在硬盘上，并在数据库中记录HTML文件对应的路径及编号，可以按通常互联网数据访问模式对HTML进行访问。
2）采用3D物理文件存储方式，将地质标本模型直接集成到三维数字实物地质资料展厅的三维模型文件中，进行统一的存储，并通过3D引擎提供的接口进行数据访问。
3）采用数据库存储方式，将文件模型以二进制流形式直接存储在数据库中，通过数据库提供的相关接口读取数据流，并用3D引擎进行数据转换访问。
7. Java中通过txt文件存储和取出数据
如果是这样的话，你就先用string的split方法以,为分隔符号分开，再replace“”，这两个东东就可以得到你要的中间的数据了。有个缺点比较占用内存，或许你也可以去读文件读到,的时候就将之前的存起来，然后再读下面的东西。思路而已试试看吧～