gridfs小文件存储

㈠ Mongodb在linux 64位系统下，通过mongofiles上传的单个文件有大小限制吗

一楼的，MongoDB有配置文件？在哪呢？我这是头回听说。

建议你改用任意一种主流驱动进行上传，如java的API，里面有GridFS这个类，适用于管理文件系统的，这样对于出错的情况很容易把我，如利用try catch和writeconcern。
你这样什么错误信息都不给出，是没办法排查的。

㈡ 分布式块存储和 分布式文件存储有是什么区别

分布式块存储和 分布式文件存储有是什么区别

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。
分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

分布式存储是什么？选择什么样的分布式存储更好？

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
联想超融合ThinkCloud AIO超融合云一体机是联想针对企业级用户推出的核心产品。ThinkCloud AIO超融合云一体机实现了对云管理平台、计算、网络和存储系统的无缝集成，构建了云计算基础设施即服务的一站式解决方案，为用户提供了一个高度简化的一站式基础设施云平台。这不仅使得业务部署上线从周缩短到天，而且与企业应用软件、中间件及数据库软件完全解耦，能够有效提升企业IT基础设施运维管理的效率和关键应用的性能

MongoDB 适合做分布式图片文件存储么？

如果硬件上舍得投入(比如N台32GB起的大内存机),gridfs很合适海量小文件, 不过两台机我觉得还不如把静态文件这块外包给第三方云存储

软件定义存储和 分布式存储的区别

软件定义存储其实是个伪命题，你可以看下冬瓜哥的一篇文章。你也可以这么理解，分布式存储就是软件定义存储的一种方式。

集中式存储和分布式存储有什么区谈好别

分布式 存储就是DAS ，就是服务器里面放着硬盘，多台服务器的话就是分布式存储，数据分散，不易于管理。
集中存储就是 NAS,SAN，将服务器和硬盘分开，数据都存放NAS设备中，NAS设备再级联磁盘阵列，然后多个服务器对这个NAS设备进行访问，操作，集中数据管理，提高利用率，解放服务器！

分布式存储与软件定义存储的区别？

分布式存储是一种存储的方式，其“分布式”的理念是软件定义存储的基础，从概念上来说，软件定义存储的范围更大，除了存储之外，还包括管理、计算、网络接口等相关概念。或者说，分布式存储就是一种链接方式，而软件定义存储就是类似元核云存储、华为等企业所研发的软件产品。

统一存储和融合存储以及分布式存储的区别

统一存储具体概念：
统一存储，实质上是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储。
基本简介：
统一存储（有时也称网络统一存储或者NUS）是一个能在单一设备上运行和管理文件和应用程序的存储系统。为此，统一存储系统在一个单一存储平台上整合基于文件和基于块的访问，支持基于光纤通道的SAN、基于IP的SAN（iSCSI）和NAS（网络附加存储）。
工作方式：
既然是一个集中化的磁盘阵列，那么就支持主机系统通含判铅过IP网络进行文件级别的数据访问，或通过光纤协议在SAN网络进行块级别的数据访问。同样，iSCSI亦是一种非常通用的IP协议，只是其提供块级别的数据访问。这种磁盘阵列配置多端口的存储控制器和一个管理接口，允许存储管理员按需创建存储池或空间，并将其提供给不同访问类型的主机系统。最通常的协议一般都包括了NAS和FC，或iSCSI和FC。当然，也可以同时支持上述三种协议的，不过一般的存储管理员都会选FC或iSCSI中的一种，它们都提供块级别的访问方式，和文件级别的访问冲拍方式（NAS方式）组成统一存储。

什么是分布式数据存储

定义：
分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。
特点：
1.高可扩展性：分布式数据库必须具有高可扩展性，能够动态地增添存储节点以实现存储容量的线性扩展。
2 高并发性：分布式数据库必须及时响应大规模用户的读/写请求，能对海量数据进行随机读/写。
3. 高可用性：分布式数据库必须提供容错机制，能够实现对数据的冗余备份，保证数据和服务的高度可靠性。

㈢ 有哪些轻型的非关系型数据库

常见的非关系型数据库有：1、mongodb；2、cassandra；3、redis；4、hbase；5、neo4j。其中mongodb是非常着名的Nosql数据库，它是一个面向文档的开源数据库。
常见的几种非关系型数据库：
1、MongoDB
MongoDB是最着名的NoSQL数据库。它是一个面向文档的开源数据库。MongoDB是一个可伸缩和可访问的数据库。它在c++中。MongoDB同样可以用作文件系统。在MongoDB中，JavaScript可以作为查询语言使用。通过使用sharding MongoDB水平伸缩。它在流行的JavaScript框架中非常有用。
人们真的很享受分片、高级文本搜索、gridFS和map-rece功能。惊人的性能和新特性使这个NoSQL数据库在我们的列表中名列第一。
特点：提供高性能；自动分片；运行在多个服务器上；支持主从复制；数据以JSON样式文档的形式存储；索引文档中的任何字段；由于数据被放置在碎片中，所以它具有自动负载平衡配置；支持正则表达式搜索；在失败的情况下易于管理。
优点：易于安装MongoDB；MongoDB Inc.为客户提供专业支持；支持临时查询；高速数据库；无模式数据库；横向扩展数据库；性能非常高。
缺点：不支持连接；数据量大；嵌套文档是有限的；增加不必要的内存使用。
2、Cassandra
Cassandra是Facebook为收件箱搜索开发的。Cassandra是一个用于处理大量结构化数据的分布式数据存储系统。通常，这些数据分布在许多普通服务器上。您还可以添加数据存储容量，使您的服务保持在线，您可以轻松地完成这项任务。由于集群中的所有节点都是相同的，因此不需要处理复杂的配置。
Cassandra是用Java编写的。Cassandra查询语言(CQL)是查询Cassandra数据库的一种类似sql的语言。因此，Cassandra在最佳开源数据库中排名第二。Facebook、Twitter、思科(Cisco)、Rackspace、eBay、Twitter、Netflix等一些最大的公司都在使用Cassandra。
特点：线性可伸缩；；保持快速响应时间；支持原子性、一致性、隔离性和耐久性(ACID)等属性；使用Apache Hadoop支持MapRece；分配数据的最大灵活性；高度可伸缩；点对点架构。
优点：高度可伸缩；无单点故障；Multi-DC复制；与其他基于JVM的应用程序紧密集成；更适合多数据中心部署、冗余、故障转移和灾难恢复。
缺点：对聚合的有限支持；不可预知的性能；不支持特别查询。
3、Redis
Redis是一个键值存储。此外，它是最着名的键值存储。Redis支持一些c++、PHP、Ruby、Python、Perl、Scala等等。Redis是用C语言编写的。此外，它是根据BSD授权的。
特点：自动故障转移；将其数据库完全保存在内存中；事务；Lua脚本；将数据复制到任意数量的从属服务器；钥匙的寿命有限；LRU驱逐钥匙；支持发布/订阅。
优点：支持多种数据类型；很容易安装；非常快（每秒执行约11万组，每秒执行约81000次）；操作都是原子的；多用途工具（在许多用例中使用）。
缺点：不支持连接；存储过程所需的Lua知识；数据集必须很好地适应内存。
4、HBase
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
5、neo4j
Neo4j被称为原生图数据库，因为它有效地实现了属性图模型，一直到存储层。这意味着数据完全按照白板的方式存储，数据库使用指针导航和遍历图。Neo4j有数据库的社区版和企业版。企业版包括Community Edition必须提供的所有功能，以及额外的企业需求，如备份、集群和故障转移功能。
特点：它支持唯一的约束；Neo4j支持完整的ACID(原子性、一致性、隔离性和持久性)规则；Java API: Cypher API和本机Java API；使用Apache Lucence索引；简单查询语言Neo4j CQL；包含用于执行CQL命令的UI: Neo4j Data Browser。
优点：容易检索其相邻节点或关系细节，无需连接或索引；易于学习Neo4j CQL查询语言命令；不需要复杂的连接来检索数据；非常容易地表示半结构化数据；大型企业实时应用程序的高可用性；简化的调优。
缺点：不支持分片

㈣ linux下常用的分布式文件系统有哪些

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
GFS（Google File System）
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。

HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapRece算法的一种开源应用，是Google开创其帝国的重要基石。

Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
说 ceph 性能最高，C++编写的代码，支持Fuse，并且没有单点故障依赖， 于是下载安装， 由于 ceph 使用 btrfs 文件系统， 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
可是ceph太不成熟了，它基于的btrfs本身就不成熟，它的官方网站上也明确指出不要把ceph用在生产环境中。

Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。
目前Lustre已经运用在一些领域，例如HP SFS产品等。

㈤ 各位使用的分布式文件存储，有哪些产品使用体验更好一些

我觉得XSKY星辰天合的XGFS文件存储软件不错，这个软件只需要三个全闪存元数据高可用节点，就可以高效保存和处理 100 亿文件规模的数据。可以灵活扩展，满足公司不断增长的业务对性能和容量的需求。

㈥ mongo集群可以用来进行海量数据分析吗

今已进入大数据时代，特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展，传统的腔陆迅关系型数据库已无法满足这方面的需求。随着NoSQL数据库的不断发展和成熟，可以较好地解决海量存储和海量计算方面的应用需求。本文重点描述作为NoSQL之一MongoDB数据库在海量数据存储方面的应用。

由于MongoDB中的Bson对象大小是有限制的，在1.7版本以前单个Bson对象最大容量为4M，1.7版本以后单个Bson对象最大容量为16M[5]。对于一般的文件存储，单个对象的4到16M的存储容量能够满足需求，但无法满足对于一些大文件的存储，如高清图片、设计图纸、视频等，因此在海量数据存储方面，MongoDB提供了内置的Grid

基于GridFS的海量数据存储测试
本文主要采用MongoDB最新版2.0及官方提供的C#语言驱动进行测试。