fastdfs对象存储

❶ fastdfs可否确定硬盘中有没有存储空间

如果是我，我会再买一个硬盘，2t的也就500多关键是现在很多网盘都有和谐和误伤现象，你放心？尤其是网络云115的话本身就是付费的如果你自信你盘里不会有和谐的资源，就慢慢传吧

❷ fastdfs 和hdfs的区别

主要是定位和应用场合不一样。
hadoop的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式；
FastDFS主要用于大中网站，为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好，FastDFS不会对文件进行分快（切分）存储。

❸ 请问fastdfs怎么用比较合适呢

时间过去这么久了， 可能楼主的问题早就解决了 。 但是还是回答一些我知道的信息：先访问Tracker server 获取到空闲的storage server ， 然后直接访问storage server 。 同一个group 中的一台storage server 宕机不会影响到系统的运行 ， 因为同一个group 中的storage server 存储的内容都是一样的 ， 如果有一台storage server 宕机了，Tracker server 不会返回这台宕机的storage server 地址。

❹ 通过client api加载fastdfs全局配置文件使用哪个对象

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key valuepair）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。
跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。
FastDFS file upload
上传文件交互过程：
1. client询问tracker上传到的storage，不需要附加参数；
2. tracker返回一台可用的storage；
3. client直接和storage通讯完成文件上传。
FastDFS file download
下载文件交互过程：
1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
2. tracker返回一台可用的storage；
3. client直接和storage通讯完成文件下载。
需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。

❺ 请教关于FastDFS和FastDHT使用问题

回复1# temp_hacker >>请问，如果现在开始使用FastDHT，它会自动去记录以前在FastDFS上存储的文件信息吗？不会的。>>如果不能，有没有办法让FastDHT去记录以前的存储在FastDFS上的文件呢？谢谢！如果你要自定义文件ID，可以使用定制一套client API：my-fastdfs-client。文件ID映射就是保存到FastDHT中的。如果以前已经上传了一些文件，需要你自己做个数据迁移或者重建文件ID映射。 查看原帖>>

采纳哦

❻ fastdfs能存储什么东西

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

❼ 我要用hadoop来实现海量图片的存储，到底应该用raid来保证数据可靠性，还是用HDFS的冗余机制呢

图片这样比较小的文件，不建议使用hadoop来做，用fastdfs之类的布置简单，效果也比较好。raid5对于单点故障可以做到恢复，一旦多台机器同时出现问题，是没办法恢复的，单个图片文件较小，一般也不能分成多块，用raid5有点无力的感觉。当然如果你图片经过打包司马的，文件比较大（500MB以上），还是可以用的。

❽ 有了cdn为什么还要用fastdfs

因为cdn的速度与fastdfs相差并不是很大，但是价格却十分昂贵，所以相同情况下，企业都会选择使用fastdfs分布式文件系统。

❾ 如何安装FastDFS

Google了一下，流行的开源分布式文件系统有很多，介绍如下：

mogileFS：Key-Value型元文件系统，不支持FUSE，应用程序访问它时需要API，主要用在web领域处理海量小图片，效率相比mooseFS高很多。
fastDFS：国人在mogileFS的基础上进行改进的key-value型文件系统，同样不支持FUSE，提供比mogileFS更好的性能。
mooseFS：支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多
glusterFS：支持FUSE，比mooseFS庞大
ceph：支持FUSE，客户端已经进入了linux-2.6.34内核，也就是说可以像ext3/rasierFS一样，选择ceph为文件系统。彻底的分布式，没有单点依赖，用C编写，性能较好。基于不成熟的btrfs，其本身也非常不成熟。
lustre：Oracle公司的企业级产品，非常庞大，对内核和ext3深度依赖
NFS：老牌网络文件系统，具体不了解，反正NFS最近几年没发展，肯定不能用。
鉴于fastDFS是国人开发，也有国内的一些大公司在使用，so…

普通的文件架构其实一两年内也是没有问题的，但有句话叫未雨绸缪，于是决定折腾折腾。
源码下载：
寻求帮助：

一、安装libevent
fastDFS需要安装libevent比较新的版本，将本机的比较低的版本卸载了。

rpm -qa libevent
libevent-1.4.13-1.el6.x86_64
rpm -e --nodeps libevent
安装一个最新稳定版

wget
tar zxvf libevent-2.0.18-stable.tar.gz
cd libevent-2.0.18-stable
./configure
make && make install
为libevent创建软链接到/lib库下，64位系统对应/lib64

ln -s /usr/local/lib/libevent* /lib/
ln -s /usr/local/lib/libevent* /lib64/
二、安装FastDFS

wget
tar zxvf FastDFS_v3.06.tar.gz
cd FastDFS
./make.sh
./make.sh install
三、配置FastDFS
环境：
tracker server
192.168.1.5
storage server
192.168.1.51
192.168.1.52

1、配置并启动 tracker server
①配置 tracker.conf

mkdir /data/fastdfs
vim /etc/fdfs/tracker.conf
base_path=/data/fastdfs
②启动 tracker

/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
③开机启动

vim /etc/rc.local
/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
2、配置并启动 storage server
①配置 tracker.conf

mkdir /data/fastdfs
mkdir /data/images
vim /etc/fdfs/storage.conf
base_path=/data/fastdfs
store_path0=/data/images
tracker_server=192.168.1.5:22122
②启动 tracker

/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf
③开机启动

vim /etc/rc.local
/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf
3、为storage节点安装fastdfs-nginx-mole模块
①安装模块
安装Nginx详见：
需重新编译Nginx

wget
tar zxvf fastdfs-nginx-mole_v1.10.tar.gz
wget
tar zxvf nginx-1.2.0.tar.gz
cd nginx-1.2.0
./configure --prefix=/usr/local/nginx --add-mole=../fastdfs-nginx-mole/src
make && make install
cd ..
②配置
编辑nginx.conf

vim /usr/local/nginx/conf/nginx.conf
server {
listen 80;
server_name localhost;

location /M00 {
alias /data/images/data;
ngx_fastdfs_mole;
}
......
}
给 storage 的存储目录做一个软连接

ln -s /data/images/data/ /data/images/data/M00
拷贝mod_fastdfs.conf 到 /etc/fdfs/

cp fastdfs-nginx-mole/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
base_path=/data/fastdfs
tracker_server=192.168.1.5:22122
store_path0=/data/images
启动nginx

/usr/local/nginx/sbin/nginx
四、使用FastDFS
1、上传文件
FastDFS安装包中，自带了客户端程序，通过程序可以进行文件上传。在使用这个客户端程序之前，首先需要配置client.conf，然后再进行文件上传及下载。
在tracker上修改客户端配置文件client.conf

vim /etc/fdfs/client.conf
base_path=/data/fastdfs
tracker_server=192.168.1.5:22122
vim a.html
This Is FastDFS Test.
上传文件

/usr/local/bin/fdfs_test /etc/fdfs/client.conf upload a.html
This is FastDFS client test program v3.06

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page /
for more detail.

[2012-04-29 12:42:53] INFO - base_path=/data/tracker, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0

tracker_query_storage_store_list_without_group:
server 1. group_name=group1, ip_addr=192.168.1.51, port=23000
server 2. group_name=group1, ip_addr=192.168.1.52, port=23000

group_name=group1, ip_addr=192.168.1.51, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90.html
source ip address: 192.168.1.51
file timestamp=2012-04-29 12:42:53
file size=14
file crc32=674197143
file url:
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKgBM0-cxs32qFyYAAAADigvbpc90_big.html
source ip address: 192.168.1.51
file timestamp=2012-04-29 12:42:53
file size=14
file crc32=674197143
file url:
上传成功
试试用

访问看看吧。

看了几天了，还是有些地方不是很明白，暂时搁置，不能再浪费时间了。