块存储客户端
① 求 分布式对象存储 原理 架构及Go语言实现 pdf
分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件。数据服务器负责存放文件数据，保证数据的可用性和完整性。该架构的好处是性能和容量能够同时拓展，系统规模具有很强的伸缩性。
对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务作为管理节点，安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。
之所以出现了对象存储这种东西，是为了克服块存储与文件存储各自的缺点，发扬它俩各自的优点。简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享。能否弄一个读写快，利 于共享的出来呢。于是就有了对象存储。
② 对象存储、文件存储和块存储的区别是什么
对象存储、文件存储和块存储的区别如下：
1、速度不同
块存储：低延迟（10ms），热点突出；
文件存储：不同技术各有不同；
对象存储：100ms-1s，冷数据；
2、可分步性不同
块存储：异地不现实；
文件存储：可分布式，但有瓶颈；
对象存储：分步并发能力高；
3、文件大小不同
块存储：大小都可以，热点突出；
文件存储：适合大文件；
对象存储：适合各种大小；
4、接口不同
块存储：Driver，kernel mole ；
文件存储：POSIX；
对象存储：Restful API ；
5、典型技术不同
块存储：SAN；
文件存储： HDFS，GFS；
对象存储：Swift，Amazon S3；
6、适合场景不同
块存储：银行；
文件存储：数据中心；
对象存储：网络媒体文件存储。
(2)块存储客户端扩展阅读：
对象存储、文件存储和块存储的联系：
通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。
1. 块存储：DAS SAN
a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，则更复杂。
应用：单一网络环境下且数据交换量不大，性能要求不高的环境，技术实现较早。
b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式，此系统会位于主机群的后端，它使用高速I/O联接方式，如：SCSI,ESCON及Fibre-Channels.特点是，代价高、性能好。但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。
应用：对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。
2. 文件存储
通常NAS产品都是文件级存储。
NAS(Network Attached Storage)：是一套网络存储设备，通常直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。
3. 对象存储：
总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)
③ 块存储、文件存储、对象存储这三者的本质差别是什么
一、概念及区别
针对不同的应用场景，选择的分布式存储方案也会不同，因此有了对象存储、块存储、文件系统存储。这三者的主要区别在于它们的存储接口：
1. 对象存储:
也就是通常意义的键值存储，其接口就是简单的GET,PUT,DEL和其他扩展，
2. 块存储:
这种接口通常以QEMU Driver或者Kernel Mole的方式存在，这种接口需要实现Linux的BlockDevice的接口或者QEMU提供的BlockDriver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)
3. 文件存储:
通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
二、IO特点
按照这三种接口和其应用场景，很容易了解这三种类型的IO特点，括号里代表了它在非分布式情况下的对应:1. 对象存储(键值数据库):
接口简单，一个对象我们可以看成一个文件，只能全写全读，通常以大文件为主，要求足够的IO带宽。
2. 块存储(硬盘):
它的IO特点与传统的硬盘是一致的，一个硬盘应该是能面向通用需求的，即能应付大文件读写，也能处理好小文件读写。但是硬盘的特点是容量大，热点明显。因此块存储主要可以应付热点问题。另外，块存储要求的延迟是最低的。
3. 文件存储(文件系统):
支持文件存储的接口的系统设计跟传统本地文件系统如Ext4这种的特点和难点是一致的，它比块存储具有更丰富的接口，需要考虑目录、文件属性等支持，实现一个支持并行化的文件存储应该是最困难的。但像HDFS、GFS这种自己定义标准的系统，可以通过根据实现来定义接口，会容易一点。
因此，这三种接口分别以非分布式情况下的键值数据库、硬盘和文件系统的IO特点来对应即可。至于冷热、快慢、大小文件而言更接近于业务。但是因为存储系统是通用化实现，通常来说，需要尽量满足各种需求，而接口定义已经一定意义上就砍去了一些需求，如对象存储会以冷存储更多，大文件为主。
④ 常用的各类存储
块存储： 指在一个RAID（独立磁盘冗余阵列）集中，一个控制器加入一组磁盘驱动器，然后提供固定大小的RAID块作为LUN（逻辑单元号）的卷，简单理解硬盘就是块存储。
常见的块存储
提供了文件共享的文件存储服务，普通的文件存储可以同时支持上千个云主机客户端同时共享访问，提供高吞吐量。
对象存储 ：
无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。
使用场景 ：
适合非结构化文件，如图片和音视频等数据的海量存储
各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式
阿里云的对象存储的分类 ：
标准类型
低频访问类型
归档存储类型
（云厂商都提供对象存储）
下表来自阿里云：
注： ECS 指的的云主机。
如果是自己搭建的NAS,那么他的吞吐取决约你的磁盘的类型和Raid类型， 一般是百Mbps,而不是Gbps.
⑤ 对象存储、块存储、文件存储分别是什么有什么区别
你可以把块理解成整个硬盘，文件理解成硬盘中的文件，对象理解成很多台服务器中的很多块硬盘。
⑥ ceph 块存储rbd的使用，使用普通户创建和挂载rbd
ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool create rbd1-data 32 32
pool 'rbd1-data' created
ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool ls
device_health_metrics
mypool
.rgw.root
default.rgw.log
default.rgw.control
default.rgw.meta
myrbd1
cephfs-metadata
cephfs-data
rbd1-data
在存储池启用rbd：
ceph@ceph-deploy:~/ceph-cluster$ ceph osd pool application enable rbd1-data rbd
enabled application 'rbd' on pool 'rbd1-data'
初始化存储池：
ceph@ceph-deploy:~/ceph-cluster$ rbd pool init -p rbd1-data
创建存储池映像文件：
映像文件的管理都是rbd命令来执行，rbd可对映像执行创建，查看，删除，以及创建快照，克隆映像，删除快照，查看快照，快照回滚等管理操作
ceph@ceph-deploy:~/ceph-cluster$ rbd create data-img1 --size 3G --pool rbd1-data --image-format 2 --image-feature layering
ceph@ceph-deploy:~/ceph-cluster$ rbd create data-img2 --size 5G --pool rbd1-data --image-format 2 --image-feature layering
查看存储池映像文件
ceph@ceph-deploy:~/ceph-cluster$ rbd list --pool rbd1-data
data-img1
data-img2
列出映像更多信息
ceph@ceph-deploy:~/ceph-cluster$ rbd list --pool rbd1-data -l
NAME SIZE PARENT FMT PROT LOCK
data-img1 3 GiB 2
data-img2 5 GiB 2
ceph@ceph-deploy:~/ceph-cluster$ rbd --image data-img1 --pool rbd1-data info
rbd image 'data-img1':
size 3 GiB in 768 objects
order 22 (4 MiB objects)
snapshot_count: 0
id: 3ab91c6a62f5
block_name_prefix: rbd_data.3ab91c6a62f5
format: 2
features: layering
op_features:
flags:
create_timestamp: Thu Sep 2 06:48:11 2021
access_timestamp: Thu Sep 2 06:48:11 2021
modify_timestamp: Thu Sep 2 06:48:11 2021
ceph@ceph-deploy:~/ceph-cluster$ rbd --image data-img1 --pool rbd1-data info --format json --pretty-format
{
"name": "data-img1",
"id": "3ab91c6a62f5",
"size": 3221225472,
"objects": 768,
"order": 22,
"object_size": 4194304,
"snapshot_count": 0,
"block_name_prefix": "rbd_data.3ab91c6a62f5",
"format": 2,
"features": [
"layering"
],
"op_features": [],
"flags": [],
"create_timestamp": "Thu Sep 2 06:48:11 2021",
"access_timestamp": "Thu Sep 2 06:48:11 2021",
"modify_timestamp": "Thu Sep 2 06:48:11 2021"
}
镜像(映像)特性的启用和禁用
特性包括：
layering支持分层快照特性 默认开启
striping条带化
exclusive-lock：支持独占锁 默认开启
object-map 支持对象映射，加速数据导入导出及已用空间特性统计等 默认开启
fast-diff 快速计算对象和快找数据差异对比 默认开启
deep-flatten 支持快照扁平化操作 默认开启
journaling 是否记录日志
开启：
ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable object-map --pool rbd1-data --image data-img1
ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable fast-diff --pool rbd1-data --image data-img1
ceph@ceph-deploy:~/ceph-cluster$ rbd feature enable exclusive-lock --pool rbd1-data --image data-img1
禁止：
ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable object-map --pool rbd1-data --image data-img1
ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable fast-diff --pool rbd1-data --image data-img1
ceph@ceph-deploy:~/ceph-cluster$ rbd feature disable exclusive-lock --pool rbd1-data --image data-img1
客户端使用块设备：
首先要安装ceph-comman，配置授权
[root@ceph-client1 ceph_data]# yum install -y http://mirrors.aliyun.com/ceph/rpm-octopus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
[root@ceph-client1 ceph_data]# yum install ceph-common -y
授权,
ceph@ceph-deploy:/etc/ceph$ sudo -i
root@ceph-deploy:~# cd /etc/ceph/
root@ceph-deploy:/etc/ceph# scp ceph.conf ceph.client.admin.keyring [email protected]:/etc/ceph
ubuntu系统：
root@ceph-client2:/var/lib/ceph# apt install -y ceph-common
root@ceph-deploy:/etc/ceph# sudo scp ceph.conf ceph.client.admin.keyring [email protected]:/tmp
[email protected]'s password:
ceph.conf 100% 270 117.7KB/s 00:00
ceph.client.admin.keyring
root@ceph-client2:/var/lib/ceph# cd /etc/ceph/
root@ceph-client2:/etc/ceph# cp /tmp/ceph.c* /etc/ceph/
root@ceph-client2:/etc/ceph# ll /etc/ceph/
total 20
drwxr-xr-x 2 root root 4096 Aug 26 07:58 ./
drwxr-xr-x 84 root root 4096 Aug 26 07:49 ../
-rw------- 1 root root 151 Sep 2 07:24 ceph.client.admin.keyring
-rw-r--r-- 1 root root 270 Sep 2 07:24 ceph.conf
-rw-r--r-- 1 root root 92 Jul 8 07:17 rbdmap
-rw------- 1 root root 0 Aug 26 07:58 tmpmhFvZ7
客户端映射镜像
root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img1
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable rbd1-data/data-img1 object-map fast-diff".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
root@ceph-client2:/etc/ceph# rbd feature disable rbd1-data/data-img1 object-map fast-diff
root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img1
/dev/rbd0
root@ceph-client2:/etc/ceph# rbd -p rbd1-data map data-img2
格式化块设备admin映射映像文件
查看块设备
root@ceph-client2:/etc/ceph# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 20G 0 disk
└─sda1 8:1 0 20G 0 part /
sr0 11:0 1 1024M 0 rom
rbd0 252:0 0 3G 0 disk
rbd1 252:16 0 5G 0 disk
root@ceph-client2:/etc/ceph# mkfs.ext4 /dev/rbd1
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 1310720 4k blocks and 327680 inodes
Filesystem UUID: 168b99e6-a3d7-4dc6-9c69-76ce8b42f636
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736
Allocating group tables: done
Writing inode tables: done
Creating journal (16384 blocks): done
Writing superblocks and filesystem accounting information: done
挂在挂设备
root@ceph-client2:/etc/ceph# mkdir /data/data1 -p
root@ceph-client2:/etc/ceph# mount /dev/rbd1 /data/data1/
验证写入数据：
root@ceph-client2:/etc/ceph# cd /data/data1/
root@ceph-client2:/data/data1# cp /var/log/ . -r
root@ceph-client2:/data/data1# ceph df
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 220 GiB 213 GiB 7.4 GiB 7.4 GiB 3.37
TOTAL 220 GiB 213 GiB 7.4 GiB 7.4 GiB 3.37
--- POOLS ---
POOL ID PGS STORED OBJECTS USED %USED MAX AVAIL
device_health_metrics 1 1 0 B 0 0 B 0 66 GiB
mypool 2 32 1.2 MiB 1 3.5 MiB 0 66 GiB
.rgw.root 3 32 1.3 KiB 4 48 KiB 0 66 GiB
default.rgw.log 4 32 3.6 KiB 209 408 KiB 0 66 GiB
default.rgw.control 5 32 0 B 8 0 B 0 66 GiB
default.rgw.meta 6 8 0 B 0 0 B 0 66 GiB
myrbd1 7 64 829 MiB 223 2.4 GiB 1.20 66 GiB
cephfs-metadata 8 32 563 KiB 23 1.7 MiB 0 66 GiB
cephfs-data 9 64 455 MiB 129 1.3 GiB 0.66 66 GiB
rbd1-data 10 32 124 MiB 51 373 MiB 0.18 66 GiB
创建普通用户并授权
root@ceph-deploy:/etc/ceph# ceph auth add client.huahualin mon "allow rw" osd "allow rwx pool=rbd1-data"
added key for client.huahualin
root@ceph-deploy:/etc/ceph# ceph-authtool --create-keyring ceph.client.huahualin.keyring
creating ceph.client.huahualin.keyring
root@ceph-deploy:/etc/ceph# ceph auth get client.huahualin -o ceph.client.huahualin.keyring
exported keyring for client.huahualin
使用普通用户创建rbd
root@ceph-deploy:/etc/ceph# scp ceph.conf ceph.client.huahualin.keyring [email protected]:/etc/ceph/
普通用户映射镜像
[root@ceph-client1 ~]# rbd --user huahualin --pool rbd1-data map data-img2
/dev/rbd0
使用普通用户挂载rbd
[root@ceph-client1 ~]# mkfs.ext4 /dev/rbd0
[root@ceph-client1 ~]# fdisk -l /dev/rbd0
[root@ceph-client1 ~]# mkdir /data
[root@ceph-client1 ~]# mount /dev/rbd0 /data
[root@ceph-client1 ~]# df -Th
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 475M 0 475M 0% /dev
tmpfs tmpfs 487M 0 487M 0% /dev/shm
tmpfs tmpfs 487M 7.7M 479M 2% /run
tmpfs tmpfs 487M 0 487M 0% /sys/fs/cgroup
/dev/mapper/centos-root xfs 37G 1.7G 36G 5% /
/dev/sda1 xfs 1014M 138M 877M 14% /boot
tmpfs tmpfs 98M 0 98M 0% /run/user/0
192.168.241.12:6789:/ ceph 67G 456M 67G 1% /ceph_data
/dev/rbd0 ext4 4.8G 20M 4.6G 1% /data
挂载rbd后会自动加载模块libceph.ko
[root@ceph-client1 ~]# lsmod |grep ceph
ceph 363016 1
libceph 306750 2 rbd,ceph
dns_resolver 13140 1 libceph
libcrc32c 12644 4 xfs,libceph,nf_nat,nf_conntrack
[root@ceph-client1 ~]# modinfo libceph
filename: /lib/moles/3.10.0-1160.el7.x86_64/kernel/net/ceph/libceph.ko.xz
license: GPL
description: Ceph core library
author: Patience Warnick <[email protected]>
author: Yehuda Sadeh <[email protected]>
author: Sage Weil <[email protected]>
retpoline: Y
rhelversion: 7.9
srcversion: D4ABB648AE8130ECF90AA3F
depends: libcrc32c,dns_resolver
intree: Y
vermagic: 3.10.0-1160.el7.x86_64 SMP mod_unload modversions
signer: CentOS Linux kernel signing key
sig_key: E1:FD:B0:E2:A7:E8:61:A1:D1:CA:80:A2:3D:CF:0D:BA:3A:A4:AD:F5
sig_hashalgo: sha256
如果镜像空间不够用了，我们可以做镜像空间的拉伸，一般不建议减小
查看rdb1-data存储池的镜像
[root@ceph-client1 ~]# rbd ls -p rbd1-data -l
NAME SIZE PARENT FMT PROT LOCK
data-img1 3 GiB 2
data-img2 5 GiB 2
比如data-img2空间不够了，需要拉伸，将data-img2扩展到8G
[root@ceph-client1 ~]# rbd resize --pool rbd1-data --image data-img2 --size 8G
Resizing image: 100% complete...done.
可以通过fdisk -l查看镜像空间大小，但是通过df -h就看不到
[root@ceph-client1 ~]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 40G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 39G 0 part
├─centos-root 253:0 0 37G 0 lvm /
└─centos-swap 253:1 0 2G 0 lvm [SWAP]
sr0 11:0 1 1024M 0 rom
rbd0 252:0 0 8G 0 disk /data
[root@ceph-client1 ~]# fdisk -l /dev/rbd0
Disk /dev/rbd0: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
将挂载设置开机启动
[root@ceph-client1 ~]# vi /etc/rc.d/rc.local
rbd --user huahualin --pool rbd1-data map data-img2
mount /dev/rbd0 /data
[root@ceph-client1 ~]# chmod a+x /etc/rc.d/rc.local
[root@ceph-client1 ~]# reboot
⑦ 对象存储、文件存储和块存储有什么区别
对象存储、文件存储和块存储区别为：存储设备不同、特点不同、缺点不同。
一、存储设备不同
1、对象存储：对象存储的对应存储设备为swift，键值存储。
2、文件存储：文件存储的对应存储设备为FTP、NFS服务器。
3、块存储：块存储的对应存储设备为cinder，硬盘。
二、特点不同
1、对象存储：对象存储的特点是具备块存储的高速以及文件存储的共享等特性。
2、文件存储：文件存储的特点是一个大文件夹，大家都可以获取文件。
3、块存储：块存储的特点是分区、格式化后，可以使用，与平常主机内置硬盘的方式完全无异。
三、缺点不同
1、对象存储：对象存储的缺点是不兼容多种模式并行。
2、文件存储：文件存储的缺点是传输速率低。
3、块存储：块存储的缺点是不能共享数据。
⑧ Linux里面ceph是什么
Linux里面ceph
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。