openstack存储架构

① 简述OpenStack的各核心项目及相应用途

OpenStack覆盖了网络、虚拟化、操作系统、服务器等各个方面。它是一个正在开发中的云计算平台项目，根据成熟及重要程度的不同，被分解成核心项目、孵化项目，以及支持项目和相关项目。每个项目都有自己的委员会和项目技术主管，而且每个项目都不是一成不变的，孵化项目可以根据发展的成熟度和重要性，转变为核心项目。截止到Icehouse版本，下面列出了10个核心项目（即OpenStack服务）。
计算（Compute）：Nova。一套控制器，用于为单个用户或使用群组管理虚拟机实例的整个生命周期，根据用户需求来提供虚拟服务。负责虚拟机创建、开机、关机、挂起、暂停、调整、迁移、重启、销毁等操作，配置CPU、内存等信息规格。自Austin版本集成到项目中。
对象存储（Object Storage）：Swift。一套用于在大规模可扩展系统中通过内置冗余及高容错机制实现对象存储的系统，允许进行存储或者检索文件。可为Glance提供镜像存储，为Cinder提供卷备份服务。自Austin版本集成到项目中
镜像服务（Image Service）：Glance。一套虚拟机镜像查找及检索系统，支持多种虚拟机镜像格式（AKI、AMI、ARI、ISO、QCOW2、Raw、VDI、VHD、VMDK），有创建上传镜像、删除镜像、编辑镜像基本信息的功能。自Bexar版本集成到项目中。
身份服务（Identity Service）：Keystone。为OpenStack其他服务提供身份验证、服务规则和服务令牌的功能，管理Domains、Projects、Users、Groups、Roles。自Essex版本集成到项目中。
网络&地址管理（Network）：Neutron。提供云计算的网络虚拟化技术，为OpenStack其他服务提供网络连接服务。为用户提供接口，可以定义Network、Subnet、Router，配置DHCP、DNS、负载均衡、L3服务，网络支持GRE、VLAN。插件架构支持许多主流的网络厂家和技术，如OpenvSwitch。自Folsom版本集成到项目中。
块存储 (Block Storage)：Cinder。为运行实例提供稳定的数据块存储服务，它的插件驱动架构有利于块设备的创建和管理，如创建卷、删除卷，在实例上挂载和卸载卷。自Folsom版本集成到项目中。
UI 界面 (Dashboard)：Horizon。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作，例如：启动实例、分配IP地址、配置访问控制等。自Essex版本集成到项目中。
测量 (Metering)：Ceilometer。像一个漏斗一样，能把OpenStack内部发生的几乎所有的事件都收集起来，然后为计费和监控以及其它服务提供数据支撑。自Havana版本集成到项目中。
部署编排 (Orchestration)：Heat [2] 。提供了一种通过模板定义的协同部署方式，实现云基础设施软件运行环境（计算、存储和网络资源）的自动化部署。自Havana版本集成到项目中。
数据库服务（Database Service）：Trove。为用户在OpenStack的环境提供可扩展和可靠的关系和非关系数据库引擎服务。自Icehouse版本集成到项目中。

② 什么是OpenStack

‍

本文详细介绍了Openstack的网络原理和实现，主要内容包括：Neutron的网络架构及网络模型还有neutron虚拟化的实现和对二三层网桥的理解。

一、Neutron概述

Neutron是一个用Python写的分布式软件项目，用来实现OpenStack中的虚拟网络服务，实现软件定义网络。Neutron北向有自己的REST API，中间有自己的业务逻辑层，有自己的DB和进程之间通讯的消息机制。同时Neutron常见的进程包括Neutron-server和Neutron-agent，分布式部署在不同的操作系统。

OpenStack发展至今，已经经历了20个版本。虽然版本一直在更替，发展的项目也越来越多，但是Neutron作为OpenStack三大核心之一，它的地位是不会动摇的。只不过当初的Neutron也只是Nova项目的一个模块而已，到F版本正式从中剥离，成为一个正式的项目。

从Nova-Network起步，经过Quantum，多年的积累Neutron在网络各个方面都取得了长足的发展。其主要的功能为：

（1）支持多租户隔离

（2）支持多种网络类型同时使用

（3）支持隧道技术（VXLAN、GRE）

（4）支持路由转发、SNAT、DNAT技术

（5）支持Floating IP和安全组

多平面租户私有网络

图中同时有VXLAN和VLAN两种网络，两种网络之间互相隔离。租户A和B各自独占一个网络，并且通过自己的路由器连接到了外部网络。路由器为租户的每个虚拟机提供了Float IP，完成vm和外网之间的互相访问。

二、Neutron架构及网络模型

1、Neutron架构

Neutron-sever可以理解为类似于nova-api那样的一个专门用来接收API调用的组件，负责将不同的api发送到不同Neutron plugin。

Neutron-plugin可以理解为不同网络功能实现的入口，接收server发来的API，向database完成一些注册信息。然后将具体要执行的业务操作和参数通知给对应的agent来执行。

Agent就是plugin在设备上的代理，接受相应的plugin通知的业务操作和参数，并转换为具体的命令行操作。

总得来说，server负责交互接收请求，plugin操作数据库，agent负责具体的网络创建。

2、Neutron架构之Neutron-Server

（1）Neutron-server的本质是一个Python Web Server Gateway Interface（WSGI），是一个Web框架。

（2）Neutron-server接收两种请求：

REST API请求：接收REST API请求，并将REST API分发到对应的Plugin（L3RouterPlugin）。

RPC请求：接收Plugin agent请求，分发到对应的Plugin（NeutronL3agent）。

3、Neutron架构之Neutron-Plugin

Neutron-plugin分为Core-plugin和Service-plugin。

Core-plugin：ML2负责管理二层网络，ML2主要包括Network、Subnet、Port三类核心资源，对三类资源进行操作的REST API是原生支持的。

Service-plugin：实现L3-L7网络，包括Router、Firewall、VPN。

4、Neutron架构之Neutron-Agent

（1）Neutron-agent配置的业务对象是部署在每一个网络节点或者计算节点的网元。

（2）网元区分为PNF和VNF：

PNF：物理网络功能，指传统的路由器、交换机等硬件设备

VNF：虚拟网络功能，通过软件实现的网络功能（二层交换、三层路由等）

（3）Neutron-agent三层架构如下图：

Neutron-agent架构分为三层，北向为Neutron-server提供RPC接口，供Neutron server调用，南向通过CLI协议栈对Neutron VNF进行配置。在中间会进行两种模型的转换，从RPC模型转换为CLI模型。

5、Neutron架构之通信原理

（1）Neutron是OpenStack的核心组件，官网给出Neutron的定义是NaaS。

（2）Naas有两层含义：

对外接口：Neutron为Network等网络资源提供了RESTful API、CLI、GUI等模型。

内部实现：利用linux原生或者开源的虚拟网络功能，加上硬件网络，构建网络。

Neutron接收到API请求后，交由模块WSGI进行初步的处理，然后这个模块通过Python API调用neutron的Plugin。Plugin做了相应的处理后，通过RPC调用Neutron的Agent组件，agent再通过某种协议对虚拟网络功能进行配置。其中承载RPC通信的是AMQP server，在部署中常用的开源软件就是RabbitMQ

6、Neutron架构之控制节点网络模型

控制节点没有实现具体的网络功能，它对各种虚拟设备做管理配合的工作。

（1）Neutron：Neutron-server核心组件。

（2）API/CLI：Neutron进程通过API/CLI接口接收请求。

（3）OVS Agent：Neutron通过RPC协议与agent通信。

控制节点部署着各种服务和Neutron-server，Neutron-server通过api/cli接口接收请求信息，通过RPC和Agent进行交互。Agent再调用ovs/linuxbridge等网络设备创建网络。

7、Neutron架构之计算节点网络模型

（1）qbr：Linux Bridge网桥

（2）br-int：OVS网桥

（3）br-tun：OVS隧道网桥

（4）VXLAN封装：网络类型的转变

8、Neutron架构之网络节点网络模型

网络节点部署了Router、DHCP Server服务，网桥连接物理网卡。

（1）Router：路由转发

（2）DHCP： 提供DNS、DHCP等服务。

（3）br-ex： 连接物理网口，连接外网

三、Neutron虚拟化实现功能及设备介绍

1、Neutron虚拟化实现功能

Neutron提供的网络虚拟化能力包括：

（1）二层到七层网络的虚拟化：L2（virtual Switch）、L3（virtual Router 和 LB）、L47（virtual Firewall ）等

（2）网络连通性：二层网络和三层网络

（3）租户隔离性

（4）网络安全性

（5）网络拓展性

（6）REST API

（7）更高级的服务，包括 LBaaS，FWaaS，VPNaaS 等

2、Neutron虚拟化功能之二层网络

（1）按照用户权限创建网络：

Provider network：管理员创建，映射租户网络到物理网络

Tenant network：租户创建的普通网络

External network：物理网络

（2）按照网络类型：

Flat network：所有租户网络在一个网络中

Local network：只允许在服务器内通信，不通外网

VLAN network：基于物理VLAN实现的虚拟网络

VXLAN network：基于VXLAN实现的虚拟网络

3、Neutron虚拟化实现功能之租户隔离

Neutron是一个支持多租户的系统，所以租户隔离是Neutron必须要支持的特性。

（1）租户隔离三种含义：管理面隔离、数据面的隔离、故障面的隔离。

（2）不同层次租户网络的隔离性

租户与租户之间三层隔离

同一租户不同网络之间二层隔离

同一租户同一网络不同子网二层隔离

（3）计算节点的 br-int 上，Neutron 为每个虚机连接 OVS 的 access port 分配了内部的 VLAN Tag。这种 Tag 限制了网络流量只能在 Tenant Network 之内。

（4）计算节点的 br-tun 上，Neutron 将内部的 VLAN Tag 转化为 VXLAN Tunnel ID，然后转发到网络节点。

（5）网络节点的 br-tun 上，Neutron 将 VXLAN Tunnel ID 转发了一一对应的 内部 VLAN Tag，使得 网络流被不同的服务处理。

（6）网络节点的 br-int 上连接的 DHCP 和 L3 agent 使用 Linux Network Namespace 进行隔离。

4、Neutron虚拟化实现功能之租户网络安全

除了租户隔离以外 Neutron还提供数据网络与外部网络的隔离性。

（1）默认情况下，所有虚拟机通过外网的流量全部走网络节点的L3 agent。在这里，内部的固定IP被转化为外部的浮动IP地址

（1）Neutron还利用Linux iptables特性，实现其Security Group特性，从而保证访问虚机的安全性

（3）Neutron利用网络控制节点上的Network Namespace中的iptables，实现了进出租户网络的网络防火墙，从而保证了进出租户网络的安全性。

5、Neutron虚拟化设备

（1）端口：Port代表虚拟网络交换机上的一个虚拟交换机端口

虚拟机的网卡连接到Port上就会拥有MAC地址和IP地址

（2）虚拟交换机：Neutron默认采用开源的Openvswitch，

同时还支持Linux Bridge

（3）虚拟路由器VR：

• 路由功能
• 一个VR只属于一个租户，租户可以有多个VR
• 一个VR可以有若干个子网
• VR之间采用Namespace隔离

四、Neutron网桥及二三层网络理解

1、Neutron-Local-Bridge

仅用于测试；网桥没有与物理网卡相连VM不通外网。

图中创建了两个local network，分别有其对应的qbr网桥。Vm123的虚拟网卡通过tap连接到qbr网桥上。其中2和3属于同一个network可以通信，1属于另一个网络不能和23进行通信。并且qbr网桥不连物理网卡，所以说local网络虚拟机只能同网络通信，不能连通外网。

2、Neutron-Flat-Bridge

• Linux Bridge直接与物联网卡相连
• 每个Flat独占一个物理网卡
• 配置文件添加响应mapping

Flat网络是在local网络的基础上实现不同宿主机之间的二层互联，但是每个flat network都会占用一个宿主机的物理接口。其中qbr1对应的flatnetwork 连接 eth1 qbr2，两个网络的虚机在物理二层可以互联。其它跟local network类似。

3、Neutron-VLAN-Bridge

在基于linux bridge的vlan网络中，eht1物理网卡上创建了两个vlan接口，1.1连接到qbr1网桥，1.2连接到了qbr2网桥。在这种情况下vm通过eth1.1或者eth1.2发送到eth1的包会被打上各自的vlan id。此时vm2和vm3属于同一个network所以是互通的，vm与vm2和vm3不通。

4、Neutron-VXLAN-Bridge

这个是以Linux bridge作agent的Vxlan网络：

Vxlan网络比Vxlan网络多了个VXLAN隧道，在Openstack中创建好内部网络和实例后，agent就会在计算节点和网络节点创建一对vxlan vtep.组成隧道的两个端点。

Vxlan连接在eth0网口。在网络节点多了两个组件dhcp 和router，他们分别通过一对veth与qbr网桥连接在一起，多个dhcp和路由之间使用namesapce隔离，当vm产生ping包时，发往linux 网桥qbr1，通过网桥在vxlan12上封装数据包，数据通过eth0网卡出计算节点到网络节点的eth0，在vxlan12解包。到达路由器之后经过nat地址转换，从eth1出去访问外网，由租户网络到运营商网络再到外部网络。

5、Neutron-VLAN-OVS

与Linux bridge不同，openvswitch 不是通过eth1.1 eth1.2这样的vlan接口来隔离不同的vlan，而是通过openvswitch的流表规则来指定如何对进出br-int的数据进行转发，实现不同vlan的隔离。

图中计算节点的所有虚拟机都连接在int网桥上，虚拟机分为两个网络。Int网桥会对到来的数据包根据network的不同打上vlan id号，然后转发到eth网桥,eth网桥直连物理网络。这时候流量就从计算节点到了网络节点。

网络节点的ehx int网桥的功能相似，多了一个ex网桥，这个网桥是管理提前创建好的，和物理网卡相连，ex网桥和int网桥之间通过一对patch-port相连，虚拟机的流量到达int网桥后经过路由到ex网桥。

6、Neutron-VXLAN-OVS

Vxlan的模型和vlan的模型十分相似，从表面上来看，他俩相比只有一个不同,vlan对应的是ethx网桥，而vxlan对应的是tun网桥。

在这里ethx和tun都是ovs网桥，所以说两者的差别不是实现组件的差别而是组件所执行功能的差别，ethx执行的是普通二层交换机的功能，tun执行的是vxlan中的vtep的功能，图中俩tun对应的接口ip就是vxlan的隧道终结点ip。所以说虚机的数据包在到达tun网桥之前是打的是vlan tag，而到达tun之后会发生网络类型的转换，从vlan封装为vxlan然后到达网络节点。而之前的vlan类型的网络，虚机数据包的类型一直都是vlan。

7、物理的二层与虚拟的二层（VLAN模式)

（1）物理的二层指的是：物理网络是二层网络，基于以太网协议的广播方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络也是二层网络（openstack的vm机所用的网络必须是大二层），也是基于以太网协议的广播方式进行通信，但毫无疑问的是该虚拟网络是依赖于物理的二层网络。

（3）物理二层+虚拟二层的典型代表：VLAN网络模式。

8、物理的三层与虚拟的二层（GRE模式与VXLAN模式）

（1）物理三层指的是：物理网络是三层网络，基于IP路由的方式进行通信。

（2）虚拟的二层指的是：Neutron实现的虚拟网络仍然是二层网络（openstack的vm机所用的网络必须是大二层），仍然是基于以太网的广播方式进行通信，但毫无疑问的是该虚拟机网络是依赖于物理的三层网络，这点有点类似于VPN的概念，根本原理就是将私网的包封装起来，最终打上隧道的ip地址传输。

（3）物理三层+虚拟二层的典型代表：GRE模式与VXLAN模式。

③ 文件系统和OpenStack对象存储有何不同

虽然HDFS与Openstack对象存储（Swift）之间有着一些相似之处，但是这两种系统的总体设计却大不一样。
1. HDFS使用了中央系统来维护文件元数据（Namenode，名称节点），而在Swift中，元数据呈分布式，跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点，因而扩展到规模非常大的环境显得更困难。
2. Swift在设计时考虑到了多租户架构，而HDFS没有多租户架构这个概念。
3. HDFS针对更庞大的文件作了优化（这是处理数据时通常会出现的情况），Swift被设计成了可以存储任何大小的文件。
4. 在HDFS中，文件写入一次，而且每次只能有一个文件写入；而在Swift中，文件可以写入多次；在并发操作环境下，以最近一次操作为准。
5. HDFS用Java来编写，而Swift用Python来编写。
另外，HDFS被设计成了可以存储数量中等的大文件，以支持数据处理，而Swift被设计成了一种比较通用的存储解决方案，能够可靠地存储数量非常多的大小不一的文件。
排名第二的答案来自Joshua McKenty，他是美国宇航局Nebula云计算项目的首席架构师，是OpenStack Nova软件的早期开发者之一，目前是OpenStack项目监管委员会的成员，还是Piston.cc这家基于OpenStack的公司的创始人。
Chuck刚才详细介绍了两者的技术差异，但是没有讨论两者可想而知的融合，OpenStack设计峰会上抛出了融合这个话题。简而言之，HDFS被设计成可以使用Hadoop，跨存储环境里面的对象实现MapRece处理。对于许多OpenStack公司（包括我自己的公司）来说，支持Swift里面的处理是路线图上面的一个目标，不过不是每个人都认为MapRece是解决之道。
我们已讨论过为HDFS编写包装器，这将支持OpenStack内部存储应用编程接口（API），并且让用户可以针对该数据来执行Hadoop查询。还有一个办法就是在Swift里面使用HDFS。但是这些方法似乎没有一个是理想的。
OpenStack社区方面也在开展研究开发方面的一些工作，认真研究其他替代性的MapRece框架（Riak和CouchDB等）。
最后，现在有别的一些存储项目，目前“隶属于”OpenStack社区（SheepDog和HC2）。充分利用数据局部性，并且让对象存储变得“更智能”，这是预计会取得进步的一个领域。

④ 天翼云openstack采用几层架构

天翼云openstack采用三洞拦层架构。

1、分层（以架构为单位），三层，全局组件，辅助组件，核心组件。

2、以单个核心组件/服务进行分层，API，子功能模块，其他。

按照不同的功能和通用性划分不同项目，拆分子系统。

按照不同的功能划分不同服务，并且服务之间相互隔离，只通过API作为统一交互入口相互对接。

按照功能和通过性划分不同服务，将一个整理功能，拆分为各个子服务/子功能。方便管理、排障。

辅助组件：Ironic、Trove、Hert、Sahara（提供了一些必要拆侍的管理与服务）：

Ironic：裸金属（裸机），把资源调用过后给它创建一个操作系统，这样旅颤吵就组成了一个可以使用的操作系统，使用的一个节点和虚拟机，管理和控制基础硬件资源。

Trove：数据库/管理数据库的服务，可以管理关系型和非关系型数据库，数据库存储信息和数据，存储OpenStack最为核心的实例数据，存储各组件的数据，各组件的调用数据和使用情况以及各种日志。

Hert、Sahara：做数据的分析编排和处理，精细化的管理和编排更为合理的使用利用数据。