das存储可以在线扩容吗
① DAS, SAN, NAS 和IPSAN他们之间的区别和联系
1、意思不同
NAS按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。
IPSAN是在SAN后产生的,SAN默认指FCSAN,以光纤通道构建存储网络,IPSAN则以IP网络构建存储网络,较FCSAN,具有更经济、自由扩展等特点。
存储区域网络简称SAN,采用网状通道技术,通过FC交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。
开放系统的直连式存储简称DAS,已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
2、优点不同
DAS能实现大容量存储,将多个磁盘合并成一个逻辑磁盘,满足海量存储的需求。可实现应用数据和操作系统的分离,能提高存取性能,无须专业人员操作和维护,节省用户投资。
SAN提供了一种与现有LAN连接的简易方法,并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。
NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台,用户通过网络支持协议可进入相同的文档,因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内。
IPSAN价格合理的存储合并功能与更为简化的集中数据管理功能实施过程简单。IP网络技术相当成熟,IP-SAN减少了配置、维护、管理的复杂度。
3、特点不同
DAS可视化eCRF编辑功能,更易于数据收集,数据疑点同步自动核查,减少错误,提高数据质量,不同用户及角色选择性地拥有数据接触权,保证数据安全,保留所有用户数据操作痕迹以备查。
SAN由于其基础是一个专用网络,因此扩展性很强,不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机,SAN系统可以方便高效的实现数据的集中备份。
IP SAN基于十分成熟的以太网技术,由于设置配置的技术简单、低成本的特色相当明显,而且普通服务器或PC机只需要具备网卡,即可共享和使用大容量的存储空间。
四者的联系:IP-SAN的发展 其实是由 NAS 和SAN 发展过来的。通过NAS 和SAN的发展史,不难看出在早期由于DAS的发展,FAS 发展趋势,慢慢的形成的两个团队。
网络-DAS
网络-SAN
网络-NAS
网络-IPSAN
② 海量数据存储有哪些方式与方法
杉岩海量对象存储MOS,针对海量非结构化数据存储的最优化解决方案,采用去中心化、分布式技术架构,支持百亿级文件及EB级容量存储,
具备高效的数据检索、智能化标签和分析能力,轻松应对大数据和云时代的存储挑战,为企业发展提供智能决策。
1、容量可线性扩展,单名字空间达EB级
SandStone MOS可在单一名字空间下实现海量数据存储,支持业务无感知的存储服务器横向扩容,为爆炸式增长的视频、音频、图片、文档等不同类型的非结构化数据提供完美的存储方案,规避传统NAS存储的单一目录或文件系统存储空间无法弹性扩展难题
2、海量小文件存储,百亿级文件高效访问
SandStone MOS基于完全分布式的数据和元数据存储架构,为海量小文件存储而生,将企业级NAS存储的千万文件量级提升至互联网规模的百亿级别,帮助企业从容应对几何级增长的海量小文件挑战。
3、中心灵活部署,容灾汇聚分发更便捷
SandStone MOS支持多数据中心灵活部署,为企业数据容灾、容灾自动切换、多分支机构、数据就近访问等场景提供可自定义的灵活解决方案,帮助企业实现跨地域多活容灾、数据流转、就近读写等,助力业务高速发展。
4、支持大数据和AI,统一数据存储和分析
SandStone MOS内置文件智能化处理引擎,实现包括语音识别、图片OCR识别、文件格式转换等批量处理功能,结合标签检索能力还可实现语音、证件照片检索,从而帮助企业更好地管理非结构化数据。同时,SandStone MOS还支持与Hadoop、Spark等大数据分析平台对接,一套存储即可满足企业数据存储、管理和挖掘的需求。
③ 直连存储的优缺点是什么
直连存储的优点:配置成本最低,因为该方案只需要将存储设备通过SCSI接口与服务器相连接即可,配置十分简单,适合小型公司使用。
直连存储的缺点:因为整体配置过于简单,该方案也存在一些缺陷服务器如果故障,数据就不能访问多服务器系统不容易管理,存储空间不能控制分配,会产生资源的浪费存储备份操作复杂。
(3)das存储可以在线扩容吗扩展阅读:
直连式存储的分类:
直连存储又可分为内直连式存储和外直连式存储。
内直连式存储是指存储设备与服务器通过串行或并行SCSI总线接1:3电缆直接集成在一起,但SCSI总线自身有传输距离和挂载设备的限制。
外直连式存储通过SCSI或光纤通道将服务器和外部的存储设备直接连接,与内直连式存储相比,外直连式存储可通过光纤通道克服传输距离和挂载设备的限制。
对于少量PC机或服务器,使用直连式存储连接简单、易于配置和管理、费用较低,但这种连接方式下,因每台计算机单独拥有自己的存储磁盘,所以不利于存储容量的充分利用和服务器间的数据共享,而且存储系统没有集中统一的管理方案,也不利于数据维护,因此直连式存储不适合作为企业级的存储解决方案。
④ 网络存储DAS和NAS区别是什么
一、DAS(直接附加存储设备:Direct Attached Storage)
直接附加存储是指将存储设备通过SCSI接口直接连接到一台服务器上使用。
【优点】
DAS购置成本低,配置简单,使用过程和使用本机硬盘并无太大差别,对于服务器的要求仅仅是一个外接的SCSI口,因此对于小型企业很有吸引力。
【缺点】
(1)服务器本身容易成为系统瓶颈;
(2)服务器发生故障,数据不可访问;
(3)对于存在多个服务器的系统来说,设备分散,不便管理。同时多台服务器使用DAS时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;
(4)数据备份操作复杂。
二、NAS(网络附加存储服务器:Network Attached Storage)
NAS实际是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP网络上,网络服务器通过TCP/IP网络存取管理数据。
【优点】
NAS作为一种瘦服务器系统,易于安装和部署,管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据,因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统,对硬件要求很低,软件成本也不高,甚至可以使用免费的LINUX解决方案,成本只比直接附加存储略高。
【缺点】
(1)由于存储数据通过普通数据网络传输,因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;
(2)由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;
(3)存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就不能使用NAS。
三、SAN(专用存储区域网络:Storage Area Network)
SAN实际是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。
【优点】
目前一般的SAN提供2Gb/S到4Gb/S的传输数率,同时SAN网络独立于数据网络存在,因此存取速度很快,另外SAN一般采用高端的RAID阵列,使SAN的性能在几种专业存储方案中傲视群雄。SAN由于其基础是一个专用网络,因此扩展性很强,不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机,SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的存储方式,是未来存储技术的发展方向。
【缺点】
(1)价格昂贵。不论是SAN阵列柜还是SAN必须的光纤通道交换机价格都是十分昂贵的,就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受;
(2)需要单独建立光纤网络,异地扩展比较困难。
⑤ 四大存储方式技术解析其优劣势
四大存储方式技术解析其优劣势
数据存放问题非常重要,然而在实际应用中却是错事连连。经常会出现掉盘、卷锁死等诸多问题,严重影响了整体系统的正常使用,所以数据专用存储已经成为市场上最关注的安防产品之一。
数据传统存储方式
在目前余衫的数字领域中,最常用的无非是如下四种存储方式:硬盘、DAS、nas、san。
1. 硬盘
无论是dvr、dvs后挂硬盘还是服务器后面直接连接扩展柜的方式,都是采用硬盘进行存储方式。应该说采用硬盘方式进行的存储,并不能算作严格意义上的存储系统。其原因有以下几点:
第一,其一般不具备raid系统,对于硬盘上的数据没有进行冗余保护,即使有也是通过主机端的raid卡或者软raid实现。严重的影响整体性能;
第二,其扩展能力极为有限,当录像时间超过60天时,往往不能满足录像时间的存储需求;
第三,无法实现数据集中存储,后期维护成本较高,特别是在dvs后挂硬盘的方式,其维护成本往往在一年之内就超过了购置成本。
应该说硬盘存储方式不适合大型数字视频监控系统的应用。特别是需要长时间录像的数字视频监控系统。一般这种方式都是与其它存储方式并存于同一系统中,作为其他存储方式的缓冲或应急替代。
2. DAS(直接附加存储)
DAS(direct attached storage),全称为直接连接附加存储,采用DAS的方式可以很简单的实现平台的容量扩容,同时对数据可以提供多种rald级别的保护。
采用DAS方式时。在视频存储单元上部署相关的.hba卡。用于跟后端的存储设备建立数据通道。前端的视频存储单元可以是dvr,也可以是视频存储服务器。其通道可以采用光纤、ip网线、sas线缆甚至于usb、1394线等。
采用DAS方式并不能同时支持很多视频存储服务单元同时接入,而且其扩容能力严重依赖所选择的存储设备自身的扩容能力。所以在大型数字视频监控系统中,应用DAS存储方式将造成系统维护难度的极大提升。
正是由于DAS存储的这些特点,所以这种存储方式一般应用于对于dvr的扩容或者小型数字视频监控项目中。
3. NAS(网络附加存储)
NAS(network attached storage)。全称为网络附加存储,是一种专业的网络文件存储及文件备份设备,或称为网络直联存储设备、网络磁盘阵列。同时NAS对数据可以提供多种raid级别的保护。
NAS设备和多台视频存储服务单元均通过ip网络进行连接,按照tcp/ip协议进行通信,以文件的i/o(输入/输出带李)方式进行数据传输。一个NAS单元包括核心处理器,文件服务管理工具,一个或者多个的硬盘驱动器用于数据的存储。
采用NAS方式可以同时支持多个主机端同时进行读写,具备非常优秀的共享性能和扩展能力;同时NAS可以应用在复杂的网络环境中。部署也非常灵活。
但是由于NAS采用cif/nfs协议进行数据的文件级传输,所以网络开销非常大,特别是在写入数据时带宽的利用率一般只有20%-40%之间。所以目前NAS一般应用于小型的网络数字视频监控系统中或者只是用于部分数据的共享存储。
4. SAN(存储区域网络)
SAN(storage area network),全称为存储区域网络,通过交换机等连接设备将磁盘阵列与相关服务器连接起来的高速专用子网。同时SAN对数据可以提供多种raid级别的保护。
SAN提供了一个专用的、高可靠性的存储网络。允许独立地增加它们的存储容量,也使得管理及集中控制(特别是对于全部存储设备都集中在一起的时候) 更加简化。正是由于这竖行腔些特点,SAN架构特别适合于大型网络数字视频监控系统的存储应用,可以应对上千、上万个前端监控点的存储。
目前 SAN主要分为FC―SAN(光纤存储区域网络)和ip―SAN(以太网存储区域网络)。它们之间的区别是连接线路以及使用数据传输协议的不同。虽然 FC―SAN由于采用专用协议可以保证传输时更加稳定、高效,但其部署方式、构建成本均较之ip―SAN高出很多,所以目前在大型网络数字视频监控系统中更多采用的是ip―SAN架构。
;⑥ 数据库服务器一台,使用Raid 0磁盘阵列,如何在不破坏原有磁盘数据的前提下对存储空间扩容
有两种方法:
第一种就是楼上说的,先把数据都备份出来,然后再重新分区或再加硬盘重建RAID0的阵列。
第二种方法,就是看你的服务器阵列卡能不能支持在线扩容阵列的功能,如果可以,那样是可以通过管理软件,把新的硬盘添加进去。
⑦ 可以灵活扩容的分布式文件存储软件有吗
XSKY 星辰天合的XEDP平台扩展弹性就很高的,在我们使用中发现,它可以实现从单资源池数台到数百台的不停机水平扩展。
⑧ 如何对esxi虚拟机硬盘在线扩容的方法步骤
一、准备阶段
在虚拟机状态下增加一块硬盘,如图1、如图2、如图3、如图4、如图5
二、实施阶段
1、让Linux操作系统识别新增加的硬盘,如图6
2、增加/dev/sdb硬盘,查看/var/log/messages日志,如图7
3、查看当前scsi状态,如图8
4、将/dev/sdb1分区,如图9
5、将/dev/sdb1格式化,建立新目录,如果是增加已经陆唤巧有的目录不需要填写/etc/fstab,如图10
6、将这块硬盘ID改早键成8e,保存退出,不链竖需要重新启动。如图11
7、创建物理卷,如图12
8、通过vgextend命令扩展现有的vg,如图13
9、通过lvresize命令扩展Logical Volume,如图14
10、还要重新一下识别磁盘容量,如图15
⑨ 数据库在资源充足的表现
如何应对数据库CPU打满?最优解在这里...
阿里云数据库
2020-04-26 16:48·字数:4996·阅读:129
如何用好数据库,调校数据库使其发挥最优的性能?
如何快速诊断和应对各种原因导致的突发数据库性能问题?
如何以最低资源成本满足业务需求?
......
这些复杂的运维难题最优解到底是什么?
今天(4月22日)15:00数据库自治服务DAS重磅发布会
现场为你揭晓答案!
数据库自动驾驶时代一触即发点击这里
即可预约直播
今天提前为大家揭秘数据库自治服务DAS的一个创新功能 —— AutoScale,基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。
01背 景
为业务应用选择一个合适的数据库规格,是每个数据库运维同学都会经常面临的一个问题。若规格选的过大,会产生资源浪费;若规格选的过小,计算性能不足会影响业务。
通常情况下,运维同学会采用业务平稳运行状态下,CPU可处于合理水位(例如50%以下)的一个规格(如4核CPU配8G内存)并配一个相对富余的磁盘规格(如200G)。
然而在数据库应用运维同学的日常生活里,线上应用流量突增导致数据库资源打满的情况时有发生,而引发这类问题的场景可能多种多样:
1、新业务上线,对业务流量预估不足,导致资源打满,如新上线的应用接入了大量的引流,或基础流量比较大的平台上线了一个新特性功能。
2、不可预知的流量,如突发的舆论热点带来的临时流量,或某个网红引发的限时抢购、即兴话题等。
3、一些平时运行频次不高,但又偶发集中式访问,如每日一次的上班打卡场景,或每周执行几次的财务核算业务。这类业务场景平时业务压力不高,虽已知会存在访问高峰,但为节省资源而通常不会分配较高的规格。
当上述业务场景突发计算资源不足状况时,通常会让运维同学措手不及,严重影响业务,如何应对“数据库资源打满”是运维同学常常被挑战的问题之一。
在数据库场景下,资源打满可分为计算资源和存储资源两大类,其主衫闭历要表现:
1、计算资源打满,主要表现为CPU资源利用率达到100%,当前规格下的计算能力不足以应对;
2、存储资源打满,主要表现为磁盘空间使用率达到100%,数据库写入的数据量达到当前规格下的磁盘空间限制,导致业或搜务无法写入新数据;
针对上述两类问题,数据库自治服务 DAS 进行了服务创新,使数据库服务具备自动扩展存储和计算资源的技术能力,应对上述的问题。
DAS AutoScale基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。
接下来,本文将对DAS AutoScale服务的架构进行详细的介绍,包括技术挑战、解决方案和关键技术。
02技术挑战
计算节点规格调整是数据库优化的一态源种常用手段,尽管计算资源规格只涉及到CPU和内存,但在生产环境进行规格变配的影响还是不容忽视,将涉及数据迁移、HA切换、Proxy切换等操作,对业务也会产生影响。
业务有突发流量时,计算资源通常会变得紧张甚至出现CPU达到100%的情况。通常情况下,这种情况会通过扩容数据库规格的方式来解决问题,同时DBA在准备扩容方案时会至少思考如下三个问题:
1.扩容是否能解决资源不足的问题?
2.何时应该进行扩容?
3.如何扩容,规格该如何选择?
解决这三个问题,DAS同样面临如下三个方面挑战:
2.1. 挑战一:如何判别扩容是否能够解决问题?
在数据库场景下,CPU打满只是一个计算资源不足的表征,导致这个现象的根因多样,解法也同样各异。例如业务流量激增,当前规格的资源确实不能够满足计算需求,在合适的时机点,弹性扩容是一个好的选择,再如出现了大量的慢SQL,慢SQL堵塞任务队列,且占用了大量的计算资源等,此时资深的数据库管理员首先想到的是紧急SQL限流,而不是扩容。在感知到实例资源不足时,DAS同样需要从错综复杂的问题中抽丝剥茧定位根因,基于根因做出明智的决策,是限流,是扩容,还是其它。
2.2. 挑战二:如何选择合适的扩容时机和扩容方式?
对于应急扩容时机,选择的好坏与紧急情况的判断准确与否密切相关。“紧急”告警发出过于频繁,会导致实例频繁的高规格扩容,产生不必要的费用支出;“紧急”告警发出稍晚,业务受到突发情况影响的时间就会相对较长,对业务会产生影响,甚至引发业务故障。在实时监控的场景下,当我们面临一个突发的异常点时,很难预判下一时刻是否还会异常。因此,是否需要应急告警变得比较难以决断。
对于扩容方式,通常有两种方式,分别是通过增加只读节点的水平扩容,以及通过改变实例自身规格的垂直扩容。
其中,水平扩容适用于读流量较多,而写流量较少的场景,但传统数据库需要搬迁数据来搭建只读节点,而搬迁过程中主节点新产生的数据还存在增量同步更新的问题,会导致创建新节点比较慢。
垂直扩容则是在现有规格基础上进行升级,其一般流程为先对备库做升级,然后主备切换,再对新备库做规格升级,通过这样的流程来降低对业务的影响,但是备库升级后切换主库时依然存在数据同步和数据延迟的问题。因此,在什么条件下选择哪种扩容方式也需要依据当前实例的具体流量来进行确定。
2.3. 挑战三:如何选择合适的计算规格?
在数据库场景下,实例变更一次规格涉及多项管控运维操作。以物理机部署的数据库变更规格为例,一次规格变更操作通常会涉及数据文件搬迁、cgroup隔离重新分配、流量代理节点切换、主备节点切换等操作步骤;而基于Docker部署的数据库规格变更则更为复杂,会额外增加Docker镜像生成、Ecs机器选择、规格库存等微服务相关的流程。因此,选择合适的规格可有效地避免规格变更的次数,为业务节省宝贵的时间。
当CPU已经是100%的时候,升配一个规格将会面临两种情况:第一种是升配之后,计算资源负载下降并且业务流量平稳;第二种是升配之后,CPU依然是100%,并且流量因为规格提升后计算能力增强而提升。
第一种情况,是比较理想的情况,也是预期扩容后应该出现的效果,但是第二种情况也是非常常见的情形,由于升配之后的规格依然不能承载当前的业务流量容量,而导致资源依然不足,并且仍在影响业务。如何利用数据库运行时的信息选择一个合适的高配规格是将直接影响升配的有效性。
03解决方案
针对上述提到的三项技术挑战,下面从DAS AutoScale服务的产品能力、解决方案、核心技术这三个方面进行解读,其中涉及RDS和PolarDB两种数据库服务,以及存储自动扩容和规格自动变更两个功能,最后以一个案例进一步具体说明。
3.1. 能力介绍
在产品能力上,目前DAS AutoScale服务针对阿里云RDS数据库和PolarDB数据提供存储自动扩容服务和规格自动变配服务。
其中,针对即将达到用户已购买规格上限的实例,DAS存储自动扩容服务可以进行磁盘空间预扩容,避免出现因数据库磁盘满而影响用户业务的发生。在该服务中,用户可自主配置扩容的阈值比例,也可以采用DAS服务预先提供的90%规格上界的阈值配置,当触发磁盘空间自动扩容事件后,DAS会对该实例的磁盘进行扩容;
针对需要变更实例规格的数据库实例,DAS规格自动变配服务可进行计算资源的调整,用更符合用户业务负载的计算资源来处理应用请求,在该服务中,用户可自主配置业务负载流量的突发程度和持续时间,并可以指定规格变配的最大配置以及变配之后是否回缩到原始规格。
在用户交互层面,DAS AutoScale主要采用消息通知的方式展示具体的进度以及任务状态,其中主要包括异常触发事件、规格建议和管控任务状态三部分。异常触发事件用于通知用户触发变配任务,规格建议将针对存储扩容和规格变配的原始规格和目标值进行说明,而管控任务状态则将反馈AutoScale任务的具体进展和执行状态。
3.2 方案介绍
为了实现上面介绍的具体能力,DAS AutoScale实现了一套完整的数据闭环,如图1:
图1 DAS AutoScale数据闭环
在该闭环中,包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块,各模块的具体功能如下:
性能采集模块负责对实例进行实时性能数据采集,涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等;
决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断,以解决挑战一的问题。例如可通过SQL限流来解决当前计算资源不足的问题则会采取限流处理;若确实为突增的业务流量,则会继续进行AutoScale服务流程;
算法模型是整个DAS AutoScale服务的核心模块,负责对数据库实例的业务负载异常检测和容量规格模型推荐进行计算,进而解决挑战二和挑战三的具体问题;
规格建议校验模块将产出具体建议,并针对数据库实例的部署类型和实际运行环境进行适配,并与当前区域的可售卖规格进行二次校验,确保的建议能够顺利在管控侧进行执行;
管控模块负责按照产出的规格建议进行分发执行;
状态跟踪模块则用于衡量和跟踪规格变更前后数据库实例上的性能变化情况;
接下来,将分别针对DAS AutoScale支持的存储扩容和规格变配两个业务场景进行展开介绍。
!图2 存储扩容方案](https://upload-images.jianshu.io/upload_images/16625435-f448260506c94c56.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240 "lADPD26eLFb47F_NAW3NBDg_1080_365.jpg_720x720q90g.jpg")
存储扩容的方案见图2,主要有两类触发方式,分别是用户自定义触发和算法预测触发。其中,算法将根据数据库实例过去一段时间内的磁盘使用值结合时序序列预测算法,预测出未来一段时间内的磁盘使用量,若短时间内磁盘使用量将超过用户实例的磁盘规格,则进行自动扩容。每次磁盘扩容将最少扩大5G,最多扩大原实例规格的15%,以确保数据库实例的磁盘空间充足。
目前在磁盘AutoScale的时机方面,主要采用的是阈值和预测相结合的方式。当用户的磁盘数据缓慢增长达到既定阈值(90%)时,将触发扩容操作;如果用户的磁盘数据快速增长,算法预测到其短时间内将会可用空间不足时,也会给出磁盘扩容建议及相应的扩容原因说明。
图3 规格变配方案
规格变配的方案见图3,其具体流程为:首先,异常检测模块将针对业务突发流量从多个维度(qps、tps、active session、iops等指标)进行突发异常识别,经决策中心判别是否需要AutoScale变配规格,然后由规格建议模块产生高规格建议,再由管控组件进行规格变配执行。
待应用的异常流量结束之后,异常检测模块将识别出流量已回归正常,然后再由管控组件根据元数据中存储的原规格信息进行规格回缩。在整个变配流程结束之后,将有效果跟踪模块产出变配期间的性能变化趋势和效果评估。
目前规格的AutoScale触发时机方面,主要是采取对实例的多种性能指标(包括cpu利用率、磁盘iops、实例Logic read等)进行异常检测之后,结合用户设定的观测窗口期长度来实现有效的规格AutoScale触发。
触发AutoScale之后,规格推荐算法模块将基于训练好的模型并结合当前性能数据、规格、历史性能数据进行计算,产出更适合当前流量的实例规格。此外,回缩原始规格的触发时机也是需要结合用户的静默期配置窗口长度和实例的性能数据进行判断,当符合回缩原始规格条件后,将进行原始规格的回缩。
3.3核心技术支撑
DAS AutoScale服务依赖的是阿里云数据库数据链路团队、管控团队和内核团队技术的综合实力,其中主要依赖了如下几项关键技术:
1.全网数据库实例的秒级数据监控技术,目前监控采集链路实现了全网所有数据库实例的秒级采集、监控、展现、诊断,可每秒实时处理超过1000万项监控指标,为数据库服务智能化打下了坚实的数据基础;
2.全网统一的RDS管控任务流技