CN103595815A - 基于云计算的存储资源分配方法 - Google Patents
基于云计算的存储资源分配方法 Download PDFInfo
- Publication number
- CN103595815A CN103595815A CN201310603747.1A CN201310603747A CN103595815A CN 103595815 A CN103595815 A CN 103595815A CN 201310603747 A CN201310603747 A CN 201310603747A CN 103595815 A CN103595815 A CN 103595815A
- Authority
- CN
- China
- Prior art keywords
- capacity
- storage
- storage resources
- operation system
- requirement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 claims abstract description 272
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000009826 distribution Methods 0.000 claims abstract description 25
- 238000005516 engineering process Methods 0.000 abstract description 22
- 238000007726 management method Methods 0.000 description 30
- 238000012544 monitoring process Methods 0.000 description 21
- 238000011160 research Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 14
- 230000018109 developmental process Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 238000003339 best practice Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 1
- 235000014552 Cassia tora Nutrition 0.000 description 1
- 244000201986 Cassia tora Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于云计算的存储资源分配方法,包括:接收储存资源分配请求,根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量;根据所述业务系统所需的存储资源的等级和容量,通过设备网管或者API接口实现对存储设备系统的控制,对所述业务系统分配相应的储存资源。本发明通过云计算技术能够对各个系统间的储存资源进行分配调度,使多个业务系统之间能够通过云计算技术实现储存资源的最佳调度,为各个业务系统非配最合适容量的储存资源,大大提高了储存资源的利用率。
Description
技术领域
本发明涉及数据储存的技术领域,特别是涉及一种基于云计算的存储资源分配方法。
背景技术
经过多年的信息化建设,电网单位全部建成了规范可靠的数据中心机房,这些数据中心机房为电网信息化体系的建设提供了可靠的物理支撑环境。但是随着建设的应用系统越来越多,数据储存量越来越大,各数据中心机房内新增的服务器和存储设备也越来越多,机房的可利用面积也越来越小,而运维则越来越复杂。由此,提出了“优化信息系统运行环境,提高软硬件资源的效能”的创先工作任务,要求引入绿色IT理念,建设绿色数据中心。
随着云计算技术的发展,存储设备的云技术应用是已经成为了实现建设绿色数据中心的重要的手段。云计算作为全新的IT交付、IT运营以及服务化管理模式,同时又融合多种IT技术,使得信息化与业务之间的交互性变强,易用度降低,能够更好的满足未来业务发展对信息化的需求,能够极大的降低运维的成本与压力。
发明内容
为解决提高数据储存资源利用率的问题,本发明提出一种基于云计算的存储资源分配方法,通过云计算技术能够对各个系统间的储存资源进行分配调度,提高数据储存资源的利用率。
一种基于云计算的存储资源分配方法,包括以下步骤:
接收储存资源分配请求,根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量;
根据所述业务系统所需的存储资源的等级和容量,通过设备网管或者API接口实现对存储设备系统的控制,对所述业务系统分配相应的储存资源。
本发明的基于云计算的存储资源分配方法通过对发出储存资源分配请求的业务系统进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量,根据分析得到的所述业务系统所需的存储资源的等级和容量进行储存资源分配,使多个业务系统之间能够通过云计算技术实现储存资源的最佳调度,为各个业务系统非配最合适容量的储存资源。即,既不会因为储存资源分配不足而影响数据储存,又不会分配过多的储存资源而导致储存资源的浪费,大大提高了储存资源的利用率。
附图说明
图1是本发明的基于云计算的存储资源分配方法的流程示意图。
具体实施方式
请参阅图1,图1是本发明的基于云计算的存储资源分配方法的流程示意图。
所述基于云计算的存储资源分配方法,包括以下步骤:
S102,接收储存资源分配请求;
S104,根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量;
S106,根据所述业务系统所需的存储资源的等级和容量,通过设备网管或者API接口实现对存储设备系统的控制,对所述业务系统分配相应的储存资源。
本发明的基于云计算的存储资源分配方法通过对发出储存资源分配请求的业务系统进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量,根据分析得到的所述业务系统所需的存储资源的等级和容量进行储存资源分配,使多个业务系统之间能够通过云计算技术实现储存资源的最佳调度,为各个业务系统非配最合适容量的储存资源。即,既不会因为储存资源分配不足而影响数据储存,又不会分配过多的储存资源而导致储存资源的浪费,大大提高了储存资源的利用率。
其中,在步骤S102中接收的所述储存资源分配请求可由任意一个业务系统发出。所述储存资源分配请求包含有所述业务系统的业务属性,或者所述业务系统的通信标识等标示符。云计算服务器接收说所述储存资源分配请求之后,执行步骤S104。
在步骤S104中,存储容量需求评估,在云计算基础设施资源池化的模式下,即虚拟化资源的预设值问题。计算资源的评估常见有TPC-C、SPEC等一系列估算方法,但存储资源目前还缺乏清晰的估算模型,一般是基于行业经验来进行估算,下面给出其中两种方法:
在一个优选实施方式中,所述根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量的步骤包括:
根据所述业务系统的业务属性,获取对应的存储资源的等级;
获取所述业务系统中数据库的存储容量需求,普通文件的存储容量需求,以及系统运行软件的存储容量需求,按照以下方式计算业务系统所需的存储资源容量:
R=D+F+O;
其中,R为所述业务系统的所需的存储资源容量,D为数据库的存储容量需求,F为普通文件的存储容量需求,O为系统运行软件的存储容量需求。
应用系统所需存放的资源,从数据分类的角度来分析,主要分为:数据库、普通文件和系统软件。因此获取上述三种类型数据的储存容量需求,就可以确定所述业务系统所需的存储资源容量。
其中,可通过以下方式获取所述业务系统的数据库的存储容量需求:
获取所述数据库的实体表中每条记录的存储数据容量,按照以下方式计算拥数据库的初始存储容量:
其中,D(n)为拥有n个实体表的数据库的初始存储容量,Si为第i个实体表中每条记录的存储数据容量,该实体表的索引每个容量为Ii,记录的总条数为Mi;
获取所述数据库的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述数据库的初始存储容量,所述数据库的年存储容量冗余率,以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述数据库的存储容量需求:
D=D(n)*(1+Td(t))*(1+Raid(r))
其中,D为所述数据库的存储容量需求,Td(t)为t年的数据库存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
Raid,即磁盘阵列(Redundant Arrays of Independent Disks),通过分析瓷片阵列的保护方式下的容量冗余比率,可以获得由于磁盘阵列保护带来的储存容量冗余,保证系统的正常运作。
所述使用不同的硬盘Raid保护方式下的容量冗余比率可设置为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
获取所述业务系统的普通文件的存储容量需求的步骤可通过以下方式实现:
获取各种日志文件的容量,以及各种其他类型文件的容量,按照以下方式计算普通文件的初始存储容量:
其中,F(l,k)为包含l种日志文件及k种其它类型文件的普通文件初始存储容量,Li为第i种日志文件的容量,Ej为第j种其他类型文件的容量;
获取普通文件的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述普通文件的初始存储容量,所述普通文件的年存储容量冗余率以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述普通文件的存储容量需求:
F=F(l,k)*(1+Tf(t))*(1+Raid(r));
其中,F为普通文件的存储容量需求,Td(t)为t年的普通文件的存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
所述使用不同的硬盘Raid保护方式下的容量冗余比率可设置为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
获取所述业务系统的系统运行软件的存储容量需求的步骤可以通过以下方式实现:
获取业务系统的操作系统的所需空间容量,系统应用软件的初始化容量需求,以及其它运行软件总的初始容量需求;
按照以下方式计算系统运行软件的初始存储容量需求:
其中,O(m)为包含m种应用软件的系统运行软件的初始存储容量需求,OS为操作系统的所需空间容量,APPi为第i种系统应用软件的初始化容量需求,H为其它运行软件总的初始容量需求;
获取系统运行软件的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述系统运行软件的初始存储容量需求,所述系统运行软件的年存储容量冗余率以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述存储容量需求:
O=O(m)*(1+Tf(t))*(1+Raid(r));
其中,O为所述系统运行软件的存储容量需求,Td(t)为t年的系统运行软件的存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
所述使用不同的硬盘Raid保护方式下的容量冗余比率可设置为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
综合上述数据库的存储容量需求,普通文件的存储容量需求,以及系统运行软件的存储容量需求的计算方式,可以得到应用业务系统上线时所需的存储容量需求的表达式如下:
在另一种优选实施方式中,可通过比例法获取所述业务系统所需的存储资源容量。
具体包括以下步骤:
获取该业务系统的存储资源容量的历史数据,以及历史应用的环境下的业务量和数据量,以及现有应用的环境下的业务量和数据量;
将现有应用的环境下的业务量和数据量与所述历史应用的环境下的业务量和数据量对比,获取线性比例;
将所述业务系统的存储资源容量的历史数据按照所述线性比例调整,获取所述业务系统在现有应用的环境下的所需的存储资源容量。
上述方法是一个较为普遍的容量估算方法,对企业全新的业务系统上线的容量估算最为适用;而对推广或复制型应用系统(即该应用已经在其它用户环境下获得部署和应用),还可以使用比例法进行估算。
首先对该应用系统在已经部署应用的环境下的容量历史数据进行收集,同时分析新旧环境下业务量、数据量等对存储容量具有关键影响的业务数据,利用其数量对比,按线性比例,得出新部署系统的所需存储容量。
通过以比例算法的方式获取业务系统所需的存储资源容量,可以避免大量的运算,而分配的储存资源也可以达到一定的准确度。
而在步骤S106中,根据所述业务系统所需的存储资源的等级和容量,通过设备网管或者API接口实现对存储设备系统的控制,对所述业务系统分配相应的储存资源。
其中,所述业务系统所需的存储资源的等级可以根据所述业务系统的业务属性查找与所述业务属性对应的储存资源等级。
在获取到所述业务系统所需的存储资源的等级和容量之后,通过设备网管或者API接口实现对存储设备系统的控制,将具有相应等级和容量的储存资源分配给对应的业务系统。
分配时可将对应的储存资源的储存地址发送至相应的所述业务系统,业务系统通过所述储存地址实现对相应储存资源的访问利用。在本发明的一个优选实施方式中,所述基于云计算的存储资源分配方法在对所述业务系统分配相应的储存资源后,进一步包括以下步骤:对所述业务系统的储存资源进行在线监控,将监控获取的所述业务系统的储存资源容量与基准值对比,结合所述业务系统的储存资源的容量变化趋势,调整所述业务系统的储存资源的分配。
所述在线监控可以通过实时读取该业务系统的存储资源容量数据,以及实时业务量和数据量来实现,当所述业务系统的实时业务量和数据量增大导致所述业务系统的存储资源容量减少,或者所述业务系统的实时业务量和数据量减少导致所述业务系统的存储资源容量增大时,可以发出监控告警信息,提示进行所述业务系统的储存资源的调整。
将监控获取的所述业务系统的储存资源容量与基准值对比,每个业务系统的储存资源容量必须高于基准值,以保证业务系统的正常运行。而储存资源容量在高于基准值的基础上,结合储存资源的容量变化趋势,如果存储资源容量减少,则可增多分配给所述业务系统的储存资源;如果所述业务系统的存储资源容量增大,则可减少分配给所述业务系统的储存资源。
上述增多或者减少分配给所述业务系统的储存资源的操作同样可通过设备网管或者API接口实现对存储设备系统的控制来实现。
通过上述方式,可以在分配相应的储存资源后,对各个业务系统的储存资源进行在线监控,根据监控结果实施调整各个业务系统的储存资源的分配结果。
根据ILM(Information Lifecycle Management)信息生命周期管理的理念,ILM作为一种信息管理模型,认为信息有一个从产生、保护、读取、更改、迁移、存档、回收的周期、再次激活以及退出的生命周期,对信息进行贯穿其整个生命的管理需要相应的策略和技术实现手段。信息生命周期管理的目的在于帮助企业在信息生命周期的各个阶段以最低的成本获得最大的价值。
同样根据ILM管理模型,我们认为存储资源的使用也具备以下的生命周期:产生、使用、变更、回收、退出。
本发明引入存储资源的应用业务属性,结合存储资源的运维流程,构建针对资源利用的闭环管理机制。整体机制流程可以分三个部分来实现:
1)分析评估
根据提出资源申请的业务属性,对其需要存储资源的等级和容量需求等进行评估。具体可通过分级存储评估及存储容量需求评估两个(软件)模块来实现。
2)资源提供
完成对具体存储系统或者资源的提供操作,即对存储设备系统的直接控制。具体可由设备网管的控制来手工实现或通过API接口来直接实现。
3)使用监控和反馈
对提供的资源,按业务单元进行在线的监控,对比性能基线以及容量趋势,形成反馈建议以修正评估模型,或变更资源的使用方式。具体可通过性能基线和容量趋势(软件)模块来实现。
对于资源提供和监控,目前已经有不少这方面的研究和可以实现的系统工具,本发明上述内容主要针对存储资源容量的评估进行探讨。
在云计算模式下,用户获取和使用存储资源变得简单,但信息化管理者如何管理和提高资源利用率却变得更为复杂。本发明构建基于业务的存储资源容量闭环管理的方法,能提升对存储资源的有效利用。
本发明通过对云计算相关技术的研究,制定存储虚拟化技术、存储高可用技术、存储统一管理技术等新一代云存储技术在电网行业的应用标准和规范,用于指导现有的存储设备架构调整、整合和优化,实现灵活动态的存储架构,进一步提高存储和数据冗余性、高可用性,保障业务的连续性,同时,利用云计算技术实现异构存储管理的一体化、智能化。
通过对云计算、存储虚拟化、分级存储等相关技术的研究,制定适用于电网行业的存储虚拟化技术规范和指导原则;通过对云计算、集群存储、存储复制等相关技术的研究,制定适用于电网行业的存储高可用技术规范和指导原则;通过对云计算、存储监控、异构存储统一管理等相关技术的研究,制定适用于电网行业的异构存储统一管理平台技术规范。
本发明还可以结合以下关键技术:
1.可采用J2EE技术路线实现。
采用的J2EE体系结构提供中间层集成框架用来满足无需太多费用而又需要高可用性、高可靠性以及可扩展性的应用的需求。通过提供统一的开发平台,J2EE降低了开发多层应用的费用和复杂性,同时提供对现有应用程序集成强有力支持,完全支持Enterprise JavaBeans,有良好的向导支持打包和部署应用,添加目录支持,增强了安全机制,提高了性能。
J2EE为搭建具有可伸缩性、灵活性、易维护性的电子政务/商务平台系统提供了良好的机制:
保留现存的IT资产;
由于企业必须适应新的商业需求,利用企业已有的在信息系统方面的投资,而不是重新制定全盘方案就变得很重要。这样,一个以渐进的(而不是激进的,全盘否定的)方式建立在已有系统之上的服务器端平台机制是企业所需求的。J2EE架构可以充分利用用户原有的投资,这之所以成为可能是因为J2EE拥有广泛的业界支持和一些重要的“企业计算”领域供应商的参与。每一个供应商都对现有的IT服务管理系统提供了不用废弃已有投资,进入可移植的J2EE领域的升级途径。由于基于J2EE平台的产品几乎能够在任何操作系统和硬件配置上运行,现有的操作系统和硬件也能被保留使用。
2.可实现高效的开发:
J2EE允许公司把一些通用的、很繁琐的服务端任务交给中间件供应商去完成。这样开发人员可以集中精力在如何创建商业逻辑上,相应地缩短了开发时间。高级中间件供应商提供以下这些复杂的中间件服务:
状态管理服务--让开发人员写更少的代码,不用关心如何管理状态,这样能够更快地完成程序开发。
持续性服务--让开发人员不用对数据访问逻辑进行编码就能编写应用程序,能生成更轻巧,与数据库无关的应用程序,这种应用程序更易于开发与维护。
分布式共享数据对象CACHE服务--让开发人员编制高性能的系统,极大提高整体部署的伸缩性。
支持异构环境--J2EE能够开发部署在异构环境中的可移植程序。基于J2EE的应用程序不依赖任何特定操作系统、中间件、硬件。因此设计合理的基于J2EE的程序只需开发一次就可部署到各种平台。这在典型的异构企业计算环境中是十分关键的。J2EE标准也允许IT服务管理系统订购与J2EE兼容的第三方的现成的组件,把他们部署到异构环境中,节省了由自己制订整个方案所需的费用。
3.具有可伸缩性:
企业必须要选择一种服务器端平台,这种平台应能提供极佳的可伸缩性去满足那些在他们系统上进行商业运作的大批新客户。基于J2EE平台的应用程序可被部署到各种操作系统上。例如可被部署到高端UNIX与大型机系统,这种系统单机可支持64至256个处理器。而且J2EE领域的供应商提供了更为广泛的负载平衡策略,能消除系统中的瓶颈,允许多台服务器集成部署。这种部署可达数千个处理器,实现可高度伸缩的系统,满足未来商业应用的需要。
4.具有稳定的可用性:
一个服务器端平台必须能全天候运转以满足政府、公司客户、合作伙伴的需要。J2EE部署到可靠的操作环境中,他们支持长期的可用性最健壮的操作系统可达到99.999%的可用性或每年只需5分钟停机时间,这是实时性很强商业系统理想的选择。
本发明可采用开放的接口方式,支持开放的业务功能封装为Web Service的方式,支持部署Web服务,能够使用主流协议(SNMP、CORBA、SOAP、Socket等)中的一种或多种与其它系统及EAI平台实现互操作。
本发明还可结合基于CIM的IT对象模型技术。CIM模型(公共信息模型(CIM,Common Information Model))是IEC61970协议整体框架的基础。它是一种描述电力系统所有对象逻辑结构和关系的信息模型,为各个应用提供了与平台无关的统一的电力系统逻辑描述。它定义了电力工业的标准对象模型,提供了一种表示电力系统对象,包括其属性和相互关系的标准。
CIM公共信息模型把电力系统资源(Power System Resource)描述为对象类、属性以及它们之间的关系。从1998年4月开始,CCAPI发布了cimu07a.mdl,开始采用面向对象统一建模语言UML来描述CIM。在UML中,现实世界实体的类型被定义为“类”,实体类型的性质被定义为“类的属性”,实体类型之间的关系描述为“类之间的关系”,包括:继承、关联、聚集。
CIM模型中的对象本质上是抽象的,可以应用在各个系统中。CIM模型有助于不同供应商开发的EMS系统的集成,有助于EMS系统和其他涉及到电力系统运行操作不同领域的应用系统的集成。
CIM用面向对象的建模技术定义。具体地说,CIM规范使用统一建模语言(UML)表达方法,它将CIM定义成一组包。
CIM中的每一个包包含一个或多个类图,用图形方式展示该包中的所有类及它们的关系。然后根据类的属性及与其它类的关系,用文字形式定义各个类。
通过本发明可提供:
1)标准化体系研究
分析具有代表性的存储、云存储的标准化组织,如全球网络存储工业协会(Storage Networking Industry Association,SNIA)的相关标准化规范和接口规范,追踪技术和标准化的发展趋势。
2)存储虚拟化技术的研究
对现有的存储虚拟化技术和主流产品进行研究。比如基于主机、存储系统、网络等虚拟化方式的技术和主流产品进行比对研究,清晰存储虚拟化的概念、技术实现要点及不同解决方案的优劣,为未来的信息化建设选型提供依据。
3)分层存储技术的研究
对现有的分级存储的解决方案进行研究,通过对主流产品的分级存储技术进行比对,研究其存储生命周期管理的实现方式,为未来的存储架构以及分析模型构建提供借鉴。
4)存储系统最佳实践框架的研究
通过全面的技术及案例分析,拟定存储系统的最佳实践框架,分析电网当前的存储架构与最佳实践的差距,为未来的建设提供借鉴。
面向存储系统监控扩展的研究:
本发明对存储资源的统一监控、运行基线构建及基线分析等功能。
通过对存储系统进行深入的分析,建立全面、合理的运行(性能、可用性等)指标体系,并应追求体系指标的最小化集合和典型性。
基于电网数据中心的各类业务,包括电网营销、财务、人力资源、生产管理等管理信息系统,以及其它辅助管理系统业务,构建电网业务存储行为及依赖模型及运作基线,为业务应用性能、服务质量评估,故障关联分析诊断提供支撑,也为将来类似新业务系统的架构部署设计及基础设施选项提供参考。
组件模块可以和相关电子运维系统(如:IT服务管理系统等)相对接,实现故障工单的触发、流转。
管理的存储设备网元数量≥200个。
本发明的监控结果展示可采用以下方式:
实现从基于业务的视角对存储资源的分配和使用情况进行实时展现。至少包含以下视图(拓扑):
基本展现视图。为基于SAN(Storage Area Network and SAN Protocols(SAN:存储区域网络及其协议)存储网络的拓扑展现。此视图下,可以清晰了解到整个SAN存储网络的物理连接状况。各链路的带宽,服务器、HBA卡、存储交换机、存储系统的的状态(正常、告警、故障等)。
资源依赖视图。在基本视图中,点击单个设备,则会出现资源依赖视图。比如点击服务器,则会出现与此服务器相连的链路及所依赖的存储资源的拓扑图示。
业务视图。首先建立汕头供电局的业务目录,当点击选择某种业务时,则会把相关的服务器,链路、存储交换机、存储系统,以及具体的存储资源基本情况在一个拓扑图上进行关联展示。
监视各类业务的存储资源使用状况、资源依赖性和路径情况。
以拓扑图等方式进行资源及连接状态的展现。
在实时监控时,通过实时数据与性能基线的比对,出现异常(差异达到预设的阀值)时发出预警。
对作为业务系统的储存资源容量的基准值的基线。建立存储系统的运行监控指标体系模型。并通过对电网典型业务的存储系统的运行指标的历史数据的收集和统计分析,建立起各类电网典型业务系统相对应的存储系统运行基线。
实现基于运行基线的的监视分析和预警。通过实时的运行指标值与已建立的运行基线相比对分析,一旦差距达到预设的程度,即可产生告警等提示信息。
支持基线的时间设定(日、周、月等)。
进行模块的相关参数、监视告警阀值的设置。
本发明对存储资源需求分析,实现基于业务的存储资源(容量等)的需求分析、基于分级存储体系的存储资源展现等功能。建立业务系统的存储需求评估模型,此评估模型由两部分组成:一是某个业务系统对存储需求(主要为容量等)的计算模型(基于量化的指标);二是电网业务系统的评价体系,以及相应的等级计算评估模型。评估模型支持对在线业务系统(即已在运作的业务系统)和非在线业务系统(即未上线运行的新业务系统)的评估。评估模型的预设数值应该为全参数化,保障当系统环境变化时,评估模型的有效性。对被评估的业务系统,系统模块应产生相应的业务系统定级、存储需求分析等结果,并可根据目前的真实存储资源给出相应的专家意见,为存储资源的分配管理提供决策依据。图形化展现电网公司分级存储资源体系。
本发明进行资源需求分析,实现业务系统的存储资源需求分析,为业务系统的存储规划提供科学的依据。建立业务系统容量需求分析模型,通过量化的参数(比如:业务用户数、业务访问量、数据预留时间、存储数据/文件格式等)对业务的存储容量需求进行计算分析。按不同的业务存储需求(数据库、文件等)建立相对应的存储模型。按不同的业务类别(已上线的应用、未上线的应用等)建立相对应的存储模型。实现通过输入参数,对容量需求进行计算;对在线业务评估模型的部分计算因子(例如:访问用户数等)系统可进行实时的抽取。
本发明实现了分级存储体系展现,实现电网公司的存储资源的分级存储评价和体系展现,为更合理地规划和使用电网公司的存储资源提供技术支撑。建立基于业务系统等级评价的分级存储体系模型,对电网公司的业务进行等级评定和划分(比如核心业务、关键业务、重要业务、一般业务等)。根据等级评价模型,可对具体的业务系统的进行评估。按不同的等级,对各业务系统的存储状况进行分级体系化展现。进行模块的相关参数的参数设置、监视告警阀值的设置。
本发明的系统接口要实现与IT运维相关系统进行集成、整合,包括IT服务管理系统及和IT集中运行监控系统,以及与这两个系统集成的其它系统如CTI系统等。由于原系统接口方式复杂多样,包括WebService、Socket、J2EE/EJB、CORBA、消息队列(Message Queue)等,组件模块与这些系统的集成必须遵循原系统接口规范,避免原系统代码的改造。同时,为了保证系统的安全运行,各种接口方式都应该保证其接入的安全性。系统接口是实现一个系统跟另外系统进行信息交互的桥梁,在数据传输过程中应该支持以下几点要求:实时、高效和安全可靠地传送批量数据;断点续传功能;数据压缩传输;传输过程中的差错控制等。
本发明可与IT服务管理系统接口要实现与IT服务管理系统集成,完成数据传输。本系统产生的告警信息等,应能传输到IT服务管理系统,与IT服务管理系统的事件管理相对接。实现监控模块出现告警后,能自动转到IT服务管理系统的事件管理流程。
本发明可与IT集中运行监控系统整合。开发的模块,以组件模块的方式实现与IT集中运行监控系统的整合。组件模块需要从IT集中运行监控系统获取数据,包括应用系统监控数据、基础平台监控数据、支撑平台监控数据、告警数据等。
本发明技术方案带来的有益效果包括:
1.经济效益:
面向云存储设备管理体系研究,可以大大提高存储空间的利用率,提高工作效率、效益。降低人员成本,提高管理质量。
通过对存储设备系统及资源,在引入云计算模式及相关技术下,如何有效地进行存储系统改造、构建;并且实现以下目标:
通过对云存储、存储虚拟化、分级存储等相关技术的研究,整理提交存储相关技术研究报告和最佳实践研究报告。
对云计算环境下,存储统一监控的存储系统运行指标体系、基于业务的存储行为基线模型的实现进行研究,并制定存储系统监控组件的实施方案。
通过对以业务为导向的存储系统架构进行研究,确定存储架构模型,并建立基于业务的存储需求量化评估模型。
研发以上组件模块,并于IT集中监控系统上实现组件整合,在应用研究成果的基础上进行软件设计。
2.社会效益:
供电企业是关系到国计民生的公共服务企业。目前,供电企业的内部运作和对外提供的服务已经很大程度依赖与IT系统的正常运转。IT系统的故障除了会带来企业的经济损失外,还将会造成恶劣的社会影响。运用本系统,可以提前掌握系统运行状况,把故障消灭在萌芽状态,避免了供电企业的重大责任事故。
IT系统的服务品质(SLA)是关乎供电企业对客户之承诺和对社会之承担的重大问题;是关乎供电企业社会形象和美誉度的重大问题。运用本系统可以分析IT服务水平,找到短板,切实提高IT服务水平,从而提高供电企业的社会服务形象。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于云计算的存储资源分配方法,其特征在于,包括以下步骤:
接收储存资源分配请求,根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量;
根据所述业务系统所需的存储资源的等级和容量,通过设备网管或者API接口实现对存储设备系统的控制,对所述业务系统分配相应的储存资源。
2.如权利要求1所述的基于云计算的存储资源分配方法,其特征在于,根据发出所述储存资源分配请求的业务系统的业务属性,进行存储资源的等级和容量需求统计,获取业务系统所需的存储资源的等级和容量的步骤包括:
根据所述业务系统的业务属性,获取对应的存储资源的等级;
获取所述业务系统中数据库的存储容量需求,普通文件的存储容量需求,以及系统运行软件的存储容量需求,按照以下方式计算业务系统所需的存储资源容量:
R=D+F+O;
其中,R为所述业务系统的所需的存储资源容量,D为数据库的存储容量需求,F为普通文件的存储容量需求,O为系统运行软件的存储容量需求。
3.如权利要求2所述的基于云计算的存储资源分配方法,其特征在于,获取所述业务系统的数据库的存储容量需求的步骤包括:
获取所述数据库的实体表中每条记录的存储数据容量,按照以下方式计算拥数据库的初始存储容量:
其中,D(n)为拥有n个实体表的数据库的初始存储容量,Si为第i个实体表中每条记录的存储数据容量,该实体表的索引每个容量为Ii,记录的总条数为Mi;
获取所述数据库的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述数据库的初始存储容量,所述数据库的年存储容量冗余率,以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述数据库的存储容量需求:
D=D(n)*(1+Td(t))*(1+Raid(r))
其中,D为所述数据库的存储容量需求,Td(t)为t年的数据库存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
4.如权利要求3所述的基于云计算的存储资源分配方法,其特征在于,所述使用不同的硬盘Raid保护方式下的容量冗余比率为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
5.如权利要求2所述的基于云计算的存储资源分配方法,其特征在于,获取所述业务系统的普通文件的存储容量需求的步骤包括:
获取各种日志文件的容量,以及各种其他类型文件的容量,按照以下方式计算普通文件的初始存储容量:
其中,F(l,k)为包含l种日志文件及k种其它类型文件的普通文件初始存储容量,Li为第i种日志文件的容量,Ej为第j种其他类型文件的容量;
获取普通文件的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述普通文件的初始存储容量,所述普通文件的年存储容量冗余率以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述普通文件的存储容量需求:
F=F(l,k)*(1+Tf(t))*(1+Raid(r));
其中,F为普通文件的存储容量需求,Td(t)为t年的普通文件的存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
6.如权利要求5所述的基于云计算的存储资源分配方法,其特征在于,所述使用不同的硬盘Raid保护方式下的容量冗余比率为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
7.如权利要求2所述的基于云计算的存储资源分配方法,其特征在于,获取所述业务系统的系统运行软件的存储容量需求的步骤包括:
获取业务系统的操作系统的所需空间容量,系统应用软件的初始化容量需求,以及其它运行软件总的初始容量需求;
按照以下方式计算系统运行软件的初始存储容量需求:
其中,O(m)为包含m种应用软件的系统运行软件的初始存储容量需求,OS为操作系统的所需空间容量,APPi为第i种系统应用软件的初始化容量需求,H为其它运行软件总的初始容量需求;
获取系统运行软件的年存储容量冗余率以及使用不同的硬盘Raid保护方式下的容量冗余比率;
根据所述系统运行软件的初始存储容量需求,所述系统运行软件的年存储容量冗余率以及所述使用不同的硬盘Raid保护方式下的容量冗余比率,按照以下方式计算所述存储容量需求:
O=O(m)*(1+Tf(t))*(1+Raid(r));
其中,O为所述系统运行软件的存储容量需求,Td(t)为t年的系统运行软件的存储容量冗余率,Raid(r)为使用不同的硬盘Raid保护方式下的容量冗余比率。
8.如权利要求7所述的基于云计算的存储资源分配方法,其特征在于,所述使用不同的硬盘Raid保护方式下的容量冗余比率为:Raid1方式增加100%,Raid10方式增加100%,Raid5方式增加50%。
9.如权利要求1所述的基于云计算的存储资源分配方法,其特征在于,进一步通过以下方式获取业务系统所需的存储资源容量:
获取该业务系统的存储资源容量的历史数据,以及历史应用的环境下的业务量和数据量,以及现有应用的环境下的业务量和数据量;
将现有应用的环境下的业务量和数据量与所述历史应用的环境下的业务量和数据量对比,获取线性比例;
将所述业务系统的存储资源容量的历史数据按照所述线性比例调整,获取所述业务系统在现有应用的环境下的所需的存储资源容量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310603747.1A CN103595815A (zh) | 2013-11-25 | 2013-11-25 | 基于云计算的存储资源分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310603747.1A CN103595815A (zh) | 2013-11-25 | 2013-11-25 | 基于云计算的存储资源分配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103595815A true CN103595815A (zh) | 2014-02-19 |
Family
ID=50085793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310603747.1A Pending CN103595815A (zh) | 2013-11-25 | 2013-11-25 | 基于云计算的存储资源分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103595815A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038392A (zh) * | 2014-07-04 | 2014-09-10 | 云南电网公司 | 一种云计算资源服务质量评估方法 |
CN105653373A (zh) * | 2016-02-25 | 2016-06-08 | 腾讯科技(深圳)有限公司 | 资源分配方法及装置 |
CN109582234A (zh) * | 2018-11-23 | 2019-04-05 | 金色熊猫有限公司 | 储存资源分配方法、装置、电子设备及计算机可读介质 |
CN110389710A (zh) * | 2018-04-20 | 2019-10-29 | 华为技术有限公司 | 分配存储资源的方法和装置 |
CN112000634A (zh) * | 2020-07-28 | 2020-11-27 | 中国建设银行股份有限公司 | Nas存储文件系统的容量管理方法、系统、设备和存储介质 |
CN112965806A (zh) * | 2021-03-26 | 2021-06-15 | 北京汇钧科技有限公司 | 用于确定资源的方法和装置 |
CN113419671A (zh) * | 2021-05-20 | 2021-09-21 | 佛山市禅城区政务服务数据管理局 | 一种个人数据空间访问控制方法及系统 |
CN114240395A (zh) * | 2021-12-24 | 2022-03-25 | 中国建设银行股份有限公司 | 一种资源交付方法、装置、计算机设备及存储介质 |
CN115310954A (zh) * | 2022-10-11 | 2022-11-08 | 南通翁海电气有限公司 | 一种it业务运行维护方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263823A (zh) * | 2011-07-25 | 2011-11-30 | 中兴通讯股份有限公司 | 一种基于云计算的通信方法及通信设备 |
CN102497409A (zh) * | 2011-12-08 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种云计算系统资源管理的方法 |
WO2013097147A1 (zh) * | 2011-12-29 | 2013-07-04 | 华为技术有限公司 | 云计算系统和管理云计算系统中存储资源的方法 |
-
2013
- 2013-11-25 CN CN201310603747.1A patent/CN103595815A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102263823A (zh) * | 2011-07-25 | 2011-11-30 | 中兴通讯股份有限公司 | 一种基于云计算的通信方法及通信设备 |
CN102497409A (zh) * | 2011-12-08 | 2012-06-13 | 曙光信息产业(北京)有限公司 | 一种云计算系统资源管理的方法 |
WO2013097147A1 (zh) * | 2011-12-29 | 2013-07-04 | 华为技术有限公司 | 云计算系统和管理云计算系统中存储资源的方法 |
Non-Patent Citations (1)
Title |
---|
陈森利 等: "云计算模式下企业存储资源管理探索", 《信息与电脑(理论版) 》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038392A (zh) * | 2014-07-04 | 2014-09-10 | 云南电网公司 | 一种云计算资源服务质量评估方法 |
CN105653373A (zh) * | 2016-02-25 | 2016-06-08 | 腾讯科技(深圳)有限公司 | 资源分配方法及装置 |
CN110389710A (zh) * | 2018-04-20 | 2019-10-29 | 华为技术有限公司 | 分配存储资源的方法和装置 |
CN109582234A (zh) * | 2018-11-23 | 2019-04-05 | 金色熊猫有限公司 | 储存资源分配方法、装置、电子设备及计算机可读介质 |
CN112000634A (zh) * | 2020-07-28 | 2020-11-27 | 中国建设银行股份有限公司 | Nas存储文件系统的容量管理方法、系统、设备和存储介质 |
CN112000634B (zh) * | 2020-07-28 | 2023-11-14 | 中国建设银行股份有限公司 | Nas存储文件系统的容量管理方法、系统、设备和存储介质 |
WO2022199204A1 (zh) * | 2021-03-26 | 2022-09-29 | 北京汇钧科技有限公司 | 用于确定资源的方法和装置 |
CN112965806B (zh) * | 2021-03-26 | 2023-08-04 | 北京汇钧科技有限公司 | 用于确定资源的方法和装置 |
CN112965806A (zh) * | 2021-03-26 | 2021-06-15 | 北京汇钧科技有限公司 | 用于确定资源的方法和装置 |
CN113419671B (zh) * | 2021-05-20 | 2022-02-18 | 佛山市禅城区政务服务数据管理局 | 一种个人数据空间访问控制方法 |
CN113419671A (zh) * | 2021-05-20 | 2021-09-21 | 佛山市禅城区政务服务数据管理局 | 一种个人数据空间访问控制方法及系统 |
CN114240395A (zh) * | 2021-12-24 | 2022-03-25 | 中国建设银行股份有限公司 | 一种资源交付方法、装置、计算机设备及存储介质 |
CN115310954A (zh) * | 2022-10-11 | 2022-11-08 | 南通翁海电气有限公司 | 一种it业务运行维护方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103581339A (zh) | 基于云计算的存储资源分配监控处理方法 | |
CN103595815A (zh) | 基于云计算的存储资源分配方法 | |
Daki et al. | Big Data management in smart grid: concepts, requirements and implementation | |
CN100530133C (zh) | 用于在网格环境内管理工作负荷的方法和系统 | |
CN103281344B (zh) | 用于混合云的服务使用的集成计量的方法和系统 | |
CN106020715B (zh) | 存储池容量管理 | |
CN103283208B (zh) | 基于云计算的远程实时监控系统 | |
US9716746B2 (en) | System and method using software defined continuity (SDC) and application defined continuity (ADC) for achieving business continuity and application continuity on massively scalable entities like entire datacenters, entire clouds etc. in a computing system environment | |
WO2017036244A1 (zh) | 配电网数字仿真系统 | |
CN105407159B (zh) | 物流运输位置服务系统 | |
CN112425137A (zh) | 建模和模拟IoT系统的系统和方法 | |
US8433675B2 (en) | Optimization and staging | |
CN103299274A (zh) | 确定运行图像的最佳计算环境 | |
WO2015039122A1 (en) | Client-selectable power source options for network-accessible service units | |
US20100063643A1 (en) | Policy-based energy management | |
CN116614385A (zh) | 基于数字孪生的业务调度路径规划方法、装置和设备 | |
EP4274048A1 (en) | System and method of energy supply chain management and optimization through an energy virtual twin | |
US11579982B2 (en) | Calculating bandwidth requirements for a specified recovery point objective | |
Biran et al. | Federated cloud computing as system of systems | |
US12158797B2 (en) | Intelligent dynamic condition-based infrastructure maintenance scheduling | |
Hussain et al. | Fog assisted cloud models for smart grid architectures-comparison study and optimal deployment | |
CN117331750A (zh) | 一种数据库容灾系统和数据库容灾方法 | |
CN207704481U (zh) | 城市能源全景交互式大数据平台管理系统 | |
Mendes et al. | Decision-theoretic planning for cloud computing | |
Jarvis et al. | Open issues in grid performability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140219 |