基于云存储的在线存储与在线备份系统的设计与实现
网友 网络
现代企业在信息化建设中面临诸多困难和门槛,如自建存储备份系统的成本投入高、需要专门的维护保障人员,而且随着业务的快速增长,存储系统窬量很难与业务的增长相匹配等。郑州高新技术产业开发区是国家级高新区,园区内中小企业众多,它们同样面临上述问题。但是,采川传统的存储格局已难以满足业务发展的需要,为此作者为郧州高新区管委会设计了华赛33000云存储系统,通过简单易用的运营服务、平台向企业用户租(售)存储空问,为企业用户提供一个安全高效、稳定可信赖的信息共享和数据存储备份服务平台。这种服务模式对于帮助中小企业有效开展经营和管理相关业务、提升企业的核心竞争力,无疑具有苇要意义。本文基于作者设计的这个实际项目,完整描述基于云存储的在线存储与在线备份系统的主要技术特征,并通过测试系统的整体性能,验证了系统的可行性。

1 云存储系统

云计算正在成为计算机和互联网领域的新热点,它的终极目标是打造一个类似于电力系统和供水系统的建设与运营模式的全新IT系统——统一建设、集中运营,而用户则按需使用、按量付费。

云存储作为云计算的重要组成部分,其应用前景十分广阔,本项目所采用的华赛T3000云存储系统采用基于对象存储的分布式非对称架构,是一个具有高可靠性、高性能、高扩展性的分布式存储系统,能提供高吞吐量的数据访问、在线存储和在线备份。云存储系统的体系架构如图l所示。

 
图1 云存储系统体系架构

2 在线存储与在线备份系统设计

2.1项目总体架构

项目总体架构图如图2所示。

 

 
 整个系统包括的部件如下。

1)存储层:采用基于对象的分布式存储,为应用层在线存储、备份提供专用文件访问接口,实现对文件和目录的标准操作并提供存储空间;提供安全、高性能、易扩展的存储系统,可支撑数千用户的存储与备份需求。

系统采用Active/Standby模式(主/备模式)以保证数据的安全存储,底层分布式存储系统集群是由至少2个MDS(meta data server,元数据服务器)、一定数量OSN(object storage node,对象存储节点)、CA(client agent,客户端代理)和CMS(cloud manage—ment server,云存储管理服务器)组成,系统通信图如图3所示。

 

图3 系统通信图

底层分布式云存储系统与上层在线存储、在线备份服务端相结合,为在线存储、备份服务提供存储空间,从而实现了存储空间的呵管理和可运营。存储系统硬件采用华赛Oceanspace T3000存储没备,它是专门针对云存储业务特性而设计的存储节点设备,具有高效、节能、开放、简化管理等特点。

2)基础管理层:通过使用集群、分布式文件系统和网格计算等技术,实现多个存储设备之问的协同工作,并提供更大更强更好的数据访问性能。内容分发和数据加密则保证系统中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

3)接口层:既适用于高带宽的城域网接入,也适用于Intemet网接入。支持WebBrowser(网页浏览器访问模式)和Client(客户端访问模式)2种接入方式。灵活的接入方式可以满足用户在任何时间、地点、使用终端,都可享受服务。

4)应用层:即在线存储、在线备份系统,包括在线存储、在线备份服务端和灵活的客户端2部分。具体的功能模块如图4所示。

应用层提供可运营的在线存储、在线备份服务,其中在线存储服务主要针对个人用户的Microsoft Office文件、多媒体文件、图片文件等类型文件的存储。在线存储支持上传文件的多版本管理和Office文件的在线编辑,同时,支持多媒体文件的在线播放和图片文件的在线浏览等功能。在线备份服务主要针对企业级用户应用服务器的文件及数据库进行备份,提供备份和恢复策略以保护企业数据的绝对安全。

 

 

2.2系统设计流程

基于云存储的红线存储与在线备份系统提供了企业级和个人级2种应用服务,通过运营平台为其提供各类存储和备份服务。该系统用户包括运营商管理员、企业管理员、企业员工和个人用户。

其中运营商管理员主要负责服务套餐的发布、审核用户信息、用户账户管理、系统维护和设备管理等。企业管理员使用流程如图5所示。在企业管理员购买在线存储和在线备份服务之后,该企业的员工即可使用相应的账户访问该系统了;如果企业管理员没有分发账号,那么员工必须先填写注册信息供管理员审核,审核通过后即可使用。不同仓业中相同姓名的员工账户也不会出现冲突,因为企业管理员申请成功后,该企业员工只能进入本企业的域名空间使用本企业所购买的服务。

个人级用户的使用流程与企业管理员相似,也需要注册、选择服务类型和支付手段、提交订单等待审核,最后使用服务。

3 系统特性

3.1 完善的数据安全保护

在线存储与在线备份系统为用户提供了完善的数据安全保护方案,无论上层应用层还是底层存储层都提供了多级数据保护措施。

 

 图5 企业管理员使用流程图
3.1.1存储层的数据保护

1)云存储系统基于硬件RAID副卡提供节点内Raid5方式的数据可靠性保护。

2)每台存储设备配备2块热备盘,存储设备会在某一硬盘存在故障隐患前使用热备盘取代故障隐患硬盘,并自动将有隐患的硬盘数据重建于热备艋中。

3)数据以对象方式存储,同一个对象会分别写入2个存储设备中,即采用双备份写的方式,从而保障当其中一台设备出现故障时,系统对数据的访问无影响。

3.1.2应用层的数据保护

1)上层在线存储、在线备份系统服务器冗余设计。

2)用户登录需验证用户身份的合法性,只有合法用户才能进行与其权限相关的存储和备份操作。

3)用户存储的数据以对象方式存储,从而保证数据对其他非授权人员(含系统各级管理人员)不可见,确保了用户的数据安全。4)用户在使用在线存储、备份系统上传文件的过程中,可以选择使用多种特定的加密算法对需要上传的文件进行加密,同时通过SSL加密保证在传输过程中的数据安全。

3.2其他特性

系统具备完善的性能监控,能够监控系统性能、系统资源,支持多种级别的日志和报警功能,还支持存储节点问的负载均衡。

4 系统测试

4.1测试组网图

系统测试组网如图6所示。

该测试组网图用于测试基本业务功能、部分高级业务功能、可靠性和可维护性。该方案主要由在线存储、在线备份业务服务器和云存储构成:其中华为RH2285服务器作为业务服务器,接入业务网络,提供业务访问;在线存储、在线备份业务服务器通过私有IP网络访问后端云存储,业务数据集中存储在云存储中;云存储包括巫山分布式文件系统和13000存储服务器,逻辑由对象存储节点(OSN)、元数据服务器(MDS)组成,可通过添加存储节点(OSN)实现存储空间的动态扩展;S5000作为云存储MDS集群和数据库、Portal服务器共享盘阵配置使用。

4.2测试结果

测试软件使用8。0版本的LoadRunner,由于测试用例较多,在此只列举部分测试用例:不同并发用户数量时用户首次登录与再次登录的平均响应时间对比;不同并发用户数量时用户端流量统计。不同并发用户数量时用户首次登录与再次登录的平均响应时间对比如图7所示。

从图7可知,再次登录的响应时间足首次登录的1/4左右。首次登录花费时间较长是因为在用户第1次登录时不仅包含登录操作,系统还会对用户的信息进行初始化。

不同并发用户数量时用户登录的平均响应时间如图8所示。不同并发用户数量时用户端流量统计如图9所示。

图9中a)和b)分别是100和200个用户并发上传时压力机的流量记录,可见流量的峰值达到了100%,平均值在50%~100%之间,流量正常。以上情况均说明当前业务场景下,数据传输瓶颈是网络带宽,系统各指标正常,系统本身不存在任何性能瓶颈。

 

 
 图6 系统测试组网图
 
 

图8 不同并发用户数量时用户登录的平均响应时间

不同并发用户数量时用户端流量统计

图9 不同并发用户数量时用户端流量统计

5 结语

本文针对中小企业所面临的存储困难设计并实现了一个可运营的在线存储和在线备份系统。该系统是基于云存储建立的应用系统,包括云存储系统的体系架构,在线存储与在线备份系统的部署、功能部件、系统的设计流程和功能特性,它不仅为该园区内的中小企业提供企业级文件及数据库的在线存储和备份服务,而且很好地解决了企业在信息化建设过程中面临的实际困难。从实际运营的结果图可知,该系统可满足企业用户的存储和备份需求,各项指标运行正常,是可行的、高效的。

CIO之家 www.ciozj.com 公众号:imciow
关联的文档
也许您喜欢