企业大型信息系统数据归档技术
杨俊 网络
  武钢整体产销资讯系统为企业的原料采购、生产、质检、库存、发货、财务结算及组织的人事管理和办公自动化等各方面都提供计算机管理;整体产销资讯系统二期工程包括硅钢厂整体产销系统,型线材生产线的一炼钢、大型、高线和棒材厂整体产销系统,企业决策支持系统,客户关系管理系统,生产储区优化管理系统,物流供应链管理系统,设备管理和工程管理,电能计量无线传输系统,企业信息门户等九大系统。

    随着一期、二期各子系统的逐步投运,促进了企业业务流程优化,极大地提升了企业现代化管理水平,逐步实现了信息化,同时也越来越依赖产销系统的正常平稳运行。目前产销系统主要使用IBM大型主机和RS/6000开放平台小型机,有近14000支程序,计1200万条可执行语句,数据量共计达到约1TB数据容量。从企业数据安全性、重要性及统一管理角度着手,迫切需要通过不断研究和摸索,整理出一套针对产销系统切实可行、统一管理的数据归档系统,其目的意义在于:整合大型主机平台的各类数据信息,实行统一归档,统一管理,充分体现数据的安全性及自动化管理的特性,极大地提高武钢信息化系统的数据管理水平。数据归档体系充分利用现有软硬件资源,如调度控制软件、作业管理软件及自动虚拟磁带库等等,整合大型机平台各个子系统的数据归档管理,实现归档数据的自动化管理及保存,极大提高了数据归档的高效性,以及数据管理的安全性和统一性。

1 系统概述

    随着产销系统日积月累地运行,数据库中积累了大量的应用业务数据,数据量和应用系统使用成几何倍数增长,导致产销系统负荷不断加重,日趋变慢,同时维护人员的工作量也越来越大,由此可能造成产销系统不稳定,影响武钢的正常生产经营。为了改变现状,优化产销系统,保障系统运行的稳定性,提高硬盘和CPU利用率,加快应用程序的执行速度及性能,因此需要对产销系统数据实施数据归档管理的研究。

    为了提高硬盘和CPU的利用率,以及应用程序的执行速度及性能,合理地利用现有资源,经过反复论证以后,决定对部分表里的数据进行清理及归档处理,充分利用自动虚拟磁带库资源特性,将应用数据进行统一归档管理。通过定期对数据进行归档,将使产销系统性能得以提高,系统运行效率会得到明显改善,大大提高访问速度和响应时间。

    武钢整体产销系统实施数据信息归档,将会获得更多明显的效益,表现在:①主存储的空间无需升级扩容,归档存储比主存储设备价格便宜,同时得到更多容量;②归档之后主存储的压力降低,维护费用随之降低,并且归档设备维护相对简单,节约维护成本;③数据归档之后,数据的丢失风险就会减少;④数据归档能够确保数据安全性,数据完整性及数据统一性,便于管理。通过数据归档系统和软硬件平台,实现部分数据经济高效归档,降低风险和运营成本,提高数据内容的利用率,确保IT信息化高速发展。

2设计方案

    (1)整体架构

    产销资讯生产系统主机平台应用系统分为生产、销售、技术质量、出货、财务五大系统;按照应用子系统划分为热轧生产排程、半成品管理、质保书、订单追踪、冶金规范、产品规范、成本管理、产副品管理、普通会计、销售订单管理、销售客户管理、型线棒生产管理等30多个子系统;开放平台应用系统分为备件库存管理系统、材料库存管理系统、系统流程信息、普通会计管理系统、应付账款管理系统、资本支出管理系统、固定资产管理系统、工务管理系统、工程进度管理系统、原料存货管理系统、网上销售系统等20多个子系统。

    数据归档基本原则:针对应用数据,对于已经结案的订单,并且交货时间为半年以前,同时该订单所属的成品及半成品全部处理完毕的这类数据,实施数据归档。见表1。

 

表1 数据归档应用系统对象分类

    整体架构即硬件架构和系统逻辑架构分别见图1和图2。

    (2)数据归档方式

    分类为定期及不定期数据归档两种类别。

 

图1 硬件架构图
 
图2系统逻辑架构图

 1)定期数据归档。该类数据归档的数据对象主要针对生产系统的日积月累的业务数据,由于每日数据量的不断增加,需要对该类数据进行定期定时的数据归档动作,使得数据归档自动化,定期化,以保证应用系统及系统资源的高效使用。

    2)不定期数据归档。该类数据归档的对象主要针对应用系统中数据量较大的数据,或使用非常频繁的数据,采取不定期的集中数据归档,保证对系统及应用资源的影响最小。

    数据归档将通过反复论证及调试,总结经验,形成一套规范,一项制度,将数据归档纳入日常运行范畴,使得数据清理自动化,定期化,定量化,成为一套完整的数据清理及归档规范制度。

    (3)数据归档基本原理及步骤流程

    1)基本原理。首先从业务的角度对产销系统的应用数据进行分析、分类,整理需要归档数据的表单,并确认归档目标数据的表源及数据量,针对目标表选择相应的归档方式及编制对应的批次程序。然后对需要归档的表建立对应的过渡表,最后通过应用程序(或SQL语句)将数据转人过渡表,并确认无误。具体过程如图3所示。

 

图3 数据转移、归档和恢复过程示意图

    2)数据存放。根据归档规则。可以直接保存在过渡表中以供使用,也可以通过系统程序将其归档到磁带上。

    3)实施步骤。由应用开发人员提供转移数据所用的批次程序,系统与应用人员共同执行。为保证归档过程的稳定和恢复的可靠,所用的程序或语句必须固定,每次运行只可修改相关的时间参数。为了核对转移数据数量,批次程序必须在程序中统计列出源数据表和过渡表在转移前后的记录数情况。具体步骤如下:

    ①在每月的月备份或指定备份完成以后进行;

    ②应用开发人员根据归档需要,修改相关的时间参数;

    ③调整过渡表的空间,以备归档之用;

    ④使用批次程序进行数据归档,提交作业,应用与系统人员共同确认是否成功,保留相关的作业日志;

    ⑤系统人员根据需求,通过系统程序将过渡表的数据保存到磁带上;

    ⑥保留数据归档作业的日志信息;

    ⑦应用与系统人员共同整理各表归档的记录数;

    ⑧确认无误后,本次归档完成。

    4)命名及介质管理等规则。

    ①过渡表的格式。对应过渡表采用与源数据表相同的结构和命名方式,将第二位字母由B改为K,例如:源表为TBAA01,则相应的过渡表为TKAA01;

    ②归档介质的管理。为提高数据的访问速度,归档数据保存在磁盘或磁带库中;

    ③过渡表数据转移至磁带规则。通过定期的检查,若过渡表中数据量超过2 000万条,则将过渡表数据转移至磁带;

    ④数据保存至磁带策略。为了保证数据的可恢复性,数据保存至磁带时采用双份保存策略。

    ⑤数据保存时限。15年。

    5)数据在线查询及恢复机制。

    数据在线查询:根据所需数据的实际情况,采用查询TK过渡表的原理,通过应用程序或SQL语句直接访问过渡表,以供使用。

    数据恢复机制:首先判断所需数据存放的介质,若在磁盘的TK表中,则通过应用程序或SQL语句恢复到源数据表中,以供使用;若在磁带中,则将磁带上的数据通过系统程序恢复到过渡表中,在确认为所需数据而且完整后,再通过应用程序或SQL语句恢复到源数据表中,以供使用。为了保证数据的完整性,在相关步骤成功完成后,任何数据不会同时存在于源数据表、过渡表或归档磁带中。

    数据可恢复性策略:为了保证数据的可恢复性,数据保存至磁带时采用双份保存策略。3系统运行效果

    (1)运行情况跟踪

    截止2009年11月,产销系统对用户提出的数据归档需求开发了相关程序,并按要求实施数据归档,达到了预期效果。

    (2)应用效果

    数据归档体系的研究充分利用现有软硬件资源,整合产销系统平台各子系统的数据归档管理,实现归档数据的自动化管理及保存,提高了数据归档的高效性,体现自动化管理特性、数据管理的安全性和统一性,并且有效地提高了产销系统的性能和应用访问速度,充分体现出武钢信息化系统的数据管理水平。

    整个项目体系在持续不断的改进过程中,保证数据管理的安全性、合理性、可用性,建立一套完整的产销系统数据归档体系,对提高系统性能,提高人员工作效率,降低软硬件、人力等成本方面,起到了积极的作用。

    数据归档体系针对产销系统主机平台热冷轧定单追踪系统、硅钢管理系统、轧板系统、方坯存货系统、板坯系统、方坯一炼钢计划系统、炼钢排程系统、质保书管理系统、DHCR系统、定单处理系统等等;开放平台针对材料采购系统、备件采购系统、信息管理系统、材料管理系统、备件管理系统等;通过对产销平台数据进行数据归档,将使产销系统性能得以提高,系统运行效率得到了明显改善,大大提高访问速度和响应时间。

    数据归档体系运行以来,系统性能得到一定改善,使用稳定可靠,故障率低,效率高。

4结束语

    数据归档体系在武钢产销系统上的成功应用,不仅提高企业信息化整体技术水平,合理地规划和使用系统资源,实现产销生产、测试各平台之间的高效访间,突破大型机数据库数据归档及数据管理的关键技术,逐步掌握对产销系统数据定期归档、硬盘管理规划、数据库性能、生产数据的流程管理技术,提高整体产销系统运行稳定性,高效性河靠性。达到系统各平台应用测试及数据平滑迁移的高效性、稳定性。填补了数据归档管理信息系统与产销生产系统之间的空白,也必将给企业创造出更加巨大的经济效益和社会效益。

CIO之家 www.ciozj.com 公众号:imciow
关联的文档
也许您喜欢