中小企业客户关系管理数据仓库的构建研究

1 数据仓库的概念和特征

20世纪80年代中期。美国著名信息专家William H.Inmon在《建立数据仓库》一书中提出“数据仓库”的概念：数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合。一个完整的数据仓库包括3个要素：数据、技术和应用。数据仓库主要具有以下特征：①面向主题。主题是用户进行决策分析时所关注的业务的重点方面。数据仓库是关注决策者的数据建模与分析，进而提供特定主题的简明视图。②数据集成。数据仓库中的数据从独立的多源数据库中通过加工、汇总和整理精华抽取的，以确保数据仓库中的数据是关于企业的一致性的全局信息。③信息稳定。一般情况下，一旦某数据进入数据仓库，就将会被长期保存，修改和删除操作很少。只是定期地进行加载和刷新。④反映历史数据。数据仓库系统地记录了企业从过去某阶段到目前的各个阶段信息，利用这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

2 中小企业在数据仓库应用过程中的需求特点

与应用主流数据仓库构架的大型企业客户关系管理系统相比，中小企业具有以下需求特点：

(1)中小企业机构设置简单，部门少，远没有大型企业复杂。数据量也小，因此设定部门级数据集市的实际价值不大。

(2)中小企业规模有限，现金流少，筹融资渠道狭窄，融资能力弱，这就决定了面向中小企业的数据仓库的构建成本和使用成本必须要低。

(3)中小企业的业务人员业务分工不明确，常常需要进行跨数据集市之间的数据分析，而主流数据仓库实现跨数据集市数据分析的技术非常复杂，中小企业需要的是简单易用的跨数据集市数据分析的技术。

(4)中小企业的业务灵活，企业的业务发生变化快，要求数据仓库能适应业务变化且整体投资不会迅速增加，其管理的复杂性也会大大增加。

3 中小企业客户关系管理数据仓库的构建

根据中小企业在数据仓库应用过程中的需求特点，建立数据仓库可以解决依据主题进行数据挖掘的问题，提高访问速度。本文采用基于主题来构建数据仓库。

3.1 构建数据仓库过程

(1)确定中小企业数据仓库的主题以及主题涉及的相关业务过程。

(2)建立中小企业数据仓库维度模型。

(3)生成数据仓库：设计接口、数据的抽取、转换和加载等。

(4)应用开发和维护：数据仓库的前端查询报表、数据管理以及优化和维护等。

3.2 数据仓库的主题

数据仓库的主题确定关系到企业数据仓库实施的成败以及目标和任务的评估，客户关系管理数据仓库按照企业业务分域一般应确立客户、营销、客户服务3个核心决策主题。

(1)客户主题。客户主题包含与客户相关的基本信息，如客户的自然属性(姓名、年龄、职业等)、分类信息(现有客户、潜在客户、大客户等)、重要属性信息(信用度、忠诚度、消费层次等)。

(2)营销主题。营销主题包含销售机会、营销渠道、促销活动等相关信息。

(3)客户服务主题。客户服务主题包含与客户服务相关的部门信息、流程信息、分类信息、互动成本、解决投诉的时间、客户满意率或不满意率等。

3.3 中小企业数据仓库维度建模

根据中小企业客户关系管理数据仓库的主题确定了相关的业务过程，定义合适的颗粒度。选取对应的维度，形成完整的维度模型。

维度模型组织数据的方式简单、直观，而且能够保持较高性能的数据访问。维度模型由多个多维数据模式构成，包括若干事实表和一组维表，多维模型有星形模式和雪花模式。

在星形模型中，事实表处于中间，多个维表分布于四周，并与实施表进行连接。位于星形模型中心的实体是用户主要关心的基本实体和检索的中心，为数据仓库的查询提供数据支持。雪花模型是对星形模型维度表的进一步细化。将某些维度表变为事实表，以方便不同级别用户的查询，同时可以将源数据通过规范化的联系进行综合，尽量减少数据存储量，提高了检索功能。

通常，企业的数据源分布在企业不同部门、各子系统和节点中，利用ETL(Extraction Transformation Loading)工具能够将分布于各处的业务系统上的数据抽取、转换、装载到数据仓库。由于现有业务数据源很多，只有保证数据的一致性，真正理解数据的业务含义，跨越多平台、多系统整合数据，才能尽最大可能提高数据的质量。适应企业业务需求不断变化的特性，是ETL技术处理的关键。

3.4.1 数据抽取

数据抽取就是从外部异构数据源抽取数据，业务人员和设计人员需要分析讨论制定最后的抽取策略。将选中的各种业务处理系统及不同网点的分散数据和一些外部数据抽取到DW(Data Warehouse)开发平台。以备后面的数据处理使用，这一步对应着概念数据模型(CDM)。它是为ETL的数据获取步骤服务的数据模型。

数据抽取可以分为数据全量抽取和数据增量抽取。全量抽取主要通过ETL工具将数据源端的指定数据字段的全部数据都抽取出来，放入数据临时存储区，然后进行加工转换，再装载到目标数据库中。全量抽取完成后，后续的抽取过程只需要抽取自上次抽取源表中新增或被修改的数据，称为增量抽取。

3.4.2 数据转换和清洗

数据转换是根据敬据仓库系统模型的要求真正将源数据变为目标数据的关键环节，它包括数据格式转换、数据类型转换、数据汇总计算、数据拼接等，以保证来自不同系统、不同格式的数据的一致性和完整性，并按业务要求装入目标表。

由于元数据库存在的数据格式错误、数据不完整性、数据不一致性问题不能满足目标数据库的要求，所以进行数据清洗是必要的。数据清洗就是将错误的、不一致的数据在进入数据仓库之前进行更正或者删除，以免影响决策的正确性。我们必须针对系统的各个环节通过试抽取，将有问题的记录先剔除出来，根据实际情况调整相应的清洗工作。

3.4.3 数据加载

经过转换和清洗的数据需要加载到数据仓库中，有两种数据装载方式可供使用：一种方式是应用开发软件PowerBuilder在源数据库中预览数据后，将数据利用Save Row As保存；再利用PowerBuilder的数据Import命令，将源数据导入数据仓库的表中。另一种方式是利用Sybase软件提供的存储过程(Procedure)功能，通过编写存储过程代码，来实现数据仓库中表数据的加载。除了加载表外。加载任务还包括：管理数据行、建立表索引和表约束、汇总表，以及对表进行检索、连接、排序和合计等操作。

4 结语

随着CRM(客户关系管理)在中小企业经营过程中的应用与发展，企业生产、销售和经营管理数据等相关信息不断增加。数据仓库已经成为中小企业(当然也是大型企业)组织、管理信息最有效方式。基于数据仓库的CRM，具有数据挖掘和在线分析OLAP(On-Line Transaction Processing)、报表等分析功能。可帮助中小企业提高市场决策能力、完善经营计划，从而使中小企业获得竞争优势。