大数据背景下制造企业运营数据分析平台建设
陈频 当代经济

随着我国科学技术水平的不断发展, 计算机网络技术的广泛应用, 我国已经步入了大数据时代。在大数据背景下, 各种繁杂的数据层出不穷, 一时难以掌握其基本特征及一般规律, 这也给企业的运营数据分析工作增添了不小的难度。在大数据的背景下, 基于大数据前沿技术构建企业运营数据分析平台受到越来越多的企业的重视, 在具体的数据分析工作中, 也起到了越来越重要的作用。

运营数据分析平台建设,首先要满足ERP系统上线以来日益增长的数据分析需求,快速掌握业务状况,发现业务问题与偏差,促进管理改进,利用准确、及时的信息制定业务决策。其次,迎接大数据时代企业面对的诸多内外部挑战,从不断加速产生的大量数据中攫取有价值信息,发现和创造新的商业机会;优化企业业务流程,控制风险、提高效益。本次项目摒弃传统的数据分析平台建设模式,将运营数据分析与大数据平台建设相结合,打破不同应用系统、信息来源的界限,对海量数据进行有效组织、存储,加以分析并转化为有价值信息。

平台建设将以展现整体业务现状和服务决策层为主要目标,以ERP系统的数据为核心,结合系统外部已获取的产品运维数据,实现相关业务数据展现和数据透明化。在技术实现上,采取先进的大数据应用技术作为企业整体数据管理的基础结构,借助云计算数据处理与应用模式的广泛运用,为公司处理日益增长的海量数据,实现高效、可扩展的低成本解决方案。深化和拓展公司商业智能和知识服务能力,提高经营决策效率,实现从“业务驱动”到“数据驱动”的转变。

 

一、建设目标:

运营数据分析平台旨在规划和建设以Hadoop为核心的大数据平台,采取分布式的基础架构,开发大数据应用管理工具;以企业ERP系统数据作为分析基础,利用大数据技术集成应用系统外部的产品运维及服务数据,结合公司战略目标,经营指标及上级控制指标,建立分析模型,对企业财务、销售、生产、采购、库存等关键指标进行分析,实现数据可视化展示,通过数据分析发现从销售到生产执行过程中的问题,层层追溯和挖掘找出原因,逐步加强业务数据的真实体现,深入分析,聚焦业务洞察力,从而增强信息透明度,提升决策及管理数据的真实性,实效性,一致性,为决策层提供可视化管理与决策信息,进一步提高决策层对于业务数据的关注度,推动提升公司信息化应用(基础数据及业务操作规范性、业务数据真实性、完整性)。建立完善的运营数据后台管理系统,实现对分析展示系统的用户访问、业务操作及系统运行状态监控等进行有效管控。

 

二、关键技术:

(一)总体架构

运营数据分析平台架构设计需要遵循稳定性、安全性、通用性、灵活性、可扩展性等设计原则,旨在建立统一的运营管理数据架构体系,为未来多系统的数据集成提供处理平台。整体架构设计如下图所示:

image.png

整体架构按数据处理流向设计,自下向上分成五个部分,依次是数据源、数据存储与治理、数据仓库与数据分析、数据分析结果可视化以及数据处理过程中的任务调度管理部分。

 

(二)关键技术

运营数据分析平台要求满足数据处理采集、存储、计算、应用,能够同时满足PB级的结构化和非结构化数据的快速处理需求。其关键技术如下:

(1)平台整体架构采用虚拟化云计算及分布式计算架构设计,主要分基础设施层、支撑软件层、安全保障体系、服务保障体系组成;

(2)实现基于Hadoop的大数据开发和运行环境;

(3)实现基于大数据的HDFS分布式文件系统存储;针对于小文件优化的分布式文件系统;

(4)充分考虑公司未来的数据增长,满足海量数据存储需求;

(5)实现基于Hive数据仓库及数据集市建设分析;

(6)实现基于HBase的快速响应数据存储支撑;

(7)实现基于Oozie的数据分析Job配置管理;

(8)提供面向非结构化数据的NoSql数据库服务功能;

(9)提供行业业务数据的大数据分析引擎;根据公司业务需求及数据特点,提供Spark分析计算框架,确保数据的并行计算和实时分析以及系统的响应效率;

(10)提供机器冷数据(非业务数据)的数据分析引擎和算法工具;

(11)提供基于HTML5等技术的系统页面设计和展示;基于Echart、D3、Jquery等开源软件实现丰富的图表展现;

(12)能提供大数据云化服务平台,封装数据接口服务和大数据分析云服务以及大数据读写存储云服务;

 

三、运营分析:

通过整合企业内部核心业务数据与外部产品数据,基于运营分析平台汇总分析,最终输出如图3-1所示的分析汇总结果:

图2左上板块呈现了企业营收及利润数据,包括企业应收及回款,助于企业决策层了解企业财务状态。

图2右上板块呈现了企业营销数据,包括企业合同签订、市场各板块销售等,助于企业决策层了解企业营销状态,针对各板块销售占比高低不同制定相应的营销策略。

图2左中板块呈现了企业生产数据,包括生产订单的交付、资金占用等,助于企业决策层了解企业生产状态,提供改进生产过程、提高生产效率的决策依据,如针对交付晚点的订单,研究如何提高正点率;如对于资金占用额度大的订单、资金周转天数多的如何加快资金周转效率等。

图2右中板块呈现了企业采购及库存数据,包括采购正点、库存资金积压等情况,助于企业决策层了解企业采购及库存状态,提供改进采购过程、降低库存积压的决策依据,如针对采购到货晚点的情况,研究如何提高正点率;如对于库存积压较大生产要素如何降低库存、加快库存资金周转等。

图2左下板块呈现了企业产品故障数据,助于企业决策层了解企业产品的故障状态, 对于占比较高的故障类别、排名靠前的故障产品型号,可以研究制定改进生产工艺,降低产品故障率的方法。

图2右下板块呈现了企业质量损失数据,助于企业决策层了解企业因产品质量问题导致的经济损失的状态,对于因质量问题导致经济损失额度较高异常月份,可以形成重点关注。

综上所述,通过直观生动的展现方式,采用不同颜色的预警和异常提示,以整体视角呈现企业运营状况,为企业决策提供直观、数据化的有力参考依据。运营数据分析平台是建设一套卓越的企业经营管理决策支持系统,深化数据应用,为满足公司现阶段的管理要求及未来业务发展的需求,提升公司整体信息化水平,进一步促进企业未来的快速发展。

 

四、参考文献:

1、《制造企业ERP深化应用评价指标体系构建及综合评价》 企业经济  经营谋略 (2013年06期)    王婷; 陈晓;

2、《基于SAP BW系统的数据仓库模型建设——数据仓库技术在电力企业ERP中的应用》辽宁工程技术大学学报(社会科学版) (2014年02期) 陈频;刘松先;

3、《大数据挖掘技术在企业ERP中的应用研究》

当代经济 (2018年02期)   陈频; 刘松先;


CIO之家 www.ciozj.com 公众号:imciow
关联的文档
也许您喜欢