京东数据可视化系统的建设之路
应用架构部 IPDCHAT

背景概述

京东商城流量分析有以下几个关键时间节点:

blob.png

007年基于Google Analytics, 2011年开始京东独立监测, 2015年1月流量可视化产品应运而生, 2016年丰富产品使用场景打造出数据可视化系统。

这一探索经历了由依赖外部数据产品到数据产品独立自研,再到数据产品创新化丰富化智能化发展的过程。目前基于dataflow实时计算引擎的数据可视化系统主要产品包括:流量可视化、实时营销分析、京东易表、京东视界等,本文将对现有数据可视化系统相关产品进行梳理与简要介绍,描绘出基础平台数据可视化产品的全景图。

blob.png

产品全景图

数据可视化系统基于dataflow实时数据引擎,根据不同的用户需求,研发出针对京东商城页面流量分析、营销效果分析的流量可视化及营销分析产品;并在此基础上强化报表的输出与展现,研发出京东易表这一产品;同时在以上产品的积淀下,拓展产品应用场景,推出将作战指挥室、生产可视化、实时竞速平台等集成的京东视界,就此数据可视化系统建立,打造成为基础平台实时数据计算技术与可视化技术结合的产品体系。下面将对目前数据可视化系统内主要产品进行介绍:

流量可视化

 产品概述

流量可视化是一款基于网站流量数据分析、访客行为与转化分析的产品,流量可视化插件是此系统的重要组件,安装此浏览器插件后,可直观、便捷、实时地查看各项分析数据,以创新化的实时数据展现形式,支持运营决策、网站优化等。目前流量可视化服务于内部用户及外部商家用户,覆盖京东PC端和无线端页面,保证数据完整性;同时流量可视化产品基于完善的权限管理系统,结合多种授权方式,保证数据的安全性;此外,流量可视化产品开放多种数据下载与订阅方式,保证数据时效性。

blob.png

流量可视化页面级展现

blob.png

注:以上页面数据均为测试数据

 系统视图

blob.png

以上为流量可视化目前系统视图,全方位建立实时流量展示与分析的产品框架。

 功能概述

1.数据

  • 页面数据查看:页面每日趋势、今日实时数据在对应页面直观展现。今日实时和历史的PV 、UV、订单转化率等数据毫秒级刷新,数据实时掌控,各个资源位的点击量,一目了然。

  • 多指标综合分析:记录指标包括PV、UV、访次、引入订单量、引入下单用户数、引入商品数量、引入订单金额、订单转化率等在内,可进行点击分析、趋势分析、上游分析等,数据详细记录全面,针对页面进行全方位综合诊断。

2.展示

  • 邮件订阅:订阅自动推送,自助配置,保证数据时效性;满足个性化数据获取需求,多样化数据推送方式,轻松获取日常数据。此外,邮件订阅与京东易表产品打通,丰富现有数据报表的展现形式,提升用户进行数据分析的效率。

  • 用户行为分析:点击热力图、注意力分布图、到达深度图、渠道热力图,多角度综合分析,全方位了解用户。

3.平台

  • 内外部平台打通:除了服务于内部运营、数据分析、采销等人员,流量可视化同时服务商家,丰富现有产品应用场景,根据商家需求打造个性化针对性数据产品。

  • 多平台覆盖:覆盖PC、无线端(手机网页、APP、微信手Q)数据全平台展示,保证数据完整性。

4.权限管理

  • 完善的权限管理:自动授权与手动授权结合,多种授权方式,保证数据安全性。同时打造多种授权用户角色,促进权限授予的自动化自主化。

  • 权限一脉相承:流量可视化与其他数据可视化产品授权机制联通,避免权限的冗余及重复操作,提升整体效率,保障用户体验。

 产品价值

目前流量可视化产品服务于京东内部运营、采销、市场、策划、用户研究、数据分析等不同角色的员工,涉及近100个部门及近4000名内部员工,通过实时数据,帮助他们进行日常页面流量的分析管理,对于页面及活动等进行及时调整。同时,流量可视化商家版插件服务于京东商城所有外部商家,对于自己创建的活动进行流量数据监控与管理,为商家提供更便捷的店铺管理手段。

流量可视化产品通过创新化的实时数据展示方式,丰富了现有流量管理的用户使用场景,同时提升了整体流量分析与管理的效率。

营销分析

 产品概述

营销分析是基于市场营销的一款产品,通过分析投放广告的实时来源数据,可以及时的检测到广告是否准时投放,查看此次投放为京东全站以及各个事业部带来的整体流量和订单等指标。并且可以根据实时监控到的流量和销量,动态调整资源,提高整体促销的把控力,也可以根据实时的流量数据,掌握投放广告的节奏,调整投放素材,来提高广告的投放效果。

 页面展示

blob.png


2.M站实时数据展现

blob.png

以上为营销分析目前页面展示,全方位建立实时流量展示与分析的产品框架。

 功能概述

1.数据

  • PC与M站实时数据同步:营销分析针对PC及M站同步开放,可展示截止目前为止(天)和每个时间段(小时)的各个投放渠道带来的流量和订单数据,按照一二三四级投放渠道、广告位id和项目id维度进行统计,并提供了当前的PV、UV、有效UV、访次,全品类及某一品类的引入订单量、引入订单金额、引入下单用户数、引入商品数量、订单转化率、访次价值等指标的分析。 

  • 全站粒度、url粒度细分:数据分析粒度细分明确,保证数据的针对性及精确性。

2.平台

目前营销分析实现了PC端与无线端的同步开放,保证数据的完整性。同时,将根据内外部用户的需求,不断细化与完善所展示的指标,保证产品的适用性。

3.权限管理

营销分析目前同流量可视化权限打通,提升数据权限开通的效率,保证权限体系的适用性。同时,针对京东内部用户、外部商家用户不同的用户类型,在流量可视化权限管理的基础上,对营销分析的个性化权限进行拆分,从而可通过同一套权限管理体系有效保障数据安全性。

 产品价值

目前市场部在投放广告后无法对实时数据进行获取,调整投放资源战略会有一定的延迟性,各运营人员也无法查看此次投放的广告带来的整体流量和订单等指标,无法及时动态调整资源,会对流量和订单转化等有一定的影响。通过营销分析, 能够观察实时数据, 分析实时数据的趋势,检测对应广告位是否投放及时调整投放战略,为公司带来更大的收益,也可以根据实时监控到的流量和销量,提高整体促销的把控力,动态调整资源。

京东易表

 产品概述

京东易表是一款将数据转化成直观图表的数据可视化产品。

blob.png

易表可以用于配置日报/周报/月报等周期性报表,也可以用于在产品系统中的图表展现需求。通过丰富的可视化效果,mysql、impala、es等众多数据源的支持、简单易用的操作方式,实现在2个小时内即可配置完成一张数据报表。

此外,易表支持权限控制和私有部署,保证数据安全;支持邮件订阅和数据下载等分享方式,在保证数据安全的前提下满足分享需求;支持定制开发,满足个性化场景。

 功能概述

1.丰富的数据可视化效果

支持19种图表、4种查询和灵活的报表布局,采用echarts3空间灵活样式转化,满足不同场景需要。19种图表包括柱形图、堆积柱形图、柱状百分比、折线图、折线堆积图、折线百分比、面积图、堆积面积图、面积百分比、条形图、堆积条形图、条形百分比、单Y轴组合图、双Y轴组合图、饼状图、环形图、指标卡、普通表格、分组表格4种查询,多样布局。

2.强大的数据连接与计算

支持MYSQL、ORACLE、DB2、IMPALA、SQLSERVER、POSTGRESQL、ES等多种数据源接入,满足T+1和实时数据的不同需求。更多的数据源接入也正在开发中。

支持级联查询、下拉树查询、数据下钻、条件标识、求和、平均值、计数等数据计算功能。

3.安心的数据安全与分享

插拔式权限适配,满足不同场景的多种权限需求,支持定制开发对接个性化权限场景。同时支持私有化部署,全面保障数据安全。

满足数据安全的前提下,支持邮件订阅等分享方式。

4.简单的操作方式

只需要熟悉SQL,便可快速连接数据(不熟悉SQL也没有关系,专人指导配置数据)。再通过拖拽的操作方式,快速配置报表,操作简单,快速实现报表开发。

产品价值

易表致力于通过数据可视化,最大化数据的价值,使数据更容易理解,更多人理解,更多场景运用。

易表通过丰富的可视化图表,使各种数据用更加直观的方式呈现;同时通过权限控制和分享机制,使可视化的数据成为团队沟通的桥梁;并且用简单易用的操作方式,使数据更加普及,效率更加提升。

京东视界

 产品概述

京东视界既是京东总部A座1层实时数据中心的名字,同时也是京东大促作战指挥室、智能生产可视化、生鲜溯源、实时竞速等系统的集合。京东视界通过对销售运营、物流等实时数据及实时影像的展示,打造成为实时数据可视化输出最具创新性的产品。京东视界产品做到实时数据与生产画面个性化配置、页面风格动态化选择、控制端便捷化操作,从大屏的展现,到中屏的配置,再到小屏的控制,一体化发展。京东视界产品不仅仅服务于京东内部用户,同时将开放服务于外部商家,拓展更多的产品使用场景。

blob.png

功能概述

  • 数据接入、控制,可配置化

多种数据源接入,满足各类大数据实时计算、监控的需求;针对不同的组件,可以分别设置该组件对应数据的刷新频率。

  • 丰富数据展示效果,数据炫丽化呈现

多种图表组件,支撑多种数据类型的分析展示;多种可视化布局模板,由用户自由布局;同时通过设置不同的屏幕尺寸,可实现在大中小不同终端上的完美投放展示。

  • 数据多场景化输出,全面运作

京东视界集实时作战指挥室、实时竞速平台、智能可视化监控系统等于一体,创造了实时数据的创新化应用场景,满足京东各部门以及商家不同的使用需求。同时,可实现在大屏上炫酷呈现,在中屏上动态配置,在小屏上便捷操作的联动。

  • 多端协作,便捷化操作

所见即所得式的配置方式,在PC上通过拖拽可快速完成可视化应用的创建;同时在便携式移动设备上不仅可以灵活操控,切换,还可以进行数据下钻的查询以及分享操作。

  • 权限控制,保障数据安全

京东视界同步集成数据可视化权限管理系统,通过共性与个性的授权方式的结合,完成有效的权限控制。

 产品价值

大屏投放构建了一个炫酷的实时动态的全景视图,便于京东各部门及外部商家对于全局指标的共享,更有效的进行电商大促的作战指挥,同时作为一个创新型的产品展示,也是对外宣传,讲解参观的一个窗口。

中屏投放本着实用的原则,可以在PC、TV、投影上根据不同需要,灵活投放,实时个性化配置,即时共享。

小屏投放本着方便的原则,可以随时查看实时动态,对运营和系统运行进行随时监控,灵活操作,实时便捷。

降低可视化应用的开发成本,提升开发效率,非专业的工程师也可以通过图形化的界面轻松搭建专业水准的可视化应用。

未来规划

数据可视化系统在目前的产品体系基础上,将做到:

产品互补互联,一体化发展:数据可视化系统内产品之间有着相互关联的关系,彼此支撑,共同保障京东数据可视化展现的完整性与一致性,提升数据使用效率,创新化数据展示方式。

数据安全有效把控,权限管理统一化:数据可视化系统内所有数据产品均设置完善的权限管理体系,保证数据的安全性,对于权限统一把控,同时各个产品根据自己的独特使用场景,采取不同的授权方式,在共性中保证个性化。

产品动态可配置,自动化智能化发展:根据京东内部不同事业部的不同数据需求及外部商家不同的营销需求,数据可视化系统将开放自主配置的功能,提升整体产品开发效率,并结合基础平台的机器学习等技术,提升数据使用的效率与针对性。

CIO之家 www.ciozj.com 公众号:imciow
关联的文档
也许您喜欢