1.大数据及电子商务发展现状

    1.1 大数据技术及背景

    随着信息技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司 IDC 发布的研究报告，预计全球数据量大约每两年翻一番，到 2020 年全球将达到 35ZB 的数据信息量，可能是 2013 年数据规模的 44 倍。由此可见，我们已进入了大数据时代。大数据有如下定义：“大数据是由于规模、复杂性、实时而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。”大数据的特点可归纳为“4V”：海量（Volume）、多样（Variety）、快速（Velocity）、价值（Value）。如今数据量级别不断加大，数据类型繁多，可分为结构化数据、半结构化数据和非结构化数据，而且数据产生速度快，具有很强的时效性。数据蕴藏着很大的价值，但是其价值密度很低，我们很难从数据的海洋中找到其中有价值的数据，需要技术手段进行数据挖掘。大数据是继云计算、物联网之后 IT 产业又一次颠覆性的技术变革，对于企业将产生巨大的影响。如今，大数据分析已经成为行业研究的热点，大数据正在以多种方式创造着巨大的价值。市场研究公司Gartner 曾预计：大数据今年将直接或间接拉动全球960 亿美元的 IT 支出，这一数据在 2013 年将达到1200 亿美元，2016 年达到 2320 亿美元，2015 年全球将会新增 440 万个 IT 工作岗位以支持大数据。

    1.2 大数据背景下电子商务的发展现状

    在大数据时代，未来数年数据量将会呈指数爆炸。图灵奖获得者吉姆?格雷（Jim Gray）和 IDC 公司曾预测，全球数据量每 18 个月翻一番。例如，淘宝网每日新增的交易数据达 10TB；eBay 分析平台日处理数据量高达 100PB，超过了美国纳斯达克交易所全天的数据处理量；亚马逊每、秒钟处理 72.9 笔订单。由此可见，电子商务网站的数据正是典型的大数据。

    电子商务经历了三个时代：（1）基于用户数的时代，此时电子商务企业通过收取会员费、广告费等方式发展客户来赚取利润；（2）基于销量的时代，电商企业通过投放广告来实现销售量的增长，以此来提升品牌影响力和企业价值；（3）基于数据的时代，电子商务公司通过对消费者的海量数据的收集、分析、整合，挖掘出商业价值，促进个性化和精确化营销的开展。全球迎来大数据时代，数据成为越来越有用的资源，电子商务企业在开发利用大数据的市场上存在着巨大的发展前景。

    随着大数据时代的到来，相对于传统的线下销售企业来说，爆炸性增长的数据已成为了电子商务企业非常具有优势和商业价值的资源，大数据将成为企业未来的核心竞争力。电商掌握了几乎最全面的数据信息，其中包括所有注册用户的浏览、购买消费记录，用户对商品的评价、在其平台上商家的买卖记录、产品交易量、库存量以及商家的信用信息等等。

    电子商务与大数据的结合，是互联网时代的必然产物，两者间也存在着互惠关系。一方面，电子商务的迅猛发展，为大数据的积累拓展了可观的空间。另一方面，大数据为电子商务的更广泛开展，提供了便利条件。从管理方法到管理思维，大数据给电子商务带来革命性的变化。基于大数据的数据分析系统，将为电子商务的管理者找到更多商机和需求。同时，数据将像普通产品一样被加工和交换。电子商务的经营和管理核心，已经从对商品的管理，转移到对商品背后数据的管理和挖掘层面，而基于大数据的数据分析将为电子商务提供发展的动力。

    如今，在大数据的背景下，电子商务的服务业产生了变革。例如电商可以大数据资源给用户提供个性化和精准的商品推荐；还可根据商品的购买和浏览数据进行优质产品信息的汇总；电商可以为消费者提供准确强大的信息检索服务；电商可根据消费人群的不同需求，将营销目标针对某个具体的领域，更加细化服务领域；不少互联网公司提供数据云存储服务以满足为了满足用户对数据处理、存储方面的需求。

    2.电子商务物流集成相关技术介绍   

    电子商务的发展需要一个完善稳定的集成平台， 使得各个企业部门能够在这个环境中进行交易， 尽可能地消除由于企业内部系统不同而给企业问交易带来的障碍。

    2.1 基于EDI的电子商务集成

    EDI(Electronic Data interchange)是将业务文件按一个公认的标准从一台计算机传输到另一台计算机上去的电子传输方法。从技术上讲，EDI包括硬件与软件两大部分。硬件主要是指计算机网络。90年代之前的大多数EDI都不通过网络， 而是通过租用的电脑线在专用网络上实现，这类专用的网络被称为VAN(增值网)。软件包括计算机软件和EDI标准。EDI所需要的软件主要是将用户数据库系统中的信息，翻译成EDI的标准格式以供传输交换。EDI软件主要包括转换软件、翻译软件和通信软件。除此之外还包括EDI标准。

    2.2 基于Web的电子商务集成

    20世纪90年代中期后，网络迅速走向普及，逐步地从大学、科研机构走向企业和百姓家庭。其功能也已从信息共享演变为一种大众化的信息传播工具。从l991年起，商业贸易活动正式进入到互联网这个王国，因此而使电子商务成为互联网应用的最大热点。通过网络进行交易使很多中小企业启动电子商务成为可能。而Internet上的电了商冬集成大致经历了三个阶段：

    1）Web Interaction阶段：此阶段企业主要是在网上发布一些产品和企业信息，通过这些信息客户可以对企业的情况包括它们的产品和商业重点等有个大致的了解。

    2）Web Transaction阶段：在这一阶段，客户可以通过web进行一些交易， 比如在Web上购物、结账等。而企业的目标就是激发客户的兴趣，吸引他们的目光到自己的网站上来消费。

    3）Web Collaboration阶段：第三阶段特别指的是B2B的电子商务，它的目标是帮助企业的合作伙伴完成商业过程。在这一阶段，比较重要的是企业问的协作，比如企业A可能会共享一些库存数据，或者提供一些网络服务，而这样做的目的就是方便其用户，最终更好的销售自己的产品。

    2.3 基于XML的电子商务集成

    XML是一种格式固定，独立于平台的半结构化语言，用它来做企业的数据交互媒介是一个非常好的选择。利用XML可以准确的描述企业服务、商业流程等，很好地完成交易的自动化，所以，XML为网络提供了统一的数据传输媒介。基于XML的电子商务集成所要解决的问题是统一异构系统直接的数据表达，同时充分发挥XML的可扩展性，定义企业问的事务逻辑，保证系统的稳定，减少由于企业系统不一致而带来的程序上大的改动。在众多的标准中，ebXML和Bizta1k这两个的影响比较大的标准。

    ebXML由OASIS、UN/CEFACT、NIST、W3C等组织赞助或者参与制订， 旨在取代目前使用的ED l电子商务标准，因为ED I价格昂贵，操作复杂，不利于推广。ebXML是一个规范集，这些规范共同实现了模块化电子商务框架。

    Bizta1k框架是微软提出的用于应用集成和电子商务的XML框架，它包括一个设计框架来实现XML大纲(Schema)和一套在应用程序问传递信息用的XML标签。它的目标是推动XML的迅速普及和应用Bizta1k框架大纲以XML形式表达企业的商业文档和消息，并在BizTa1k.Org网站注册和存档，任何个人或组织都能下载框架用以具体实现或者向网站递交XML大纲。

    3.亚马逊在物流集成中对大数据技术应用的案例

    3.1 公司概况

    亚马逊公司（Amazon），是美国最大的一家网络电子商务公司，是网络上最早开始经营电子商务的公司之一，位于华盛顿州的西雅图。亚马逊成立于1995年，一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaInternet、a9、lab126、和互联网电影数据库（Internet Movie Database，IMDB）等子公司。

    亚马逊坚持走自建物流方向，将集成物流与大数据紧紧相连。在亚马逊近二十年的历史中，自建物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在营销方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。

    亚马逊还将免费“物流免费”作为营销手段，其基础正是在于其对市场的把握和分析。在电子商务经营处于“高天滚滚寒流急”的危难时刻，亚马逊独辟蹊径，三次大胆地将免费送货作为促销手段，并且不断降低免费送货服务的门槛。薄利多销、低价竞争，以物流的代价去占领市场，招揽顾客，扩大市场份额。显然此项策略是正确的，因为抓住了问题的实质。当然这项经营策略也是有风险的。

    亚马逊重视物流集成系统的发展。完善的物流系统是决定电子商务生存与发展的命脉。由于亚马逊有完善、优化的物流系统作为保障，它才能将物流作为促销的手段，并有能力严格地控制物流成本和有效地进行物流过程的组织运作。

    3.2 公司产品与物流集成服务

    亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。公司依托物流集成服务，通过物流中心、桔子机器人、外部卖家和拣货流程等系列服务，提高产品市场率和顾客满意度。

    （1）物流中心 

    2013年，亚马逊花费约46亿美元建设了17个物流中心，并尽其所能地从中节约每一分钱。亚马逊在美国菲尼克斯建有120万平方英尺的仓库，借助手机程序的帮助，这里的员工都可以最大程度地发挥空间利用效率，即使是1英寸的地方。尽管亚马逊去年的收入增长41%，但营业费用的增幅也高达44%，导致利润率下滑2.3个百分点，部分源于这些物流中心的庞大开支。为了扭转局势，亚马逊正在扩大产品和服务范围，以便这些巨大的仓库能够成为利润枢纽。

    （2）桔子机器人

    桔子机器人可以在货架下穿梭，还能搬运产品，加快订单履行速度。对物流中心的投资成为亚马逊2013年最大的一笔营业费用，在销售额中的占比达到9.5%，这也使得该公司的仓库总数达到69个。为了进一步推动物流业务的自动化进程，亚马逊斥资7.75亿美元收购仓库机器人制造商Kiva Systems。亚马逊旗下拥有Soap.com和Diapers.com两大购物网站的Quidsi已经开始使用这种设备。使用亚马逊仓库和配送服务的第三方商家也推动了该公司的扩张。

    （3）外部卖家

    通过亚马逊出售商品的外部卖家，给该公司带来了更高的利润率。亚马逊会从第三方商家出售的商品中抽取一定的佣金，通常约10%，这部分佣金全部计入利润。如果合作伙伴选择通过亚马逊的仓库履行订单，还要交纳一定的费用。亚马逊控制了整个体验，确保消费者可以得到始终如一的高速物流服务，而且完全没有库存风险。

    （4）拣货流程

    要从仓库中取出商品，首先由一组名为“充填工”的工人把商品塞进由塑料隔开的储物格内，经过电脑的计算，这些储物格的空间效率实现了最大化。亚马逊物流配送环节中，将以最高效率往来于货架之间，并将货物依次摆放到传送带上，等待打包和配送。通过先进的仓储服务，亚马逊2013年多实现了1000万美元的销售额。

    3.3 亚马逊的大数据技术案例分析

    3.3.1亚马逊的大数据业务

    亚马逊的业务主要包括了三大方面：电商平台，包括自有产品的电子商务、第三方卖家及对一些成员的特殊服务；KINDLE、数字内容等；云服务。以电子商务起家的亚马逊，由电子书发家，由云服务推动企业更进一步发展，以企业云平台闻名于世。

    由于大数据技术的日渐成熟，亚马逊慢慢变为大数据行业的排头兵。亚马逊推出过一系列大数据产品，其中包括基于Hadoop的Elastic MapReduce、DynamoDB大数据数据库以及能够与Amazon Web Services顺利协作的Redshift规模化并行数据仓储方案。

    3.3.2亚马逊的大数据平台开发

    在亚马逊大数据计算开发的参与人员中，包括消费者、其他进驻卖家和亚马逊公司自身三大组成部分。尽管亚马逊属于整合平台的提供商，但亚马逊实际上身兼多职，涵盖了价值链的多个环节，同时担任了服务商和运输者等多个角色。亚马逊在智能物流方面的创举，对其营销能力的增强起到了辅助作用。

    亚马逊凭借着对于顾客购买数据的多方位采集和挖掘，能够获得大量关于目标客户的信息。最后，在第三方卖家方面，亚马逊从数据的角度去研究商家需求，并与消费者数据相结合，同物流集成思想相结合，提高平台精准营销的能力。

    亚马逊的大数据技术主要分为四个步骤：

    （1）收集用户行为数据

    用户使用亚马逊网站上发生的所有行为都会被亚马逊记录：如搜索、浏览、打分、点评、购买、使用减价券和退货等。亚马逊根据这些数据，不断勾画出每个用户的特征轮廓和需求，并以此为依据进行精准营销。

    （2）整合用户行为数据

    亚马逊强大之处还在于它可以整合用户行为数据和喜好，并挖掘用户的潜在需求，善于用各种形式的活动去获取用户的喜好和需求，比较典型的活动就是投票。一旦用户投票了，其观点、倾向、或者兴趣爱好就暴露了，这个用户就被亚马逊打上了“标签”。

    （3）个性化推荐营销服务

    通过对所获行为信息的分析和理解，亚马逊制定对客户的贴心服务及个性化推荐。这不仅可以提高客户购买的意愿，缩短购买的路径和时间，在恰当的时机捕获客户的最佳购买冲动，降低了传统营销方式对客户的无端骚扰。

    （4）统计用户行为数据

    给目标用户发送邮件后，用户是否打开了邮件、是否点击了邮件中的链接浏览促销产品，这些行为都会被持续跟踪下来。整个促销推广活动而言，这样可以统计活动的效果，为下次评估类似促销的活动提供历史依据。

    3.3.3对亚马逊大数据技术的应用分析

    亚马逊最先把大数据引入电商行业，应用大数据技术改变客户的体验，将大数据技术与智能物流、物流集成相结合。在亚马逊近二十年的历史中，物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在物流集成方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。

    首先，亚马逊经由以云计算为依托的电商开放平台，通过客户数据收集、目标客户甄选、营销组合设计和营销信息推送四个步骤来实现精准营销。整个过程的核心在于对目标客户的准确定位，从而在分析客户偏好的基础上有针对性地发布营销信息。其次，有了数据分析系统的支撑，智能物流也得以发展。对于亚马逊这样一家秉承“客户至上”的企业来说，其智能物流方面的创新是其他电商企业难以企及的——物流的精准实现了更高层次的消费者体验满足。

    亚马逊依靠大数据技术及大型的系统运输能力作为支撑，在物流集成方面有以下创新之处。

    （1）智能化预估系统。

    亚马逊的预估体系，在整个物流集成管理上起到了非常关键的作用。应用云计算的设备以及管理系统，亚马逊创建了智能化预估系统，对每个物流中心进行非常特别的管理方式，对仓储空间和配送路径进行相当精细的计算。亚马逊物流中心内的存货，不单单是同品种存放在一起，它们是乱七八糟的摆在一起，货物码放乱，但是乱中有序。亚马逊依据技术投入的大数据可推知客户在买一样货物时有哪些可能同时购买的关联货物，由此，他们在供货、上架、储存的时候，会按照数据的分配相互交叉的储存，使空间得到最好的利用，同时在拿货的时候，取用最短距离。这使得亚马逊的上架效率极高，空间的利用率极高。

    亚马逊的下单，每一个对季节性产品的下单都会左右其数据如何支配，以及在库存里面的各个物流中心的储备，实时的调节库存，才可能实现库房或者我们叫做物流中心，每一个空间得到最好的使用。

    （2）智能化运输调拨系统。

    应用大数据技术，亚马逊实行全天侯全程时时监控运输网络。通过调拨和干线运输和最后一公里运输进行智能化管理实现“还未下单货在途”。购买亚马逊的产品，可以在网上看到一个配送时间的估算，这个估算实际上是用大数据跟物流体系进行的连接，这个连接能够让亚马逊知道，根据消费者的要求在什么时间送到，这个数据是在即时的情况下，消费者下单的时候会做出核算。亚马逊在美国、加拿大商品是跨境配送的，在中国实行的是全国配送。亚马逊配备了几大物流系统，像调拨线路；亚马逊采取智能调拨系统，在库房之间进行调拨，还有干线运输、第三方合作运输等多种方式。

    （3）大数据、大系统出货能力。

    出货时，亚马逊也采用大数据技术、大系统的能力。通过系统进行动态订单的处理，信息化智能控制来更多拣货的路径，提高拣货效率。目前这个信息系统可以达到百分之百的送货率，而库存的准确率可以达到99%以上。

    应用大数据技术，亚马逊在物流集成方面的拥有以下三点创新之处。

    第一，通过智能物流系统，亚马逊可根据线上的销售情况，实时记录当前库存，并以客户的偏好为依据，预测下一期的销售目标，从而使库存始终保持在一个较低的水平。

    第二，除了对自身的物流管理，亚马逊大数据分析也与物流体系进行对接，将仓储物流服务与产品配送结合起来，定时或定点为消费者提供新鲜的产品和及时服务。借助终端GPS设备，送货员能够确定最优送货路线，在节省时间和财力的同时也为顾客提供了更优质的服务。

    第三，亚马逊物流中心预估和调拨的体系涵盖了云计算设备和管理系统。通过大数据的分析，各类存货按照数据分配进行相互交叉的储存，对空间实现最优利用；而根据季节不同，库存系统会自动转移产品，合理利用库房。换句话来说，数据分析相关的设施建设和信息挖掘是亚马逊精准营销的前提，而物流配送方面的创新则是精准营销的效果巩固，最大层面上增强了客户体验。

    4.大数据时代电子商务的机遇与挑战

    4.1 大数据时代电子商务的机遇

    企业可以分析和使用的数据在爆炸式增长，通过对大数据的收集、整合、分析，企业可以发现新的商机，创造新的价值，带来大市场、大利润和大发展，大数据时代蕴藏着巨大的商机。

    （1）大数据有利于市场营销。

    大数据技术能够帮助电商获得更多的生意，销售人员预计实施大数据战略将对销售有显著的影响。大数据时代的社会化营销重点是理解消费者背后的海量数据，挖掘用户需求，并最终提供个性化的跨平台的营销解决方案。如果电商拥有了基于大数据的技术，在寻找潜在客户上、销售时间以及预测交易成功的几率上将会得到明显改善。

    （2）大数据有利于个性化和精准的商品推荐。

    大数据为个性化商业应用提供了充足的养分和可持续发展的沃土。顾客的结构、流量、点击率、购买的周期以及兴趣，都会在电子商务平台上产生大量的数据，通过对大数据的收集、整合和分析，电商可以对消费者的品位和消费意愿进行准确识别，主动为其提供个性化和精准的销售产品和服务，提高销售额和利润率。

    4.2 大数据时代电子商务的挑战

    电子商务企业在大数据时代将会迎来重大的机遇和契机，同时也面临着大数据处理能力和隐私保护等方面的挑战。

    （1）拥有大数据的挑战。在大数据时代下，电子商务的竞争已经成为基于数据的竞争。当今极速爆炸的信息量远远超越了大部分企业 IT 架构和基础设施的承载能力，其实时性要求也大大超越了现有的计算能力。有大数据是利用大数据的前提条件，若不具备整合大数据收集和使用的能力，企业就很难在广告和多个营销渠道中提供真正个性化和精确的产品和服务推荐，而拥有大数据的企业则能在竞争中脱颖而出，不战而胜。

    （2）处理大数据能力的挑战。据统计，82％的公司正受到处理海量信息的挑战，而且他们花很多时间对其进行研究，89％的公司因超负荷处理数据而失去销售机会。仅仅坐拥大数据并不够，对大数据的分析和挖掘能力已成为企业的核心竞争力。

    （3）对隐私保护的挑战。大数据时代，网络用户在互联网的评论、图片、视频、个人信息、兴趣爱好、交易信息、访问的网站等等均被企业记录在案。如在淘宝网上交易时的真实姓名、家庭住址以及银行账号等重要的真实信息，逐渐引起了我们对个人隐私的担忧。

    在大数据时代，呈爆发式增长的信息资源给电子商务企业既带来了机遇也带来了挑战，通过对数据的分析运用将带来更多服务模式的革新，可以给消费者带来更多更好的服务体验，但是如何运用技术手段挖掘出有价值的信息和如何利用好这些信息还需要不断思考和论证。