这是一个大数据的时代,商业、社会管理、科研、创业,言必称大数据。大数据又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在《大数据时代》中提出,指不用随机分析法(抽样调查)的捷径,而是采用所有数据进行分析处理。所以,大数据区别于以往的数据收集最本质区别是抛弃人类之前限于成本的抽样分析方法,变成存储一切,分析一切。
大数据还没有走出简单的数据处理
这种“数据全存”的收集,在互联网,甚至是移动互联网出现之前的时代是不可想象的。现在,随着储存能力、计算能力、互联网与移动互联网、智能手机深入生活,收集数据的技术发达,充满生活中的各个场景,“把数据全部存起来”成为一种可能。
数据虽然存起来了,但如何理解数据,却成为一个问题。在大数据的热潮中,人们开始相信,只要足够好的技术,足够多的数据,计算机能够比人更了解他们的自己。
有一个非常经典的例子。一位男性顾客向全美第二大零售商投诉,声称商店竟然给他还在读书的女儿寄婴儿用品的优惠券。后来发现,女儿真的已经怀孕了。这被宣扬成为数据比人更理解人的例子。
实际上,情况恰好相反。商场知道女儿怀孕,无非是收集了顾客的消费数据发现规律。比如,孕妇在怀孕头三个月后会购买大量无味的润肤露;在头20周,孕妇会补充如钙、镁、锌等营养素;当女性开始大量采购无味肥皂和特大包装的棉球时,说明她们的预产期要来了。然后,凭借这些信息,商场提前邮寄相关促销信息。
实际上,并不是大数据更理解人的例子,甚至反应了机器的愚蠢,自作主张,把婴儿的优惠用品寄给了还在读书的女儿,而且还寄到了她家里。当然,预测模型可以加入变量,比如年纪、职业、婚姻状况来避免尴尬。但是,人是复杂的,有很多非理性因素,无法加入所有变量。
大数据与计算能力的关系就像一枚硬币的正反面一样密不可分。大数据无法用单台的计算机进行处理,必须采用分布式架构,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术对海量数据进行分布式数据挖掘。但是,这种模式的计算能力仅是在数量上的增加。如果仍然是把数据放入模型,抽样虽然并不时髦,但边际效应仍然有效,少量的数量就能达到与大数据差不多的效果。
所以,只有应用各种新的数据处理方法,“数据”才能成为“大数据”,才能从中发掘出新的意义,进而产生新的价值。机器计算相比大脑的优势在于巨量数量的处理,如果机器也同时具有大脑的逻辑、分析、判断、联想、想象、情感能力,则可以轻易超越大脑的智能。
目前,依靠神经网络的机器学习,人工智能已经初步崭露头角。在这种方法之下,随着数据量的积累,系统会越来越好。相比过去人工智能的方法很难受益于数据量的提升,新的方法之下,20%的贡献来自方法的改进,80%来自数据量的提升,从而实现依靠数据量推动系统从量变飞跃到质变。
但是,遗憾的是,机器的自主学习,自主对数据的理解,目前还限定在给定的范围内。目前的机器学习,基于模仿大脑神经的反馈机制,依据历史经验,人类的所有仿生工程学上的成功,取得飞跃,都是在彻底弄清楚生理过程的机制之后,比如,粗浅的模仿鸟的飞翔,可以造出飞行器,但飞机的基础,是空气动力学。现在脑科学的发展程度还远远不够,甚至可以说对大脑的运行过程知之甚少。从这个角度看,人工智能理解大数据还为时尚早。所以,人类对于大数据的利用,目前来看,基本上还是基于收集技术上的发展。基于大数据的人工智能,未必有那么乐观。目前看来,大数据还没有走出数据处理能力阴影的迹象。
令人忧虑的领域可能更早获得大数据优势
不过,即使如此,变化早已发生。
这是一个大数据的时代,人人都在电子空间中留下了自己的痕迹。早上起来,打开手机,手机不断与基站联系,机主大概在什么地方,经过了些什么地方,就留下了痕迹;在路上,打开手机浏览器又再次留下cookie数据,浏览了些什么网页,很可能被别有用心者收集;或者交通卡,从哪里进哪里出,也被服务器记录;中午,吃了什么,信用卡可以查询到消费的场所,而饭店的记录,甚至能精确到吃了什么菜,几个人;在上班的时候,使用聊天工具,可能留下痕迹,很多单位,也有记录员工操作的软件;下班了,打车软件、聊天软件都可以上传GPS数据;晚上,在哪里开了房,不但有消费数据,也有摄像头精确记录。这些数据综合起来,不但可以清晰的描述一个人的生活轨迹、行为,甚至连爱好、乃至不愿意被人发现的隐私,在别有用心地收集之下,都是清清楚楚的。
不留下这些数据,个人在现在的技术社会中,就难以舒适生活,甚至难以生存下去。因为手机、出行、聊天、支付,乃至整个现代生活都是建立在这些数据之上的,不留下数据,就无法生活。这就是所谓的大数据时代,我们就生活在这样一个时代。
需要指出的是,这些数据应该是与身份分离的。简单的说,就是收集数据的平台,即使能知道每天城市所有人的出行轨迹,但是,他们必须不能知道,每一条出行的轨迹所对应的人的身份。但是,实际情况却是,信息的泄露比比皆是。
实际上,在现代技术社会中,公民不被监控,只是由于不值得监控,或者在监控系统的概率之外。决定这个概率大小的,是监控系统的成本,比如硬件成本、软件成本、人员成本乃至部门间的沟通、行政成本。成本变小,公民被监控的机率就会越大。大数据极大的降低了这一成本。这虽然带来了安全,却同时减损了公民的自由。
在9·11事件之后,美国政府已经涉足大规模数据挖掘。在《爱国者法案》的授权之下,前国家安全顾问约翰·波因德克斯特领导国防部整合现有政府的数据集,组建一个用于筛选通信、犯罪、教育、金融、医疗和旅行等记录来识别可疑人物的大数据库。比如,FBI调查人员秘密从美国各大图书馆搜集读者详细的读书记录,以判断是否受恐怖主义感染。该项目在一年后因国会担忧公民自由权而停止。
但是,不难预见的是,在大数据时代,公民的个人隐私与自由,会被越来越多的大数据阴影所包围。不妨假设一下,2019年,苹果8发布,这时,手机已经不叫手机,而叫个人信息终端,人们可以在这上面完成一切;2025年,打车软件的大数据系统已经不需要个人发出打车需求,你出门的时候,就已经有车停在门口,并且知道你要去哪里;2032年,一个无远弗届的信息收集机制被建立起来,同年,国家统计局改名为国家大数据中心,一切已经不需要统计,一切发生的时候就已经被统计;2050年,市场取消,在大数据与智能制造的配合下,一切个性化的需求都可以被满足;2084年,时间回到100年前。
这一切会发生吗?应该不会。但是,某些令人忧虑的领域,却很可能比令人兴奋的领域,更早获得大数据的优势。
CIO之家 www.ciozj.com 公众号:imciow