《大数据技术基础》读书笔记

大数据的产生
人类历史上从未有哪个时代和今天一样产生如此海量的数据。数据的产生已经完全不受 时间、地点的限制。从开始采用数据库作为数据管理的主要方式开始,人类社会的数据产生方式大致经历了3个阶段,而正是由于数据产生的方式发生巨大变化,最终导致大数据的产生。
1、运营式系统阶段
数据库的出现使得数据管理的复杂度大大降低,实际情况中数据库大多被运营系统所采用,作为运营系统的数据管理子系统。比如超市的销售记录系统,银行的交易记录系统、医院病人的医疗记录等。人类社会数据量第一次大的飞跃正是建立在运营式系统开始广泛使用数据库开始。这个阶段最主要特点是数据往往伴随着一定的运营活动而产生并记录在数据库中的,比如超市每销售出一件产品就会在数据库中产生相应的一条销售记录。这种数据的产生方式是被动的。
2、用户原创内容阶段
互联网的诞生促使人类社会数据量出现第二次大的飞跃。但是真正的数据爆发产生于 Web 2.0时代,而Web 2.0的最重要标志就是用户原创内容(UGC,User Generated Content)。这类数据近几年一直呈现爆炸性的增长,主要有如下两方面的原因。首先是以博客、微博/微信为代表的新型社交网络的出现和快速发展,使得用户产生数据的意愿更加强烈。其次就是以智能手机、平板电脑为代表的新型移动设备的出现,这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。这个阶段数据的产生方式是主动的。
3、感知式系统阶段
人类社会数据量第三次大的飞跃最终导致了大数据的产生,今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着技术的发展, 人们已经有能力制造极其微小的带有处理功能的传感器,并开始将这些设备广泛的布置于社会的各个角落,通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据,这种数据的产生方式是自动的。简单来说,数据产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据 共同构成了大数据的数据来源,但其中自动式的数据才是大数据产生的最根本原因。正如Google的首席经济学家Hal Varian所说,数据是广泛可用的,所缺乏的是从中取出知识的能力。数据收集的根本目的是根据需求从数据中取有用的知识,并将其应用到具体的领域之中。不同领域的大数据应用有不同的特点,表 1-1 列举了若干具有代表性的大数据应用及其特征。正是由于大数据的广泛存在,才使得大数据问题的解决很具挑战性。而它的广泛应用, 则促使越来越多的人开始关注和研究大数据问题。

大数据的力量
大数据时代已经到来,认同这一判断的人越来越多。那么大数据意味着什么,他到底会改变什么?仅仅从技术角度回答,已不足以解惑。大数据只是宾语,离开了人这个主语,它 再大也没有意义。我们需要把大数据放在人的背景中加以透视,理解它作为时代变革力量的所以然。
1、变革价值的力量
未来十年,决定中国是不是有大智慧的核心意义标准(那个"思想者"),就是国民幸福。一体现在民生上,二体现在生态上,通过大数据让有意义的事变得明晰,看我们在人与人关系上,做得是否比以前更有意义。总之,让我们从前 10 年的意义混沌时代,进入未来 10 年意义明晰时代。
2、变革经济的力量
生产者是有价值的,消费者是价值的意义所在。有意义的才有价值,消费者不认同的, 就卖不出去,就实现不了价值;只有消费者认同的,才卖得出去,才实现得了价值。大数据 帮助我们从消费者这个源头识别意义,从而帮助生产者实现价值。这就是启动内需的原理。
3、变革组织的力量
随着具有语义网特征的数据基础设施和数据资源发展起来,组织的变革就越来越显得不 可避免。大数据将推动网络结构产生无组织的组织力量。最先反映这种结构特点的,是各种 各样去中心化的 WEB2.0 应用,如 RSS、维基、博客等。

大数据之所以成为时代变革力量, 在于它通过追随意义而获得智慧。

来源：开源技术社区邀请加入hadoop学习交流群：361654649