科普 | 大数据产业最常见的10个问题

1F什么是大数据?

大数据(big data)，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。

大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

2F大数据时代是什么意思?

大数据时代就是说，在未来，我们认为会存在这样一个时代。那个时代里，几乎我们每一个举动，都会被记录，并变成数据被存储起来，无数的数据就组合成了你本人的一个信息库。通过这个信息库，你的一言一行，你的思想都变得可预测。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

3F大数据、数据分析和数据挖掘的区别

大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断：

3.1大数据(big data)：

指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。

3.2数据分析：

是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。

3.3数据挖掘(英语：Data mining)：

又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

简而言之：

大数据是范围比较广的数据分析和数据挖掘。

按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。

数据分析处于数据处理的最末端，是最后阶段。

数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。

大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。

4F大数据可以做什么?

4.1对大数据的处理分析正成为新一代信息技术融合应用的结点

移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。

4.2大数据是信息产业持续高速增长的新引擎

面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

4.3大数据利用将成为提高核心竞争力的关键因素各行各业的决策正在从“业务驱动” 转变“数据驱动”

对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对;可以为商家制定更加精准有效的营销策略提供决策支持;可以帮助企业为消费者提供更加及时和个性化的服务;在医疗领域，可提高诊断准确性和药物有效性;在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

4.4大数据时代科学研究的方法手段将发生重大改变

例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

5F大数据的商业价值

5.1对顾客群体细分

“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。

5.2模拟实境

运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。

云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案投入回报最高。

5.3提高投入回报率

提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。

5.4数据存储空间出租

企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。

5.5管理客户关系

客户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新产品预告、特价销售通知，完成售前售后服务等。

5.6个性化精准推荐

在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。

以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。

5.7数据搜索

数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。

运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型应用如中国移动的“盘古搜索”。

6F大数据技术有哪些?

基础阶段：

Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。

hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。

大数据存储阶段：hbase、hive、sqoop。

大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。

大数据实时计算阶段：Mahout、Spark、storm。

大数据数据采集阶段：Python、Scala。

大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。

在掌握Java基础的前提下，各阶段的大数据学习需要掌握的专业技术。

7F大数据的趋势

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。

8F大数据和数据大集中有什么区别?

大数据实质是数据量到了一定程度，怎么获取、处理和分析的事情。其他问题比如数据中心怎么建设、是否采用数据大集中的形式可以说和大数据的实质关系不大。大数据使用的数据可以是集中的一处拿来的，更可能是分布在多地或者一地的多处的。

数据大集中是一种建设模式。意思主要是不搞分级分地区的部署，而把数据中心统一在一处。比如银行的中国南北两大数据中心、税务部门的大集中建设，这样数据库在物理上是位于一处汇总的(当然为了数据安全，可有异地备份)，对银行和税务等部门来说，便于提取和统计，特别是便于总行总局之类的上级部门直接拿到各地业务数据。

9F数据挖掘与统计学的关系

9.1什么是数据挖掘?

数据挖掘(Data Mining)是采用数学的、统计的、人工智能和神经网络等领域的科学方法，如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等技术，从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程。

数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：

(1)分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。

(2)聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。

(3)关联规则：关联是某种事物发生时其他事物会发生的这样一种联系。例如：每天购买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。

(4)预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。

(5)偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。

当然除了以上所列出的还有时间序列分析等一些其他的功能，需要注意的是：数据挖掘的各项功能不是独立存在的，在数据挖掘中互相联系，发挥作用。

9.2数据挖掘与统计学的联系

数据挖掘技术是计算机技术、人工智能技术和统计技术等构成的一种新学科。数据挖掘来源于统计分析，而又不同于统计分析。数据挖掘不是为了替代传统的统计分析技术，相反，数据挖掘是统计分析方法的扩展和延伸。大多数的统计分析技术都基于完善的数学理论和高超的技巧，其预测的准确程度还是令人满意的，但对于使用者的知识要求比较高。而随着计算机能力的不断发展，数据挖掘可以利用相对简单和固定程序完成同样的功能。新的计算算法的产生如神经网络、决策树使人们不需了解到其内部复杂的原理也可以通过这些方法获得良好的分析和预测效果。

由于数据挖掘和统计分析根深蒂固的联系，通常的据挖掘工具都能够通过可选件或自身提供统计分析功能。这些功能对于数据挖掘的前期数据探索和数据挖掘之后对数据进行总结和分析都是十分必要的。统计分析所提供的诸如方差分析、假设检验、相关性分析、线性预测、时间序列分析等功能都有助于数据挖掘前期对数据进行探索，发现数据挖掘的题目、找出数据挖掘的目标、确定数据挖掘所需涉及的变量、对数据源进行抽样等等。所有这些前期工作对数据挖掘的效果产生重大影响。而数据挖掘的结果也需要统计分析的描述功能(最大值、最小值、平均值、方差、四分位、个数、概率分配)进行具体描述，使数据挖掘的结果能够被用户了解。因此，统计分析和数据挖掘是相辅相成的过程,两者的合理配合是数据挖掘成功的重要条件。

9.3数据挖掘与统计学的区别

统计学目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。统计学在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。有时候同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被统计学家证明(或者现在还没有证明)。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。

正是由于统计学的数学精确性，而且其对推理的侧重，尽管统计学的一些分支也侧重于描述，但是浏览一下统计论文的话就会发现这些论文的核心问题就是在观察了样本的情况下如何去推断总体。当然这也常常是数据挖掘所关注的。下面我们会提到数据挖掘的一个特定属性就是要处理的是一个大数据集。这就意味着，传统统计学由于可行性的原因，我们常常得到的只是一个样本，但是需要描述样本取自的那个大数据集。然而，数据挖掘问题常常可以得到数据总体，例如关于一个公司的所有职工数据，数据库中的所有客户资料，去年的所有业务。在这种情形下，统计学的推断就没有价值了。

很多情况下，数据挖掘的本质是很偶然的发现非预期但很有价值的信息。这说明数据挖掘过程本质上是实验性的。这和确定性的分析是不同的。(实际上，一个人是不能完全确定一个理论的，只能提供证据和不确定的证据。)确定性分析着眼于最适合的模型-建立一个推荐模型，这个模型也许不能很好的解释观测到的数据。大部分统计分析提出的是确定性的分析。

如果数据挖掘的主要目的是发现，那它就不关心统计学领域中的在回答一个特定的问题之前，如何很好的搜集数据，例如实验设计和调查设计。数据挖掘本质上假想数据已经被搜集好，关注的只是如何发现其中的秘密。

10 数据仓库、大数据和云计算的区别与联系

首先我们先简单来看一下概念：

10.1.数据仓库：数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。

10.2.大数据：大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

10.3.云计算：云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、笔记本、手机等方式接入数据中心，按自己的需求进行运算。

接下来我们来看一下他们的关系：

1)数据库和数据仓库都是数据的一种存储方式，大数据处理更多的是一种需求(问题)，而云计算是一种比较综合的需求(问题)解决方案。

2)由于云计算本身的特性，天生就面临大数据处理(存储、计算等)问题，因为云计算的基本架构模式是C/S模式，其中S相对集中，而C是广泛分布。所有用户的数据和绝大部分的计算都是在S端完成的(数据量大，计算量大)，加上用户也天然具有多样性(地域，文化，需求，个性化等)，因此需求(也包括计算量)就非常大。

3)云计算当然会涉及到数据的存储技术，但数据库技术对于云计算来说要视具体的情况来分析：

A)对于IaaS而言，数据库技术不是必需的，也不是必备的功能;

B)对于PaaS来说，数据库功能应该是必备的功能;

C)对于SaaS而言，必然会用到数据库技术(包括传统关系数据库和NoSQL数据库)。

而对于数据仓库技术，并不是云计算所必需的，但由于云数据的信息价值极大，类似一座金矿，我想云服务商是不可能放过从这些金矿中提取金子的。

4)大数据首先所面临的问题就是大数据的存储问题，一般都会综合运用各种存储技术(文件存储，数据库存储)，当然，你完全用文件存储或者数据库存储来解决，也是没问题的。与云计算类似，数据仓库技术不是必需的，但对于数据仓库技术对于结构化数据进行淘金还是非常有用的，当然，你不用数据仓库技术也可以，比如Hadoop模式。

在云计算和大数据处理中，最基础的技术其实是分布式计算技术。而对于构建分布式计算而言，多线程，同步，远程调用(RPC,RMI等)，进程管理与通信是其基本技术点。分布式计算编程是一种综合性应用编程，不仅需要有基本的技术点，还需要一定的组织管理知识。