大数据中数据挖掘技术的挑战

首先，数据挖掘简单的来说就是从一堆数据里面找有价值的东西。现在数据也是资产，将来会有一个经营数据的公司。所以数据是新的石油，我们要从这里采矿，练成各种各样有用的东西。所以谁拥有数据，谁就拥有未来，数据是企业未来的核心竞争力。

   

大数据的一个特点是数据量大，它必须达到一个程度，大数据在2012年的时候已经有PB级了。 大数据的结构是非结构化的，我们很难用表格存起来的。而且这个不能进行形式化的数据占85%以上，目前用传统方法只能分析15%的量。所以做大数据研究非常重要。另外就是数据密度低，比如视频流，我就想看一个车怎么发生事故的，实际也就几秒钟，但是存量存了非常多，没有用的占大多数，有用的只有那么几秒钟，所以价值的密度比较低，但是我们就要这一点，但是不能因为别的没有价值就把它去掉，所以这对存储提出了非常大的挑战。

大数据分析的要求跟传统的数据分析有很多不一样。第一个大数据分析更注重有效性，而不是完整性。时效性的数据就是当下要做决定时候的数据，不需要分析得非常准确，但是要非常快。不需要对原来十年的数据再加上今天的数据，否则的话你的效率非常低。另外要注重宏观性而不是微观性，我们要掌握数据隐藏的一些大的规律，十年的规律、五年的规律等等。

第二个是数据复杂，对于分析模型的建立提出了更多挑战。hadoop平台是大数据分析的平台，很多公司都在这个基础上开发了自己的东西，来提供给其他的企业进行分析，包括客户关系分析、用户体验的分析，但实际上如果大家都去这个平台，有非常大安全性风险。所以用一个开放的平台，安全性是非常紧迫的事。

第三个就是分析，大数据的噪声非常多，去噪声技术的要求更强烈。还有大数据的新型表示方法，还有大数据的存储成本，大数据存储要人维护，要人备份，要人检查。还有半结构和结构化的高效处理。视频怎么处理，图片怎么处理，文本怎么处理，所以要精确的分析要依靠技术。

挑战四就是数据动态增长，数据量太大，怎么样对数据进行分布式的并行的处理?

挑战五是大数据的可视化，让不懂数据的人看得懂，要让决策者们看得懂，这是要有很多的智慧的。而对大数据来说，得到的结果往往非常的复杂，非常的抽象，你要用图形的方式表达出来让大部分理解，并且用它来指导决策.这是五个我认为比较大的挑战。

灵玖软件全称灵玖中科软件（北京）有限公司专注于大数据搜索与挖掘的技术创新与服务，提供大数据搜索、大数据挖掘与大数据应用解决方案，以应对大数据的管理、处理、分析并从大数据中获知识与智慧，将用户的大数据困境转变为大数据宝藏。灵玖软件凭借15年的坚持，精耕细作，目前已服务于全球30万家机构，成为大数据分析领域第一引擎。这个平台从2000年开始，写下第一组代码到现在一起伴随着互联网走进大数据时代，现与各大知名互联网公司，企业，单位，机构一起编制中国的互联网中国梦。服务于消费者，服务于企业机构。为你提供大数据一站式解决方案，使数据能够从不同的角度重新组织并获得新的认识。

Hadoop、Spark、还有机器学习、统计、数据可视化、通用的编程语言、创造力和问题解决能力，每一个都非常重要，大数据的分析结果是用来决策的。

简要的总结，大数据时代的到来引起了一场技术革命，将会影响我们生活的方方面面。我们无法逃避大数据时代。大数据时代的数据挖掘技术一定要顺应大数据的新要求和变化。谁掌握了最核心的技术，谁最先引进最前进的技术，谁就将在大数据时代立于不败之地。

谢谢分享，让我们这些新人有方向