如何有效地扩展大数据项目 - 168大数据

如今，数据和大数据已经成为任何企业中无处不在的部分，因为组织寻求发现未来有价值的洞察力，这将决定企业的成败。据调研机构估计，2016年的每天都会产生2.5万亿字节的数据，而且随着物联网应用的日益广泛，这一数字将进一步提升。

但是，随着企业收集更多数据，试图保存数据和收集有用的见解的成本变得越来越高，因为数据对人们的大脑和电子表格来说数据量太大。企业管理人员发现自己的数据不尽人意，因为他们低估了大数据规模上的挑战。

大数据应该会改变企业的运作方式，这意味着存储和分析数据的传统方法已经不适应要求。必须实施新的做法来应对日益增长的数据流入。

企业界和分析家都喜欢谈论“大数据”的革命思想，但企业自文明诞生以来一直在使用数据来得出结论。那么究竟如何使大数据?

如果你的答案是收集庞大的数据量的话，那么就错了。简单地收集大量数据并将其存储在某些存储库中是无意义的。事实上，这对企业业务是有害的，其原因是具有存储额外的无用数据的成本，数据泄露的风险，或持有大数据的法律和财务风险的成本。

大数据的关键优势不是数据量，而是从中进行分析。因此，专家更喜欢“大数据”这个术语，并且更喜欢“智能数据”。这个想法应该是找出收集哪些数据，为什么是必要的，而不是思考“这个数据集可能在某种程度上在未来有用。”

因此，企业处理日益增长的数据的第一步是询问自己是否需要所有这些数据。应该收集哪些数据，所以可以回答一个问题，例如客户偏好或最好的购物时间，而不是仅仅为了收集。

即使在消除了浪费和不必要的数据后，企业的业务仍然可能会有更多的数据，而不是由工作人员能够进行处理，或者可以在Excel电子表格中使用。这意味着任何数据必须进一步分解成更易于管理的子集。

凭借统计和分析的力量，企业的业务不会通过使用数据信号增强器，并将其分解成更小的子集而失去了更多的洞察力。例如，如果企业有一百万或一千万个人员姓名或数据，那么随机样本数量可能会达到数千或者上万个，这可能会加强调查数据所显示出的趋势。这就是投票背后的原则，其目的是通过随机抽取几千人来分析3亿美国人的政治观点。并且通过从较大的数据池中创建样本后，企业可以查看结果以得出最终结果，并且还可以检测该池中存在的错误。

查看多个较小的随机信息子集，而不是一次查看所有数据，是发现趋势，收集有用分析，以及改进整体数据的一种更有效的方法。

使用智能数据面临的一个主要挑战是确保企业领导人和技术专家对公司的大数据战略保持一致。在构建最好的基础架构来管理更多数据时，通信的重要性是最重要的。

创建这么多数据实际上已经消除了传统的方法，一家公司可以将所有相关数据保存在自己的集中式服务器上。基于云教育处的服务器或像Hadoop这样的虚拟化软件对于如何存储数据来说是一个很好的答案，但是数据专家必须能够向业务领导者更好地展示，因为他们可能对更新基础设施的必要性背后的所有数据一无所知。

还有更多的是基础设施。每个业务领导者都知道大数据的重要性，但是他们可能不明白这不仅仅是收集大量数据。通过向他们展示基础设施需要如何更新和带来的好处，企业的领导层可以更加重视大数据的风险和收益。

采用大数据也会有很多缺点，无论是由于企业无法处理这么多数据还是安全漏洞的风险增加而导致业务瘫痪。这使得企业了解如何扩展和适应这种增加的数据更重要，无论是通过改进基础架构还是删除不必要的数据。

但是，通过将更大的数据集分解成更易分析的数据，数据专家可以收集有用的信息，并迅速满足客户和企业领导者的需求。这需要强有力的沟通和新技术。HERO译