168大数据

标题: 大数据时代文本挖掘将起到重要作用 [打印本页]

作者: ljrj123 时间: 2017-11-27 14:55
标题: 大数据时代文本挖掘将起到重要作用
　　大数据时代的来临使得数据的规模和复杂性都出现爆炸式的增长，促使不同应用领域的数据分析人员利用数据挖掘技术对数据进行分析。在应用领域中，如医疗保健、高端制造、金融等，一个典型的数据挖掘任务往往需要复杂的子任务配置，整合多种不同类型的挖掘算法以及在分布式计算环境中高效运行。
　　文本挖掘，是数据挖掘领域重要的组成部分。简单地说，文本挖掘就是通过NLP、机器学习等方法从大量的文本资料中发掘出有价值的信息。无论是微信聊天记录，还是新闻文章，亦或是古诗词等，文本挖掘的应用领域非常广泛。
　　在大数据时代，文本数据挖掘需考虑以下四个问题：
　　大数据挖掘的核心和本质是应用、算法、数据和平台4个要素的有机结合。
　　因为数据挖掘是应用驱动的，来源于实践，海量数据产生于应用之中。需用具体的应用数据作为驱动，以算法、工具和平台作为支撑，最终将发现的知识和信息应用到实践中去，从而提供量化的、合理的、可行的、且能产生巨大价值的信息。
　　挖掘大数据中隐含的有用信息需设计和开发相应的数据挖掘和学习算法。算法的设计和开发需以具体的应用数据作为驱动，同时在实际问题中得到应用和验证，而算法的实现和应用需要高效的处理平台，这个处理平台可以解决波动性问题。高效的处理平台需要有效分析海量数据，及时对多元数据进行集成，同时有力支持数据化对算法及数据可视化的执行，并对数据分析的流程进行规范。
　　总之，应用、算法、数据、平台这四个方面相结合的思想，是对大数据时代的数据挖掘理解与认识的综合提炼，体现了大数据时代数据挖掘的本质与核心。
　　随着大数据的发展和创新，对数据处理的能力越来越来强，可以对大量的数据进行精确的分析和挖掘，并运用到工业、农业、医院、学校和银行等各个行业场景。其中NLPIR文本搜索与挖掘系统是针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成，各个中间件API可以无缝地融合到客户的各类复杂应用系统之中。
　　NLPIR能够全方位多角度满足应用者对大数据文本的处理需求，包括大数据完整的技术链条：网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。
　　大数据作为信息网络时代的重要标志，它不仅是一种技术，更涉及价值观和方法论，它带来的不仅是信息技术的升级，更是一次全新的思想解放和观念变革。

欢迎光临 168大数据 (http://www.bi168.cn/)