168大数据

标题: NLPIR深度学习技术让中文分词更高效 [打印本页]

作者: ljrj123 时间: 2017-12-5 14:13
标题: NLPIR深度学习技术让中文分词更高效
　　随着深度学习在越来越多的领域中取得了突破性进展，自然语言处理这一人工智能的重要领域吸引了大批的研究者的注意力。
　　自然语言处理是人工智能和语言学的交叉学科，在搜索引擎，问答系统，机器翻译等人工智能领域发挥着重要作用。分词，词性标注，命名实体识别作为自然语言处理的基础领域，同样吸引着大批研究者的注意力。
　　中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂的多、困难的多。
　　随着AlphaGo的大显神威，深度学习的热度进一步提高。深度学习来源于传统的神经网络模型。传统的神经网络一般由输入层，隐藏层，输出层组成，其中隐藏层的数目按需确定。深度学习可以简单的理解为多层神经网络，但是深度学习的却不仅仅是神经网络。深度模型将每一层的输出作为下一层的输入特征，通过将底层的简单特征组合成为高层的更抽象的特征来进行学习。在训练过程中，通常采用贪婪算法，一层层的训练，比如在训练第k层时，固定训练好的前k-1层的参数进行训练，训练好第k层之后的以此类推进行一层层训练。
　　NLPIR/ICTCLAS分词系统是针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，具有深度学习、高效、语义的特点，可以支持中英文分词与词性标注，可视化系统可根据词性对不同的分词结果进行区分显示，一般虚词都是浅色，而名词、动词、形容词等实词为显著的颜色。系统还支持在线用户词典的输入，用户可以在右下方添加用户词及词性。
　　汉语词法分析能对汉语语言进行拆分处理，是中文信息处理必备的核心部件，采用条件随机场(Conditional Random Field,简称CRF)模型，分词准确率接近99%，具备准确率高、速度快、可适应性强等优势;特色功能包括：切分粒度可调整，融合20余部行业专有词典，支持用户自定义词典等。
　　词性标注能对汉语语言进行词性的自动标注，它能够真正理解中文，自动根据语言环境将词语诸如“建设”标注为“名词”或“动词”，采用条件随机场(Conditional Random Field,简称CRF)模型，一级词性标注准确率接近99%，具备准确率高、速度快、可适应性强等优势。
　　使用深度学习技术，给中文分词技术带来了新鲜血液，改变了传统的思路。深度神经网络的优点是可以自动发现特征，大大减少了特征工程的工作量，随着深度学习技术的进一步发展，在NLP领域将会发挥更大的作用。

欢迎光临 168大数据 (http://www.bi168.cn/)