[发明专利]一种面向社交网络不规则短文本的粤语分词方法

摘要

本发明涉及一种面向社交网络不规则短文本的粤语分词方法，属于自然语言处理领域。本发明的面向粤语语境的短文本清洗和分词的方法，具体包括四个功能模块，分别为支持用户自定义的短文本清洗模块、粤语联合语料库构建模块、短文本扫描和初步切分模块、未登录词处理及分词结果输出模块。本发明解决了现有技术中没有考虑到面向社交网络不规则短文本的粤语分词方法，提出了满足用户自身不同应用场景的个性化数据清洗模型，建立了面向社交网络的粤语联合语料库，设计了基于构建的联合语料库的分词模型，同时综合考虑了文本中出现未登录词的处理方案，提出对应的综合处理模型，最终在连登论坛平台爬取的短文本数据中验证，分词准确率达87％。