[发明专利]一种基于条件随机场的越南语分词方法

摘要

本发明涉及一种基于条件随机场的越南语分词方法，属于自然语言处理技术领域。本发明包括首先对提取出的越南语语料进行分词建模，再把待分词的句子级测试语料通过建好的模型进行分词。本发明提出的基于条件随机场的越南语分词方法，对越南语句子实现了有效的切分，为词性标注、句法分析和机器翻译等工作做铺垫；通过与现有的越南语分词工具VnTokenizer比较，本文的越南语分词方法在准确率、召回率和F值上都有1％左右的提高；本文的越南语分词方法在同样的测试语料上分词的速度要比VnTokenizer快。

主权项

1.一种基于条件随机场的越南语分词方法，其特征在于：所述基于条件随机场的越南语分词方法的具体步骤如下：Step1、首先对提取出的越南语语料进行分词建模；建模的方法的具体步骤如下：Step1.1、利用爬虫程序，从互联网上爬取出网页信息；Step1.2、把爬取出的网页信息，经过过滤处理，构建出越南语文本语料库，再经过人工标注分词最终形成句子级分词训练语料，并把越南语文本语料库、句子级分词训练语料保存到数据库中；Step1.3、根据越南语的构词特点，从Step1.2中的句子级分词训练语料中提取越南语的特征，提取的越南语的特征包括字符n‑gram特征、字符重复信息特征、字符类型特征、词位置概率特征；Step1.4、根据提取的越南语的特征，制定了条件随机场分词模型中所需要的越南语的基本特征模板；Step1.5、把Step1.2中人工标注的越南语句子级分词训练语料，根据制定了条件随机场分词模型中所需要的越南语的基本特征模板，用条件随机场模型进行训练，得到越南语分词模型；Step2、把待分词的句子级测试语料通过建好的模型进行分词；Step 2.1、从构建出的越南语文本语料库中取出待分词的句子级测试语料；Step 2.2、把句子级测试语料放入越南语分词模型中，训练得到分词结果参数序列；Step 2.3、根据分词结果参数序列来对句子级测试语料进行分词得到最终的分词结果；所述Step1.2的具体步骤为：Step1.2.1、对爬取的网页进行无关信息的过滤、去掉重复的句子，形成越南语篇章级文本语料库；Step1.2.2、对得到的越南语篇章级文本语料库，通过句号、问号、感叹号为标识进行自动切分，得到越南语句子级文本语料库；Step1.2.3、再把越南语句子级文本语料库经过人工标注分词最终形成越南语句子级分词训练语料，并把越南语句子级文本语料库、句子级分词训练语料保存到数据库中。