[发明专利]一种新闻内容敏感词过滤方法及系统

摘要

本发明提供一种新闻内容敏感词过滤方法及系统，所述方法包括：S1、对获取的新闻文本进行预处理；S2、根据预先构建的敏感词库，使用敏感词多级过滤算法根据敏感词的优先级对所述新闻文本进行敏感词过滤；S3、当过滤到所述新闻文本中存在预设的敏感词时，通过基于马尔可夫逻辑网的情感分析模型，对过滤到的敏感词进行判定；S4、当判定为过滤到的敏感词为不良敏感词时，将所述新闻文本标记为负面新闻，否则标记文正面新闻。本发明通过建立马尔可夫逻辑网的情感分析模型对过滤的敏感词进行二次判定，以确定过滤到的敏感词是否具有负面信息，从而在过滤负面新闻的同时，不会将打击负面信息的正面新闻过滤掉，提高了新闻内容敏感词过滤的可靠性。

主权项

1.一种新闻内容敏感词过滤方法，其特征在于，所述方法包括：S1、对获取的新闻文本进行预处理；S2、根据预先构建的敏感词库，使用敏感词多级过滤算法根据敏感词的优先级对所述新闻文本进行敏感词过滤；S3、当过滤到所述新闻文本中存在预设的敏感词时，通过基于马尔可夫逻辑网的情感分析模型，对过滤到的敏感词进行判定；S4、当判定过滤到的敏感词为不良敏感词时，将所述新闻文本标记为负面新闻，否则标记文正面新闻；所述马尔可夫逻辑网的情感分析模型，具体为：其中Y是类别标签，当Y＝1时表示该新闻传播不良信息，为负面新闻，当Y＝0时表示是正面新闻，X是特征向量，s表示敏感词的级别，x为在某一个级别中的一个敏感词，α为权重，β为偏置项，P(Y＝1|X＝xs)表示当特征向量X＝xs时，新闻传播不良信息的概率，其中，α和β通过如下目标函数求解：其中，W表示总的不良信息分类的集合，w表示集合中的某一个元素或一个子集合，y表示对应于w是不良信息还是正面信息的取值；O(α,β)表示计算α和β目标函数。