[发明专利]一种语义冗余的挖掘方法和装置

权利要求书

1.一种语义冗余的挖掘方法，其特征在于，该方法包括：

S1、从搜索日志中获取Q-Q、Q-T和T-T中的至少一种资源作为候选句对，所述Q-Q为用户在一个会话session中搜索的两个查询项query构成的句对，所述Q-T为query与对应的被点击网页标题title构成的句对，所述T-T为同一个query对应的两个被点击title构成的句对；

S2、从各候选句对中抽取具有相同上下文语境的短语对作为候选复述短语对；

S3、从候选复述短语对中抽取短语p2被另一个短语p1完全包含的候选复述短语对；

S4、对所述步骤S3抽取出的候选复述短语对进行噪声过滤后，得到语义冗余短语对，所述语义冗余短语对中短语p1比短语p2冗余的词语为语义冗余词。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S2中按照如下短语抽取规则抽取短语对作为候选复述短语对：两个短语的前一个词相同且后一个词相同，但两个短语本身不相同。

3.根据权利要求2所述的方法，其特征在于，所述短语抽取规则还包括以下至少一种：两短语的长度在预设的长度范围内，两短语中不包含标点且不完全由停用词构成，或者两短语之前和之后不是标点。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2中还包括：统计各候选复述短语对分别从Q-Q、Q-T和T-T抽取出来的次数，将总次数小于预设次数阈值的候选复述短语对过滤掉。

5.根据权利要求1所述的方法，其特征在于，步骤S4中所述噪声过滤包括以下至少一种：

计算候选复述短语对的上下文的熵，将存在上下文的熵小于预设熵阈值的候选复述短语对过滤掉；

统计候选复述短语对从Q-Q、Q-T和T-T抽取出来的总次数以及候选复述短语对从Q-T抽取出来的次数C_q-t(p1，p2)，将总次数小于预设第一次数阈值Th1且C_q-t(p1，p2)小于第二次数阈值Th2的候选复述短语对过滤掉，其中所述Th1大于所述Th2；

如果候选复述短语对中短语p1比p2冗余的词语存在于过滤词表L1中，则将该候选复述短语对过滤掉；

如果候选复述短语对中短语p2存在于过滤词表L2中，则将该候选复述短语对过滤掉；

确定同一短语p2所在的各候选复述短语对的词频分值，将词频分值排在前N个之外的候选复述短语对过滤掉，所述N为预设的正整数。

6.根据权利要求5所述的方法，其特征在于，所述计算候选复述短语对的上下文的熵具体包括：

按照公式计算候选复述短语对<p1，p2>的左上下文的熵El(p1,p2)；

按照公式计算候选复述短语对<p1，p2>的右上下文的熵Er(p1,p2)；

其中，wl为p1和p2的所有左上下文词，wr为p1和p2的所有右上下文词，当w∈wl时，p(w)为w相对于所有左上下文词的出现概率，当w∈wr时，p(w)为w相对于所有右上下文词的出现概率，所述左上下文指的是所述<p1，p2>的所述相同上下文语境中在p1或p2之前的上下文，右上下文指的是所述<p1，p2>的所述相同上下文语境中在p1或p2之后的上下文。