[发明专利]一种信息检索系统评测方法和装置

摘要

本发明公开了一种信息检索系统评测方法和装置，通过利用关键词在评测检索的结果集合中的相关对象参数之和与该关键词在检索结果集合中的所有相关对象参数的比值之和来计算信息检索系统的召回率，并将召回率引入信息检索系统的评测中，增强了信息检索系统量化评测的准确性，同时提高了评测的自动化程度。

主权项

1.一种信息检索系统评测方法，其特征在于，该方法包括：获取预定时间周期中信息检索系统上报的行为数据样本；根据所述行为数据样本获取样本检索关键词集和每个样本检索关键词对应的样本检索结果；调用信息检索系统对预定的评测关键词集进行评测检索，根据评测检索结果和所述样本检索结果计算评测关键词集中每个关键词对应的召回率和正确率；根据所述召回率和正确率计算所述信息检索系统的评测指标；其中，所述召回率为关键词对应的评测检索结果中的相关对象参数之和与该关键词对应的样本检索结果中的所有相关对象参数之和的比值；所述正确率根据关键词对应的评测检索结果中相关对象的数量和检索结果子集中非相关对象的数量计算得到；所述相关对象为所述样本检索结果中用户进行了操作的对象；所述非相关对象为所述样本检索结果中用户未进行操作的对象；当对于检索结果中的对象进行两种不同的进一步操作，则每个相对对象的所述相关对象参数根据如下公式计算：其中，ExposeCnt为该相关对象在对应关键词的样本检索结果中出现的总次数，FCnt为样本检索结果中用户对该相关对象进行第一操作的总次数，SCnt为样本检索结果中用户对该相关对象进行第二操作的总次数，a为第一操作权重系数，b为第二操作权重系数，σ为调偏系数；FirstScorex为该相关对象于第x次出现在检索结果中并被执行第一操作时的相关性系数，该相关性系数根据该相关对象在该次检索的检索结果中的排列位置计算得到，该相关对象在检索结果中排序越靠后，相应的相关性系数越高；SecondScorey为对应的相关对象于第y次出现在检索结果中并被执行第二操作时的相关性系数，所述相关性系数根据对应的相关对象在该次检索的检索结果中的排列位置计算得到，该相关对象在检索结果中排序越靠后，相应的相关性系数越高。