[发明专利]一种对提取的Web表格数据进行集成的方法及装置

摘要

本发明公开了对提取的Web表格数据进行集成的方法及装置，能够提高对Web表格数据进行集成形成的数据库准确性。包括：获取Web表格语料库；获取每个表格的候选语义；计算每个表格的候选语义与数据语义的不一致性；若不一致性大于第一预定阈值，表格候选语义不正确，利用众包确认该表格的候选语义，根据该表格语义似然值和众包反馈结果重新计算该表格候选语义，并重新计算不一致性；若不一致性大于第二预定阈值小于第一预定阈值，利用知识库和众包模式确认该表格中数据正确性，重新计算不一致性；若不一致性小于第二预定阈值，该表格候选语义正确，对该表格中的数据进行标注；确定所有表格候选语义均正确时，进行模式映射和数据清洗。

主权项

1.一种对提取的Web表格数据进行集成的方法，其特征在于，所述方法包括：对Web表格进行提取获取一含有噪声的Web表格语料库；将所述Web表格语料库中的所有表格数据均映射到知识库中获取所述Web表格语料库中每个表格的候选语义，并计算每个表格的列及列对映射到其表格候选语义的似然值；计算每个表格的候选语义与其表格中数据语义的不一致性；若表格的不一致性大于第一预定阈值，则确定该表格候选语义不正确，利用众包模式来确认该表格的候选语义，并根据计算的该表格语义的似然值和众包反馈的结果重新计算该表格的候选语义，根据重新计算得到的表格候选语义重新计算其与该表格中数据语义的不一致性；若表格的不一致性大于第二预定阈值并小于所述第一预定阈值，则利用知识库和众包模式确认该表格中数据的正确性，并根据知识库和众包反馈的数据的正确性重新计算该表格候选语义与其表格中数据语义的不一致性，其中，所述第二预定阈值小于所述第一预定阈值；若表格的不一致性小于所述第二预定阈值，则确定该表格候选语义正确，根据该表格候选语义对该表格中的数据进行标注；当确定所述Web表格语料库中的所有表格候选语义均正确时，进行模式映射以建立不同表格间的语义对应关系，并对识别出的错误数据进行数据清洗和修正。