[发明专利]一种网页抓取方法及系统

权利要求书

1.一种网页抓取方法，其特征在于，所述方法应用的网页抓取系统包括至少两个网页链接库，包括步骤：

A、在任一个网页链接库处于空闲状态的情况下，从所述至少任一个网页链接库中选取额定数量的初始链接，所述空闲状态指所述网页链接库既不处于被选取状态，又不处于更新状态；

B、从所述初始链接对应的各个原始网页中抓取新链接；

C、对于每个待更新链接，所述待更新链接指所述新链接以及所述初始链接，判断所述待更新链接是否存在于任一个网页链接库中，如果是，则进入步骤D，如果否，则进入步骤E；

D、将所述待更新链接存储至包含所述待更新链接的网页链接库对应的链接缓存中，或在包含所述待更新链接的网页链接库处于空闲状态的情况下，根据所述待更新链接的抓取状态更新包含所述待更新链接网页连接库中对应链接的抓取状态；

E、将所述待更新链接追加到任一个网页链接库对应的追加链接缓存中。

2.根据权利要求1所述方法，其特征在于，在所述步骤A前，还包括：

步骤F、检测所述各个网页链接库是否处于空闲状态，如果至少两个网页链接库处于空闲状态，则比较所述处于空闲状态的网页链接库的存储链接的量，得到链接存储量最大的网页链接库；

相应的，步骤A为：从所述链接存储量最大的网页链接库中选取额定数量的初始链接。

3.根据权利要求1所述方法，其特征在于，在所述步骤C前还包括：

步骤G、检测所述各个网页链接库是否处于空闲状态，如果至少两个处于空闲状态，则比较所述处于空闲状态的网页链接库中链接的存储量，得到链接存储量最小的网页链接库；

相应的，所述步骤E具体为：将所述待更新链接追加到所述链接存储量最小的网页链接库对应的追加链接缓存中。

4.根据权利要求3所述方法，其特征在于，所述步骤C具体为：

C1、对于每个所述待更新链接，判断所述待更新链接是否存在于除所述链接存储量最小的网页链接库以外的其他任一个网页链接库中，如果是，则相应的，所述步骤D为：将所述待更新链接存储至包含所述待更新链接的所述其他任一个网页链接库对应的更新链接缓存中，或在包括所述待更新链接的网页链接库处于空闲的情况下，根据所述待更新链接的抓取状态更新包含所述待更新链接网页连接库中对应链接的抓取状态；如果否，则进入步骤C2；

C2、判断所述待更新链接是否存在于所述链接存储量最小的网页链接库中，如果是，则相应的，所述步骤D为：将所述待更新链接存储至所述链接存储量最小的网页链接库对应的更新链接缓存中，或在所述链接存储量最小的网页链接库处于空闲的情况下，根据所述待更新链接的抓取状态更新所述链接存储量最小的网页链接库中对应链接的抓取状态。

5.根据权利要求1所述方法，其特征在于，所述步骤C具体为：采用多哈希函数映射的快速查找算法判断各个所述待更新链接是否存在于任一个网页链接库中。

6.根据权利要求1所述方法，其特征在于，在步骤E后，还包括：

步骤H、在所述各个待更新链接判断完毕后，将所述追加链接缓存中的链接写入与所述追加链接缓存对应的网页链接库中，以及将更新链接缓存中的链接写入与所述更新链接缓存对应的网页链接库中。

7.一种网页抓取系统，其特征在于，所述系统包括：至少两个网页链接库；

以及，状态检测模块，用于检测任一个网页链接库是否处于空闲状态，所述空闲状态指所述网页链接库既不处于被选取状态，又不处于更新状态；

选取模块，用于在所述状态检测模块的检测结果为是的情况下，从至少任一个处于空闲状态的网页链接库中选取额定数量的初始链接；

抓取模块，用于根据所述初始链接获得与所述初始连接对应的各个原始网页，再从所述各个原始网页中抓取新链接；

重复链接判定模块，用于判断各个待更新链接是否存在于任一个网页链接库中，所述待更新链接指所述新链接以及所述初始链接；

更新模块，在所述重复链接判定模块的判断结果为是的情况下，将所述待更新链接存储到包括所述待更新链接的网页链接库对应的更新链接缓存中，或者，在包括所述待更新链接的网页链接库处于空闲的情况下，根据所述待更新链接的抓取状态更新包括所述待更新链接的网页链接库中对应链接的抓取状态，在所述重复链接判定模块的判断结果为否的情况下，将所述待更新链接追加到任一个网页链接库对应的追加链接缓存中。