[发明专利]互联网数据拉取方法和系统

摘要

本发明提供了互联网数据拉取方法和系统。其中，该系统包括质量探测服务器，用于周期性地探测中转服务器列表中各个中转服务器的可用性和网络访问质量，并记录至数据库；数据库，用于存放中转服务器列表、以及所述质量探测服务器探测的各个中转服务器的可用性和网络访问质量；中转调度服务器，用于在需要执行数据拉取任务时，按照均衡调度中转服务器的原则调度出可用、且网络访问质量最佳的中转服务器执行该数据拉取任务；中转服务器，用于在所述中转调度服务器的调度下执行数据拉取任务。

主权项

一种互联网数据拉取系统，其特征在于，该系统包括：质量探测服务器、中转调度服务器、中转服务器和数据库；所述质量探测服务器，用于周期性地探测中转服务器列表中各个中转服务器的可用性和网络访问质量，并记录至所述数据库；所述数据库，用于存放中转服务器列表、以及所述质量探测服务器探测的各个中转服务器的可用性和网络访问质量；所述中转调度服务器，用于在需要执行数据拉取任务时，调度出可用、且网络访问质量最佳的中转服务器执行该数据拉取任务；所述中转服务器，用于在所述中转调度服务器的调度下执行数据拉取任务，其中，所述中转调度服务器包括：选择单元，用于针对需要执行的数据拉取任务，在当前所有中转服务器的拉取率均为设定默认值时，从当前所有中转服务器中选择出用于执行该数据拉取任务的可用、且网络访问质量最佳的中转服务器，否则，利用当前所有中转服务器的拉取率动态选择出用于执行该数据拉取任务的可用、且网络访问质量最佳的中转服务器；计算单元，用于在所述选择单元选择的中转服务器每执行一次数据拉取任务时，将该中转服务器的拉取率减去第一设定数值，将得到的结果作为该中转服务器的拉取率；其中，所述选择单元通过以下子单元实现利用当前所有中转服务器的拉取率动态选择出用于执行该数据拉取任务的可用、且网络访问质量最佳的中转服务器：第一计算子单元，用于计算当前所有中转服务器的拉取率之和，得到第一结果，以及利用所述第一结果与设定的随机数相乘，得到第二结果；遍历子单元，用于按顺序遍历当前所有中转服务器，将遍历到的第一个中转服务器作为当前中转服务器，将第二结果作为当前数值；以及在接收到所述判断子单元发送的触发时，继续遍历下一个中转服务器，将遍历到的中转服务器作为当前中转服务器，将所述第二计算子单元计算的当前拉取率作为当前数值；第二计算子单元，用于将所述当前数值减去所述当前中转服务器的拉取率，得到当前拉取率；判断子单元，用于判断当前拉取率是否小于等于第二设定数值，如果是，则确定当前中转服务器为用于执行所述数据拉取任务的可用、且网络访问质量最佳的中转服务器，否则，判断当前是否还有未被遍历的中转服务器，如果是，发送触发通知给所述遍历单元。