[发明专利]一种可视化农业大数据分析交互系统

权利要求书

1.一种可视化农业大数据分析交互系统，其特征在于，包括农业大数据抓取系统、农业资讯大数据可视化系统、农业生产大数据可视化系统、农产品消费链大数据可视化系统和可视化交互系统；

所述农业大数据抓取系统通过数据爬虫对互联网上现存web服务器的，且是公开的农业数据进行合法的抓取、过滤和存储操作；所述农业大数据抓取系统包括农业资讯数据抓取端、农业生产数据抓取端、农产品消费链数据抓取端和大数据存储端；

所述大数据存储端包括Redis数据库和Hadoop数据库，所述大数据存储端用于对农业资讯数据抓取端、农业生产数据抓取端和农产品消费链数据抓取端产生的数据进行分类存储；

所述农业资讯数据抓取端用于抓取指定权威资讯站点上农业领域的资讯信息并保存至大数据存储端的Redis数据库中，且定时对Redis数据库中的数据进行更新；

所述农业生产数据抓取端用于抓取互联网上农业生产领域的数据信息，并将数据信息对应的对象、数值和单位进行解析并保存至Hadoop数据库中；

所述农产品消费链数据抓取端用于抓取指定根数据源站点上的农产品消费链数据，且通过消费链数据构建溯源链表并保存至Hadoop数据库中；

所述农业资讯大数据可视化系统将所述农业资讯数据抓取端提供的农业领域的资讯信息按照地域、内容和发布日期进行分类可视化显示；

所述农业生产大数据可视化系统将所述农业生产数据抓取端抓取的农业生产大数据通过整理分类形成气泡图，并对进行可视化显示；

所述农产品消费链大数据可视化系统将所述农产品消费链数据抓取端提供的农产品消费链数据通过桑基图进行可视化显示；

所述可视化交互系统能提取农业资讯关键词、农业生产关键词和农产品消费链关键词，并将关键词进行关联串接，通过关联串结构建交互超链接。

2.根据权利要求1所述的一种可视化农业大数据分析交互系统，其特征在于，所述农业资讯数据抓取端用于对现存web服务器的，且是公开的农业资讯信息进行合法的抓取，所述农业资讯数据抓取端为增量式网络爬虫端，包括页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区、Rdis数据库和调度模块，所述调度模块将页面爬行模块、初始URL集合、URL子集合、Hash去重模块、临时保存区、查重区和Rdis数据库按照如下步骤进行调度：

S1通过页面爬行模块对初始URL集合中的目标URL进行内容爬取，并筛取关键内容保存至临时保存区；

S2调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的Hash指针；

S3得到目标URL关键内容的所有Hash指针后，通过关键内容的Hash指针集合生成目标URL的Hash值；

S4将目标URL的Hash作为key元素，目标URL中所有关键内容作为value元素保存到Rdis数据库中，并更新key_value对照表；

S5对初始URL集合中所有目标URL进行S1至S4步骤，生成初始URL集合的key_value对照表；

S6通过页面爬行模块遍历爬取初始URL集合中所有子URL，并将所有子URL作为目标URL保存至URL子集合中；

S7对URL子集合中所有目标URL进行S1至S4步骤，并生成URL子集合的key_value对照表；

S8通过页面爬行模块爬取所有目标URL的历史更新频率，将平均每24小时更新不小于一次的目标URL保存至快URL集中，将平均每24小时更新小于一次的目标URL保存至慢URL集中；

S9通过页面爬行模块对快URL集中的目标URL每1个小时进行一次关键内容爬取，对慢URL集中的目标URL每6个小时进行一次关键内容爬取，并保存至查重区；

S10调度Hash去重模块对临时保存区中的每一个关键内容分别进行Hash赋值并得到关键内容的查重Hash指针；

S11得到目标URL关键内容的所有查重Hash指针后，通过关键内容的查重Hash指针集合生成目标URL的查重Hash值；

S12将目标URL的查重Hash值和保存在Rdis数据库中的指针进行比对，若相同，则目标URL的关键内容并未发生变化；若不相同，则目标URL的关键内容发生变化；

S13将关键内容发生变化的目标URL的查重Hash值作为key元素替换Rdis数据库中原有的key元素，将发生变化的关键内容作为value元素替换替换Rdis数据库中原有的value元素，并更新key_value对照表；

S14重复S1至S13步骤，历遍所有初始URL集合和URL子集合，保持更新。