[发明专利]一种基于Hadoop构建的PacBio测序平台IT架构

摘要

本发明公开了一种基于Hadoop构建的PacBio测序平台IT架构，包括硬件模块、软件模块、数据层次模块、服务器组设计模块；硬件模块通过基础硬件实现数据的传输和存储，并执行计算；软件模块通过从分析仪器收集到海量生物信息数据上传至HDFS，以及从第三方SQL数据库得到海量数据导进Hadoop中，进行相关的处理，最后实现从实验数据中挖掘出有价值的知识和规律；数据层次模块进行对获得的海量生物信息数据处理；服务器组设计模块是PacBio SMRT分析服务器组与大数据服务器组硬件共生设计及角色分配。本发明实现了对海量数据的高效率处理，形成了对基因序列的快速、低成本解读，应用于生物信息数据分析、医疗数据化模拟分析等，对疾病的预测、诊断、治疗等方面都有很大的意义。

主权项

一种基于Hadoop构建的PacBio测序平台IT架构，其特征在于：所述IT架构包括硬件模块、软件模块、数据层次模块、服务器组设计模块；其中，硬件模块主要通过交换机、路由器、服务器、外置存储器基础硬件的连接，实现数据的传输和存储，并成功执行计算；软件模块是通过从分析仪器收集到海量的生物信息数据利用Flume技术实时监控，并上传至HDFS分布式数据处理集群，以及从第三方SQL数据库得到海量的数据利用sqoop工具导进Hadoop中，对这些数据进行过滤、融合及相关的处理，并将处理后的数据存储在数据库中，再结合SQL分析工具Hive对存储的数据进行分析，数据关系分析工具Pig找出数据间的规律及MapReduce进行更复杂的内容分析，最后实现从海量实验数据中挖掘出有价值的知识和规律；数据层次模块主要进行对获取到的海量生物信息数据处理，包括从源数据，结构化数据，多层处理后数据，分析结果到得出结论；服务器组设计模块用于PacBio SMRT分析服务器组与大数据服务器组硬件共生设计及角色分配，同时结合对海量数据的高效率处理技术，形成对基因序列的快速、低成本解读。