[发明专利]一种面向HDFS的网络报文并行读取方法

摘要

本发明提供一种面向HDFS的网络报文并行读取方法，包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS，将捕获的网络数据包写入HDFS，并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来，形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力，进而提高了后续网络数据包的并行分析与处理效率。

主权项

一种面向HDFS的网络报文并行读取方法，其特征在于，包括网络数据捕获与pcap报文解析两个阶段，具体包括下列步骤：1)网络数据捕获阶段1a)pcap报文采集器从交换机或路由设备实时捕获网络数据包；1b)通过HDFS流写入模块将数据包以二进制pcap格式写入HDFS；1c)分割容量V大于HDFS默认64MB的文件，使大文件以V/64MB或者V/64MB+1个block存储于分布式文件系统当中；2)pcap报文解析阶段：2a)通过给定规则探测出每个block中首个pcap报文的起始偏移量；2b)跳过起始位置之前的所有字节；2c)依次解析block中所有的pcap报文；2d)将每次解析的pcap报文结果输入Map操作；2e)结束。