[发明专利]基于Hadoop MapReduce的数据连接方法及装置

摘要

本发明提供基于Hadoop MapReduce的数据连接方法及装置，方法包括：在第一类数据的主键标识信息后面依次连接预设字符信息和时间信息得到第一信息；在第二类数据的主键标识信息后面依次连接预设字符信息和与第一类数据的时间信息字符数相同的多个0得到第二信息；将第一、二信息作为MapReduce的key信息，根据MapReduce模型将第一、二数据表的数据进行连接，并将第一、二信息中的主键标识信息作为partition信息，计算将第一、二数据表的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；其中，第一类数据包括：主键标识信息和时间信息；第二类数据包括：主键标识信息。该方法可减少连接操作时内存的使用，增加数据处理效率。

主权项

1.一种基于Hadoop MapReduce的数据连接方法，其特征在于，包括：在第一类数据中的主键标识信息后面依次连接预设字符信息和时间信息，得到第一信息；在第二类数据中的主键标识信息后面依次连接预设字符信息和与所述第一类数据中的时间信息的字符数相同的多个0，得到第二信息；将所述第一信息和所述第二信息作为MapReduce的关键词key信息，根据MapReduce模型将第一类数据与第二类数据的数据进行连接，并将所述第一信息和所述第二信息中的主键标识信息作为分区partition信息，计算将第一类数据与第二类数据的数据连接后得到的每条数据属于哪个partition，并在每个partition中使用key信息进行排序；其中，所述第一类数据包括：主键标识信息和时间信息；所述第二类数据包括：主键标识信息；所述第一类数据为车辆停靠数据表，所述第一类数据的主键标识信息为车辆id字段，所述第一类数据还包括：兴趣点POI停靠id信息；所述第二类数据为车辆静态信息数据表，所述第二类数据的主键标识信息为车辆id字段，所述第二类数据还包括：车辆注册时间信息。