[发明专利]传感器数据定位方法和装置

说明书

技术领域

本发明涉及传感器数据的处理，更具体涉及一种传感器数据的定位方法和装置。

背景技术

在智慧的地球（smart planet）场景（例如，城市智慧操作中心（IOC））中，有成千上万的传感器装置分布在城市区域。这些传感器装置产生的数据文件被汇集到数据中心，以支持进一步的智能分析。这些传感器数据具有如下特点：传感器的数据具有天然的时空聚集性，从空间上来说，一个传感器的数据就是传感器所监控区域的数据，从时间上来说，传感器数据按照时间的先后顺序产生和存储传感器数据；这些传感器数据几乎都是“一次写入、多次读取的”；这些来自成千上万的传感器装置的数据文件将被集合为统一的大文件，以方便管理和全局查询。

目前，类Hadoop技术（包括Hadoop技术以及其他类似的海量数据分布式存储技术）提供了高可用性和高吞吐率能力，以实现海量数据的存储和处理，但低时延（latency），尤其是由低的磁盘I/O带宽造成的低时延，仍然是一个没有解决的问题。由于传感器数据的量过大，通常以具有一定冗余度的块（block）或区块（chunk）的方式存储在分布于各地的各数据节点的磁盘中。当基于类Hadoop的智能应用进行查询时，它将把源文件的所有数据以块的形式从数据节点的磁盘加载到工作处理器所在的内存中。然后再在内存中判断哪些数据和请求相关，哪些数据与当前的请求无关，并将无关的数据在内存里丢弃，这样的做法导致磁盘I/O加载了大量无效的和无关的数据到内存中，从而带来了额外的磁盘I/O压力。而且，源文件越大，则磁盘I/O压力也越大。

发明内容

针对现有技术中存在的上述问题，提出了本发明的解决方案。

在本发明的一个方面，提供了一种传感器数据定位方法，包括：获取包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表；响应于运行时针对传感器数据的查询，截获该查询，并提取查询条件中的特征参数；以及使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识，以便将所定位的所述块标识所指示的存储块加载到工作存储器内存空间，以用于回复查询。

在本发明的另一方面，提供了一种传感器数据定位装置，包括：索引表获取模块，被配置为建立包含传感器数据存储块的块标识与传感器数据的特征属性之间的映射关系的索引表；查询截获模块，被配置为响应于运行时针对传感器数据的查询，截获该查询，并提取查询条件中的特征参数；以及块定位模块，被配置为使用所述特征参数在所述索引表中定位匹配的传感器数据存储块的块标识，以便将所定位的所述块标识所指示的存储块加载到工作存储器内存空间，以用于回复查询。

本发明的解决方案减少了在涉及海量传感器数据的存储和处理的场景中磁盘I/O带宽和工作处理器内存空间的浪费，提高了查询处理效率，减少了时延。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图；

图2示出了本发明的方法和装置可在其中实施的一城市智慧操作中心的体系结构的示意图；

图3更详细地示出了本发明的方法和装置可在其中实施的类Hadoop体系结构及其操作的示意图；

图4示意性地示出了本发明的基本思想；

图5示出了根据本发明的实施例的一种传感器数据定位装置；以及

图6示出了根据本发明的实施例的一种传感器数据定位方法。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。