[发明专利]数据分层存储方法及系统

说明书

技术领域

本发明涉及通信领域，且特别涉及一种数据分层存储方法及系统。

背景技术

随着云计算和容器化技术的发展，容器技术已经广泛的应用在各个领域，而容器技术的核心是镜像，镜像的存储对于业务的正常运行起着非常关键的作用。现有的容器镜像数据存储技术在磁盘介质管理上采用的是“静态”存储技术，即在固定的磁盘阵列中划分卷，再对数据进行存储，从而使得很多用户在部署实施分层技术后发现，整体IOPS(Input/Output Operations Per Second)性能依然与传统架构相当，即磁盘吞吐能力并未获得大幅提升。

同时，现有的容器镜像数据存储技术从存储系统的底层考虑，对应用数据的存放成本进行了优化，使得需要高存取性能的数据能够存放在读写性能高的磁盘介质，海量低访问频率的数据存放在低成本大容量的低转速磁盘。但是对于数据的存储性能类型的辨别，需要使用人为的方式，通过人为辨别之后，再将数据存储到对应的磁盘介质中。现有容器镜像数据存储系统架构图如图1所示。图1中的标记具体为：互联网1000、管理员2000、交换机3000、磁盘阵列组4000。从图1中可以看出，当读写数据时，可以人为的判断数据是冷数据(访问率低的数据)或热数据(访问率高的数据)，进而把不同类型的数据存储在性不同的磁盘中，方便用户的下次读取，这样可以加快数据的读取速度，保障一些业务功能能够高效的运行。

在现有的方法中需要人为的对数据进行判断，当出现大量的读写操作时人为决策较为困难，并对存储设备造成压力，不能及时响应。人为对冷数据和热数据时考虑的因素较为单一，没有考虑数据与数据是相互影响的关系，数据的区分存在不准确性，当需要读取冷数据时，无法快速的响应需求从而导致上线业务不能正常运行，用户感知较差。当发生以上问题时，只能通过管理员进行被动故障处理，对数据库或者存储设备进行修正。严重时，导致存储系统宕机，需要重新启动，这对于核心系统来说是不可接受的。此外，人为操作需要投入大量的人力成本，造成资源的浪费。

进一步的，现有的容器镜像数据存储技术应用数据卷(LUN)与磁盘阵列(RAID)组形成映射关系，RAID组中磁盘的性能会影响该数据卷的数据存取性能，使其成为瓶颈问题，且数据卷一旦创建，所有归属于该卷的数据RAID架构即被固定，不能改变。

发明内容

本发明为了克服现有数据存储技术不能智能地且准确地区分数据的冷热的问题，提供一种能自动准确地检测数据的冷热度并根据数据的冷热度进行自动分层存储的数据分层存储方法及系统。

为了实现上述目的，本发明提供一种数据分层存储方法，该方法包括：

响应于外部应用的读操作对被读取的数据资源进行标记，待读操作完成后计算已标记的数据资源的标记值；

根据每一数据资源的标记值的大小将该数据资源分配到相应的存储层内。

于本发明一实施例中，在计算某一数据资源的标记值时基于在相邻时间内与其共同被读取的数据资源的标记值以及共同被读取的数据集合进行计算。

于本发明一实施例中，采用以下公式计算数据资源的标记值：

其中，DR(i)表示第i个数据资源的标记值，N(j)表示在当前时间之前，第j个数据资源一共被读取的次数，B(j)表示在读取i的同时被读取的数据集合。

于本发明一实施例中，在计算已标记的数据资源的标记值后将计算所得的每一数据资源的标记值存入数据表中。

于本发明一实施例中，所述存储层包括性能驱动器和容量驱动器，存储入性能驱动器的数据资源的标记值大于存储入容量驱动器内的数据资源的标记值。

于本发明一实施例中，所述数据分层存储方法还包括：

响应于外部应用的写操作初始化写入的数据资源的标记值；

将该标记值存储入数据表后将数据资源分配至相应的存储层内。

于本发明一实施例中，在响应于外部应用的读操作对被读取的数据资源进行标记，待读操作完成后计算已标记的数据资源的标记值这一步骤之前，所述数据分层存储方法还包括：

检测外部应用的操作；

判断检测到的外部应用的操作类别。

相对应的，本发明还提供一种数据分层存储系统，包括计算模块和分配模块。计算模块响应于外部应用的读操作对被读取的数据资源进行标记，待读操作完成后计算已标记的数据资源的标记值。分配模块根据每一数据资源的标记值的大小将该数据资源分配到相应的存储层内。