[发明专利]一种基于对象存储的大型数据云存储方法

摘要

本发明公开了一种基于对象存储的大型数据云存储方法，实施步骤包括：客户端读取待存储大型数据文件并形成至少一种数据子流，分别在内存中不断累积形成固定大小的数据块，一边将数据块及其描述信息压缩形成输出实例，一边将输出实例发送给云平台；云平台建立包含块容器对象的根容器对象，一边接收客户端针对待存储大型数据文件发送的输出实例，一边将接收到的输出实例作为对象保存到对应的根容器对象中，且各个数据子流的输出实例保存在一个以上块容器对象中。本发明基于分流分块并发压缩的思想，支持数据压缩及传输上云同步进行的方式、支持对不同数据子流的数据块采取极具针对性的压缩方案，能大量节约数据上传的时间成本与数据存储的经济成本。

主权项

1.一种基于对象存储的大型数据云存储方法，其特征在于实施步骤包括：1）客户端读取待存储大型数据文件，将读出的文件流形成至少一种数据子流，分别在内存中不断累积数据子流的数据形成指定大小的数据块，一边将数据块及其描述信息压缩并形成输出实例，一边将输出实例发送给云平台，所述描述信息包括数据块所属的数据子流信息、数据块大小及数据块编号；2）云平台首先基于对象建立包含块容器对象的根容器对象，然后一边接收客户端发送的输出实例，一边将接收到的输出实例分别作为对象保存到对应的根容器对象中，且各个数据子流的输出实例分别保存在一个以上的块容器对象中；步骤2）的详细步骤包括：2.1）云平台接收客户端针对待存储大型数据文件发送的输出实例，首先基于对象存储建立一个根容器对象，在所述根容器对象下嵌套至少一个用于支持单独解压随机读取的块容器对象，每一个块容器对象下嵌套和数据子流种类一一对应的子容器对象，每一个根容器对象、块容器对象、子容器对象在云平台中分别用一个对象存储，所述根容器对象、块容器对象、子容器对象三者均内容为空、元数据存储在云平台的元数据对象中，且根容器对象的名称包含压缩文件的文件路径，块容器对象的元数据中包含了隶属根容器对象的信息，子容器对象的元数据中包含了隶属块容器对象的信息，使得根容器对象、块容器对象、子容器对象形成呈树状组织结构的容器子系统；2.2）云平台将接收到的输出实例分别作为对象保存到对应的根容器对象中，且各个数据子流的输出实例分别保存在一个以上的块容器对象中。