[发明专利]一种分布式存储系统的纠删码优化方法

摘要

本发明提供了一种分布式存储系统的纠删码优化方法，该方法利用纠删码的特点，减小纠删码条带的大小。小的条带更能满足满条带写，对于未满条带的部分，可以使读取补齐的数据最小化。大于大IO，小条带会把请求数据切分成很多个条带，利用内存引用技术，进行逻辑层的小条带合并，保证了大IO会把被切分，性能不受影响。本纠删码优化方法把纠删码的条带最小化，减少了未满条带写时读取补齐数据的数据量。前段不需要设置缓存池也能保证较高的读写性能，大大增加了数据的安全性和减少了前段的内存消耗。

主权项

1.一种分布式存储系统的纠删码优化方法，其特征在于，该方法是利用纠删码的特点，减小纠删码条带的大小，小的条带更能满足满条带写，对于未满条带的部分，使读取补齐的数据最小化；大于大IO，小条带把请求数据切分成很多个条带，利用内存引用技术，进行逻辑层的小条带合并，保证了大IO被切分，性能不受影响；所述方法包括分布式存储系统，该分布式存储系统包括：控制主机：所述控制主机生成虚拟磁盘，作为存储数据路径的前端主机，完成数据接收、转发功能；存储主机：所述存储主机分布于存储系统中，数据最终的存放地点将存储资源抽象成多个存储组件，每个组件由大型的稀疏文件链组成；所述方法还包括(k+r，k)纠删码存储虚拟磁盘，该(k+r，k)纠删码存储虚拟磁盘包括k个数据组件，r个校验组件；(k+r，k)纠删码虚拟磁盘的一个纠删码条带包含k个数据块和r个校验块，数据块的大小为n字节；前段虚拟磁盘写入k*n个字节的数据，会被拆分成k份，分别写入到k个数据组件中，根据纠删码算法，计算出r个校验数据块，分别写入到r个校验组件中；纠删码写入时需要计算校验数据，数据偏移量和数据长度必须对齐数据块大小，如果没有满足该条件必须先到后端组件上读取数据补齐条带；如果数据偏移量没有对齐，需要读取条带头，如果数据长度没有对齐，需要读取条带尾；所述方法还包括纠删码数据拆分重组方法，该纠删码数据拆分重组方法是通过多个数据条带在内存中进行数据拆分重组后，只需进行一次纠删码运算；所述分布式存储系统的纠删码优化方法如下：①：基本变量说明，设数据块个数k为4，校验块个数为2，数据大小n为1K，条带大小s为n*k＝4K，数据偏移量为offset，数据长度为length；②：数据偏移量和数据长度补齐；如果数据偏移量不能被条带大小整除，数据块需要向前补齐，如果数据偏移量+数据长度的大小不能被条带大小整除，需要向后补齐数据；由于本分布式存储系统的所有前端IO的数据偏移量和数据长度都是4K对齐的；因此，保证条带大小为4K就能够避免数据补齐；③：当条带大小为4K时，前段一个大IO会被分成多个条带；④：为了不降低小条带的性能，先对数据进行拆分重组，需要写入的数据大小为12K，分成3个条带；对每个条带对应的数据块进行合并，合并前的数据块编号为[1 2 3 4 5 6 7 8 9 10 11 12]，合并后的数据块编号为{[1 5 9][2 6 10][3 7 11][4 8 12]}；数据重新合并后，看成条带大小为12K，数据块为3K的纠删码条带，只需进行一次纠删码运算就可以算出整个数据块的校验值；并且可以把数据合并发送给存储后端。