[发明专利]一种实现Lustre并行文件系统最大带宽的方法

摘要

本发明提供一种实现Lustre并行文件系统最大带宽的方法，包括：在服务器上配置raid信息，在一套被测物理集群上安装linux操作系统，在操作系统上，部署Lustre并行文件系统。再使用集群中计算接点作为客户端，由客户端向Lustre文件系统进行加压，通过查看服务器物理资源来衡量Lustre文件系统的IO性能。因此，本发明对为服务器厂商、向客户提供整体高性能计算解决方案具有非常重要的意义。

主权项

一种实现Lustre并行文件系统最大带宽的方法, 其特征在于包括1个管理结点、512个计算结点、2个登陆结点、12个 IO 结点、12个存储节点、1个胖结点组成组成的集群系统，配备1套千兆网络，1套INFINIBAND网络；每个IO结点的存储系统由1块5805 RAID卡和6块SAS磁盘组成，每个存储结点的存储系统由1块存储控制器和12块SAS磁盘组成，由于千兆网络的带宽为1Gb/S，INFINIBAND网络的带宽为40Gb/S，当磁盘带宽大于1Gb/S时，千兆网络存在瓶颈，为了消除由于网络引起的瓶颈，采用如下方案：1）针对于IO结点，每个SAS磁盘单独做一个RAID0，共计6个RAID0；2）针对于存储结点，每个SAS磁盘单独做一个RAID0，共计12个RAID0；3）选取一个IO结点，用其6块SAS磁盘做一个RAID5，共计1个RAID5；4）每个存储结点通过光纤连接到对应的IO结点上；5）用RAID 0组成Lustre的OST，共计210个OST；6）用RAID 5组成Lustre的MDT，共计1个MDT；7）部署安装Lustre文件系统client,mds,oss；8）使用512个client同时向Lustre文件系统写50G数据：命令如下：dd if=/dev/zero of=/luster/c$$b$$test bs=1M count=500009）统计带宽   计算方法如下：Client c01b01的io 带宽+ Client c01b02的io 带宽+…..Client c0nb0n的io 带宽……+……Client cnnbnn的io 带宽…..+Client c37b08……的io 带宽计算后，总带宽为4GB/S，大约为INFINBAND带宽的80%，系统资源瓶颈出现在INFINBBAND，如需要，则可以把INFINBAND做成链路聚合，这样INFINBAND的带宽上升为80Gb/s，则Lustre的带宽预估算上升到8GB/S； 10）经过上述步骤，Lustre的带宽性能达最大，在数据安全性上不是最优，为使数据安全性最优，再采用如下步骤：（1）令每两个OSS做成双机热备，每两个MDS做成双机热备，这样实现数据安全性最优；（2）通过备份软件实现对Lustre文件系统的备份，包括EMC networker。