作为一种软硬一体化的基础设施架构，超融合具备易运维、易部署等优势，在多种行业与场景中得到了广泛应用。在金融、医疗等行业的部署中，面向数据库等场景的超融合一体机面临着巨大的存储性能挑战，用户需要提升数据吞吐能力并降低时延，以支撑关键型业务的高效运行。

　　为提升存储子系统的性能，浪潮使用了存储性能开发套件(SPDK)，并通过NVMe over Fabrics(NVMe-oF)协议进行加速。NVMe-oF协议作为iSCSI协议的替代者，可以让主机以使用本机 NVMe协议方式访问分布式存储，提供低延时、高吞吐的块存储设备，解决了内核态驱动读写NVMe磁盘时可能会出现的内核上下文切换和CPU中断问题。优化后的方案能够为客户虚拟机提供高性能的分布式存储，降低总体时延和减少时延差异。

　　金融与医疗行业面临存储性能瓶颈

　　近年来，越来越多的金融与医疗机构开始拥抱超融合，希望通过部署超融合一体机等方式，对硬件加以重构，以软件定义的方式打造灵活高效的IT基础设施。在拥抱超融合的同时，金融与医疗机构也非常关注超融合能否提供强大的存储能力。

　　如今NVMe SSD的IOPS已经远远高出HDD磁盘，时延从毫秒压缩到微秒，系统的性能瓶颈也由存储硬件本身逐渐转移到网络及处理器上。传统文件系统和调度器等方法由于无法充分发挥新存储介质的性能，成为存储系统的新瓶颈，具体包括：

　　利用常规的NVMe内核驱动读写NVMe磁盘时，会遇到内核上下文切换和CPU中断问题。在高性能的全闪存储中，中断意味着时延的不确定，会导致较大时延和性能开销。

　　在传统的I/O模型中，应用程序提交读写请求后进入睡眠状态。待I/O完成后，中断会将其唤醒，中断开销成为了整个I/O时间中非常重要的一部分。

　　浪潮云海超融合一体机 InCloud Rail实现多维创新

　　作为新一代超融合解决方案，浪潮云海超融合一体机InCloud Rail通过软件定义的计算、存储和网络技术实现了服务器的资源池化，使整个IT环境比单独的物理硬件具有更高的可用性、安全性和扩展性，能够有效满足企业对于降低成本、简化管理、提高安全性和扩展性的需求，助力企业向云计算迁移核心业务、构建企业云数据中心。

　　InCloud Rail实现了存储资源的池化和统一管理，并通过全闪存架构的软件定义存储SmartONE支持异构算力的融合。SmartONE采用etcd组件作为集群管理，负责分布式存储的节点的关系、节点之间的元数据传递及一致性等。在资源管理方面SmartONE提供了qemu、iSCSI和NVMe-oF的服务入口，对接VDI卷管理入口，对外提供存储资源。在对象存储方面，SmartONE主要接收VDI的IO请求，根据数据分布算法调度到相关节点，根据副本策略和EC规则调用Gateway分发到分布式存储的存储节点。　　

　　图1. 浪潮云海超融合一体机InCloud Rail架构　　

　　图2. 浪潮SmartONE软件架构

　　为了满足数据库等实时读写、随机访问超大规模数据集等场景对于存储性能的严苛要求， InCloud Rail除了探索使用新一代存储介质之外，在SmartONE分布式存储的单机存储引擎、NVMe-oF存储服务等模块中，采用了SPDK进行优化。

　　单机存储引擎方面，浪潮SmartONE分布式存储基于SPDK的NVMe驱动实现了高性能底座，支持和NVMe磁盘设备直接交互，同时采用无锁设计，并行处理IO命令。此外，NVMe上层实现了专属NVMe的单机存储引擎系统，该引擎系统通过基于内存的元数据和日志管理系统，有效避免了传统文件系统的双写问题。测试数据显示，浪潮SmartONE分布式存储的单机存储引擎几乎达到了NVMe物理硬盘支持的性能上限。　　

　　图3 专属 NVMe 的单机存储引擎系统

　　NVMe-oF 分布式存储服务方面，NVMe-oF分布式存储服务为超融合平台提供两种块服务解决方案，其一是采用vhost-user技术方案，可以为虚拟机提供更短的IO路径;其二是作为存储服务，为服务器提供NVMe-oF的TCP/RDMA的块服务。SmartONE利用SPDK vhost-user技术，直接消除Guest虚拟机通过PCIE方式访问NVMe设备，避免内核更新PCI配置空间;同时直接在用户态捕获QEMU虚拟IO，以零拷贝方式将数据传输到存储系统中。

　　SmartONE支持以NVMe-oF存储协议方式提供块存储服务，它可以提供TCP和RDMA两种形式的外部访问。NVMe-oF存储协议作为iSCSI协议的替代者，可以让主机以使用本机NVMe协议的方式访问分布式存储，提供低延时、高吞吐的块存储设备。　　

　　图4 SmartONE NVMe-oF分布式存储服务

　　消除性能瓶颈，打造高性能存储

　　浪潮SmartONE分布式存储系统能够充分发挥NVMe固态盘的性能潜力，应对在IOPS和时延方面有着较高要求的数据库应用场景。

　　显著提升存储系统的性能，并降低数据时延，能够满足有着苛刻要求的数据库应用场景，同时有效控制分布式存储系统的总体拥有成本(TCO);

　　集成于超融合一体机中，能够通过一体机所预置的虚拟化平台、云管理平台、快速部署工具以及相关的工作流程，显著简化部署、管理和运维工作的复杂性。

　　未来，浪潮还将坚持以用户为中心，紧密结合前沿技术发展趋势与市场需求，持续创新引领、迭代优化，打造集融合至简、性能不凡、强大可靠、开放生态特性于一身的超融合一体机，持续为用户业务上云、数字化转型升级贡献力量。