高性能OLTP解决方案——基于傲腾技术的Ceph系统

发表日期：2018-06-25 文章编辑：阅读次数：

内容简介

本文主要介绍使用英特尔® 傲腾(Optane™)技术以及Ceph BlueStore构建能有效应对联机事务处理过程(Online Transactional Processing, OLTP)负载的全闪存阵列（All-Flash Array, AFA）参考架构，还展示了使用傲腾技术和英特尔® SSD DC P3700系列成功在极低的延迟（Latency）下实现百万级QPS(Queries Per Second)，同时分享Ceph BlueStore 与MySQL的优化方法及参数配置。

背景

互联网公司都需要处理一些典型的工作负载，如OLTP负载，其常常表现为大量用户同时访问数据库，并要求系统在数毫秒内响应请求。这类负载的主要特点是高并发，数据量大，要求快速响应等。为了应对不断增长的业务量，现在很多互联网公司开始探索使用Ceph系统配合高性能硬件来构建存储系统。在这之前我们已经研究过Ceph的CPU和SSD选型问题，详情可见：英特尔®CPU & SSD实现高达1.9M IOPS Ceph存储

文中的Journal用于Ceph 的存储后端FileStore，主要功能是保证数据一致性（Consistency）。而WAL（Write-Ahead Logging）预写日志系统与Journal是类似的，但WAL属于BlueStore。BlueStore是一个用来替代FileStore的新存储后端，其使用RocksDB来存储元数据（metadata），而RocksDB使用本文提到的WAL来保证数据一致性。

Ceph AFA性能测试环境

我们的测试环境如图1所示，该测试环境由5个Ceph存储服务器和5个客户端（Client）节点构成，具体的配置可见表1和表2。Ceph存储服务器的硬件选型基于《英特尔®CPU & SSD实现高达1.9M IOPS Ceph存储》研究成果，即每5个core-GHz对应1个OSD，且为了满足低时延，高数据吞吐量等要求，选择傲腾™ SSD DC P4800X作为Journal或WAL存储设备。

图1 存储集群拓扑结构
表1. Ceph存储系统配置

表2. Docker 容器配置情况

Ceph AFA性能测试结果

我们分别使用Sysbench在100% 读，100% 写，混合读写（75%/25%）的情况下测试Ceph AFA的性能，主要指标为QPS以及延迟。实验结果如图2所示，其中最接近于真实使用场景的混合读写测试可达1245k 的QPS，以及仅6.8ms的延迟时间。

图2 Ceph系统性能概览

为了提升系统性能，改善P99延迟时间等指标，我们分别验证了使用英特尔® SSD P3700与傲腾™ SSD DC P4800X作为RocksDB和WAL存储设备的实验效果，图3展示了两者的延迟对比结果。从图3中可以看出使用傲腾技术的存储系统，延迟时间均有较为明显地降低，其中，100% OLTP 写时P99延迟降低了25%，混合OLTP读写时延迟降低了181%。

图3 傲腾技术减小存储延迟时间（P4800X VS P3700）

如图4展示了Ceph AFA对不同数量Sysbench线程在不同读写模式下的性能测试结果。首先看OLTP读性能方面，优化后的配置方案在OLTP读上展现出极佳的线程扩展能力（Thread Scale-out Ability）。随着线程数量翻倍，QPS也增加到原来的两倍，而延迟时间在线程数量少于CPU数量时保持在5ms以下，当线程数量超越CPU数量，延迟时间急剧增加。在OLTP写方面，当线程数量增加至8个时QPS不再增加，同时延迟时间从此大幅增加。OLTP混合读写方面，QPS在一定范围内也随着线程数量翻倍而增加。

图4 Ceph AFA线程可扩展性测试

图4和图5展示了OLTP读与写的单卷吞吐量（Per Volume Throughput），从图中可以看出，当超过5卷时，OLTP读与写的单卷吞吐量都在下降，同时平均延迟开始增加。

图5. OLTP read per volume performance

图6. OLTP write per volume performance

构建高性能Ceph AFA

本文优化了传统的Ceph AFA配置方案，即使用英特尔® 傲腾™ SSD作为Journal或WAL 存储设备，可提供卓越的数据吞吐量以及超低的延迟。优化后的Ceph 配置方案如下：

1. Ceph存储使用全闪存，即全部使用NVMe/PCIe SSD。

a. 使用傲腾™ SSD作为Journal 或 WAL 存储设备。

b. 使用英特尔NVMe/PCIe SSD作为数据存储设备。

2. 建议每5个core-GHz对应1个OSD，根据此条件选择对应的英特尔® 至强® 处理器。

3. 双口10Gb以太网卡，如Intel® 82599ES 10 Gigabit Ethernet Controller。

4. 系统内存至少为128GB。

综上，典型的高性能Ceph 全闪存阵列硬件选型建议如图4所示。

Ceph AFA系统进一步改进

在客户端一侧增加缓存设备可进一步提升Ceph AFA系统性能。因此我们分别测试了英特尔® SSD P3700 与英特尔® 傲腾™ SSD P4800X，作为客户端与存储系统之间的缓存设备的实验效果。从图3的实验结果可以看出，增加缓存后，IOPS以及延迟时间都有很大程度的改善，尤其是使用傲腾™ SSD P4800X作为缓存后实现了高达345462 IOPS，平均延迟降低到0.432ms，P99延迟则更是低至4.17ms。

总结

本文主要介绍了一个高性能OLTP解决方案，使用傲腾技术以及英特尔® 至强® 处理器等硬件，配合Ceph BlueStore成功搭建了一个高性能Ceph 全闪存阵列。

文章摘自英特尔精英汇

欢迎联系宝通集团咨询英特尔产品信息

宝通集团联系方式

咨询热线：0755-88603572

宝通官网：www.ex-channel.com
客户垂询邮箱：cuifang.mo@ex-channel.com

客户垂询QQ：1627678462

地址：深圳市福田区深南大道1006号国际创新中心C座11楼
邮编：518026

高性能OLTP解决方案——基于傲腾技术的Ceph系统

咨询在线客服

宝通技术1

宝通技术2

宝通技术3