Technical service

Welcome to Shannon Systems support page, Shannon Systems committed to provide more professional service to you,
You can contact us for more information.

Contact Us

Technical white paper

针对数据库优化

应用背景

现代 CPU 的计算能力在过去 20 年在以超越摩尔定律的速度在发展,速度提高了近 1 千倍。而基于磁记录的机械硬盘的存储 IO 读写速度在这期间增长了不到 10 倍。在 高性能的数据库系统中,性能瓶颈逐渐主要集中在存储 IO。这份技术白皮书描述了原 生 PCIe SSD 的架构和性能优势,包含数十微秒级别的读写延迟和高达百万 IOPS ; 突破了传统数据库系统中的存储 IO 瓶颈, 为大幅度提高数据库的响应速度和实时业 务处理能力提供了坚实的平台。

现代数据库系统包含传统的关系数据库和新兴的非关系数据库,应用包括OLTP,数据 仓库等。数据库应用的特殊性对存储系统提出了严格的要求:

  • • 数据完整性。写入的数据在掉电或系统崩溃时必须保证写入介质中,因此数据库应 用会非常频繁地fsync或使用直接写入(direct write)。这大大降低了系统写缓冲 的效能,对写延时提出了非常高的要求。
  • • 小块离散访问。数据库系统对数据文件的访问是小块(典型为8k~16k)的,离散的,近似随机的,大大降低了系统预读和读缓存的效能,对随机读延时有非常高的要求。
  • • 高并发度。IOPS应随并发度的增加线性增长,保证性能不会恶化。
  • • 高可用性。短期离线或性能降低均是不可接受的。

现有解决方案及不足

当前,很大一部分的数据中心架构解决方案都是基于磁记录硬盘(HDD)而设计并优化。 传统的 HDD 由于受机械臂寻址读写的限制,随机读取数据时需要磁头机械定位,即使 高端15K基于 SAS/FC 接口的 HDD 的每秒钟完成的随机读写次数 IOPS 通常限制在 200 次左右。

SSD的出现为突破性能瓶颈带来了可能:伴随着SSD技术的成熟,SSD开始大规模地被数 据中心所采用。为了兼容已有的数据中心架构,很多 SSD 采用了与 HDD 相同的接口, 如SAS(Serial Attached SCSI)或者 FC (Fiber Channel),并在物理形式上与 HDD 相 似,如 2.5 英寸或 3.5 英寸。采用传统硬盘接口的SSD直接在现有的系统中取代 HDD 可以在一定的程度上缓解存储系统的瓶颈,改善系统效能。普通的 SSD 采用模拟 HDD 的方式在兼容性上有一定的优势,但在性能上有非常大的限制:

  • • 复杂的数据链路导致高 IO 延迟
  • • SSD 性能受嵌入式 CPU 限制
  • • 冗余的 IO 调度
Download technology white paper