碧海分布式存储和Ceph的对比

碧海分布式存储系统是依托于国内百年学府上海交通大学海量存储与安全实验室自主研发的分布式存储系统,起源于 2010年上海市科委“PB 级海量存储系统”重大项目。软件使用 C++语言编写,代码约 35 万行。
Ceph 是开源软件,目前由 Redhat 公司维护。使用 C++语言,代码逾百万行。国内公司的分布式软件定义存储产品大多都基于 Ceph。开源 Ceph 本身复杂性极高,存储厂商很难吃透并彻底掌握,通常只是跟随社区主导者的步伐发展,没有真正的核心技术,均面临如技术更新慢、稳定性不足、产品维护难等各种挑战;另外,开源模式并不意味着免费或低成本,往往导致更高的后期运维成本。
Ceph 在存储节点上为每块磁盘创建一个 OSD 进程,每个进程内多达 80 个线程,共有几百个线程,非常消耗 CPU 和内存资源,导致 IOPS 性能比较低。
碧海存储系统使用事件驱动模型,每个 CPU 启动一个 IO 进程,避免了进程/线程在 CPU 之间调度的开销。对 CPU 和内存要求低,性能更高。碧海分布式存储的 IOPS 性能达到业内领先水平,性能高于 EMC Scaleio、VMWare vSAN,是 Ceph 类产品所不具备的。
经实际测试,在硬件配置相同、存储介质为 SSD 时,碧海存储系统 IOPS 性能指标是 Ceph 的3 倍,而且 CPU 和内存开销更少。
对于碧海存储系统性能优化和稳定性的部分技术原理,可以参考学术报告:分布式存储系统的一些关键问题(https://mp.weixin.qq.com/s/OyGH9qTajcq0o4nsQPI63g)。