挑战存储“不可能之三角”：用自研技术引领存储性能突破

　　科技云报道原创。

　　存储，是数字化时代的“粮仓”。它承载着企业的海量数据，是企业数字化转型的基础。

　　然而，随着非结构化数据在生产业务中的广泛应用，各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。

　　可以说，分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

　　分布式存储的主要优势在于其出色的对象存储能力，但在文件存储的性能表现上，大小文件有所差异。

　　对于大文件的处理，由于技术壁垒较低，并且许多业界厂商已经针对此进行了深入研发和优化，因此大文件的处理效果相对较好。

　　然而，分布式存储对于小文件的处理却受限于其开源的Ceph架构，需要处理大量小文件时，元数据管理、存储空间和IO性能等能力跟不上，性能表现并不理想。

　　至于高性价比，这要求在低成本的同时提供更高的性能和更大的容量。以往业界认为，高性能一定伴随着高成本，但实际上这是对高性能和高成本之间关系的误解。

　　只有找不到合理有效的优化手段或解决方案时，才可能需要通过增加硬件投入来提高性能。

　　那么，如何解决分布式存储的“不可能之三角”?

　　这是一个值得深思的问题，也是一个不小的挑战。现在，在存储赛道上，有一个“老道的新手”用自研技术，成功走到了大容量、高性能、高性价的交集里。

　　做分布式存储易做好分布式存储难

　　数字化浪潮汹涌向前，与之同行的是，存储行业也要不断地创新求变。

　　2018年前后，视频、音频等非结构化数据开始爆炸式增长，特别是在政府、医疗、媒体等领域存在大量的视频数据存储需求，对存储海量数据、存储系统的扩展性提出了新的要求，以集中式架构为主SAN、NAS传统存储瓶颈开始凸显。

　　存储市场需求的变化，也催化了新技术的爆发。这个时期，分布式存储技术开始在各大厂商之间冒头。

　　分布式存储将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，从而实现了存储容量的扩展、性能的提升和成本的降低。

　　2020年，被视为分布式存储爆发元年。根据IDC发布的《中国存储市场季度追踪报告》，2020年中国分布式存储市场规模达到了37.2亿美元，同比增长68.2%。

　　其中，企业级分布式存储市场规模达到了33.8亿美元，同比增长69.2%。

　　尽管分布式存储已逐步进入生产领域，但市场的变化，仍在催生新的需求。

　　最初，市场的焦点主要在于“存下来”，即如何存储日益增长的数据，例如政府的智慧城市项目和医疗影像的长期存储。

　　对于这类“第二存储、备份归档”等边缘数据场景，分布式存储的低成本、高扩展性能够很好地满足。

　　随着时间的推进，对存储“高性能”的要求也日益提升，以满足例如医院的PACS阅片场景，实景三维场景，企业EDA场景等应用的需求。

　　这些应用不仅需要存储海量数据，还要求快速处理和分析这些数据。显然，市场上普遍存在的“大容量但低性能”的分布式存储已跟不上市场的需求。

　　近年来，随着AI训练、芯片等高精尖产业的快速发展，对存储系统的“综合性能”提出了更高的要求。

　　这些应用需要的不仅是海量的存储容量，更要能够处理混合负载，即高速的数据处理能力和对不同类型文件的支持。

　　事实上，在处理“混合负载”这一点上，目前分布式存储产品普遍性能满足不好。

　　混合负载的特点在于，既包括大文件(比如几百兆甚至几个G的视频文件)，也包括很多小文件(比如只有几KB甚至更小的文本文件)，当数据量达到一定规模，小文件的处理性能就成为性能瓶颈。

　　不难发现，分布式存储在一定程度上能够解决传统存储在性能、扩展性方面的问题，但想要实现高性能的目标，依然非常困难。可以说，做分布式存储容易，但做高性能的分布式存储难。

　　分布式存储想要解决“大容量、高性能、高性价比”的“不可能三角”难题，目前能够完全作答的厂商并不多。

　　入局存储赛道十年的深信服，正是其中的佼佼者。

　　坚持自研技术深信服挑战存储“不可能之三角”

　　2013年，深信服作为国内最早钻研虚拟化技术的云计算厂商之一，凭借虚拟化技术的优势，开始摸索着切入存储赛道，那时深信服内部称之为“虚拟存储”，顾名思义，扮演的角色是深信服桌面云和超融合存储底座支撑。

　　彼时，经过超融合、桌面云的用户“检验”之后的“虚拟存储”，也日渐成熟。

　　随着各行各业数据不断增长，深信服看到了用户在小文件场景面临的困扰。2017年开始，深信服决定独立发展存储，加大投入，打造用户真正需要的存储底座。

　　在与传统存储厂商的竞争中，深信服抢占了先机：一方面，深信服精准把控了市场需求变化;另一方面，通过自研核心高性能架构，实现了弯道超车。

　　带着对用户需求的深刻洞察，从2020年开始，深信服EDS存储将目光锁定在了主存储领域，专为“高性能大容量文件存储”而生——能支持混合IO负载，兼具大小文件能力，瞄向高精尖场景。

　　2023年，深信服发布了EDS分布式存储501高性能版本，这在存储业界也意味着分布式存储能堪当大任，承载核心生产业务。

　　在深信服看来，存储“不可能之三角”的破题秘籍在于，充分发挥硬件存储介质性能和提升软件数据管理及处理能力，从而取得“高性能+大容量+高性价比”的平衡。

　　高性能和大容量一步到位

　　存储设备的性能通常由其读写速度和承载数据量的能力来衡量，特别是在处理大量小文件时，读写速度和系统的稳定性尤为重要。

　　在读写性能提升上，深信服EDS存储设计的读写模式充分适应了SSD与HDD混合闪存介质的特性，以此充分激发硬件性能。同时，通过增加NVMe SSD即可实现容量的横向扩展、性能的线性提升。

　　同样大小的内存空间，深信服EDS存储基于多活的元数据能力，可以充分发挥各节点的磁盘性能，让元数据访问效率提升 10 倍以上，可缓存的元数据规模是Ceph系产品的7倍，在 AI 训练等场景下可以保持 90% 以上的元数据命中率。

　　不仅如此，深信服EDS存储在IO整合、数据缓存与协议增强等核心技术方向上也构建了自己的核心能力，来提升海量小文件和大文件高吞吐场景的性能。

　　通过小文件的聚合和动态IO整合，深信服EDS存储实现了性能层空间的最小化，并且在持续写入文件的过程中，保障性能层不会被击穿，始终保有充足的空间进行数值的排序与整合，通过这样的动态整合来解决容量使用超过80%后导致的垃圾回收挤占而性能下降的问题。

　　对于延迟敏感型业务，深信服EDS存储采用自适应三级缓存技术，缩短数据路径将数据时延降至us级。

　　在协议增强上，相比于标准文件共享协议协议，深信服EDS存储提升了2-3倍，进一步降低协议对性能的额外开销,缩短时延和提升性能。

　　基于分布式存储架构的天然优势，当用户需要更大的存储空间或者处理能力时，只需要添加更多的节点即可，无需改变已有的硬件或软件结构，也无须面临替换存储阵列硬件的昂贵投入，获得性能和容量的真正“自由”。

　　打破常规：以更低成本驱动高性能和大容量

　　传统阵列存储如果要同时满足大容量、高性能的需求，往往需要投入很高成本，高昂的磁盘阵列扩容扩展的费用也让很多企业不堪重负。

　　而在深信服看来，同时获得高性能和大容量可以用更经济的方式，也不需要过度依赖昂贵、高端的硬件配置。

　　一方面，深信服EDS存储实现了冷热数据自动分层，热数据存储在NVMe 或SATA固态盘构建的高性能层，冷数据存储在机械盘构建的大容量层，这样能帮助用户节省存储的硬件成本。

　　另一方面，基于深舟数据管理平台、EDSData Explorer等软件，实现数据的高效压缩和管理，64GB内存可以承载亿级以上规模小文件的高速读写，帮助用户合理规划存储的投入成本。

　　通过硬件+软件的组合式创新，深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升，能够满足容量大且大小文件混合负载的应用场景，很好地解决了存储“不可能之三角”。

　　对存储而言，性能优化可谓是一场没有终点的马拉松，持续在通用硬件上激发出更高、更稳定的存储性能，通过软件实现更快的数据接入、数据管理，用户便可以用更低的成本投入获得可支撑核心业务运行的存储产品。

　　自研分布式存储系统的深信服，技术栈更加先进，加上软硬件结合与适配，在性能、可靠性等方面出类拔萃，胜任高精尖领域的各种存储需求。

　　一款产品好不好用客户反馈是真正的试金石

　　一款好的存储产品，不仅是实验室里的高性能，更是用户生产环境的实际需求的高性能。

　　上海某专科医院的影像数据每年以15%的速度增长，深信服EDS存储不仅满足其扩容需求，而且还能轻松应对就诊高峰期的高并发阅片，阅片端每秒可加载1000张CT影像。

　　这意味着，医生可以在更短的时间内完成阅片，提高工作效率，为患者提供更优质的医疗服务。

　　除了实实在在为医院、医疗助力之外，深信服EDS存储也应用在AI、芯片、测绘、媒体等多场景。

　　在芯片设计场景 ，深信服EDS存储可以支撑更大规模的EDA仿真任务，激活100%活跃算力。这意味着，芯片设计企业可以更快地完成EDA仿真，缩短产品研发周期。

　　在测绘场景 ，EDS 501高性能版本每天可以处理70000张航片。

　　在航片导入场景 ，相比于其他厂商大文件吞吐能力提升2倍多;三维建模场景的小文件效率可接近于本地NVMe SSD，CASS3D在线打开海量小文件组成的三维成果数据耗时相比于某阵列NAS缩短8倍多。

　　结语

　　在高精尖领域的成功，深信服证明了EDS具有强大的市场适应性，这也为其在其他行业的发展奠定了良好的基础。深信服之所以在这些场景中表现出强劲的性能，这得益于EDS的“业务优先”理念。

　　深信服EDS存储从不“唯数据论”，不盲目追求性能数据上的提升，而是落到真实的业务场景，针对业务特征进行性能优化，为实际业务运行带去更好的体验。

　　同时，深信服EDS也不鼓吹“大而全”，而是聚焦在高性能文件存储这一领域精益求精，力争领导者。

　　深信服作为存储领域“老道的新手”，在高性能存储之路上，追求的不仅是将自身在云技术栈十多年积累的存储技术用于EDS存储，更重要的是深入到每个用户的实际应用场景中，以生产业务的高性能需求为导向，真正实现用户需求和技术优势的最佳结合。