华云数据IT课堂：创新型企业级私有云存储是如何炼成的？

 　　背景

　　互联网和大数据的发展使得企事业单位对数据存储的需求陡增。虽然公有云存储发展已趋于成熟，能够提供丰富的功能和极高的可靠性，但是依然存在安全性、可定制化、公网访问带宽受限等问题。因此，大部分有特殊需求的客户，并不愿意将数据存储到公有云，而是寻求借助开源存储解决方案，来快速搭建一套私有云存储系统。

　　当前，存储业界已经有Ceph、Swift、Gluster等众多可选开源解决方案。然而，存储系统作为最底层的基础设施，其选型需要考虑的问题非常繁杂，例如：存储业务的使用场景具体有哪些?存储系统内部的高可用、高可靠、高安全等设计是否都靠谱?存储系统是否足够成熟、周边工具是否完善?存储系统是否有生产环境大规模应用的案例?如何迁移历史数据并充分利用原有旧设备?等等。

　　那么，解决掉这些问题，就能保证数据存储高枕无忧吗?并非如此。为了确保开源存储系统持续稳定运行，必须深入理解该系统的架构设计和部署方式，并具有持续优化和改进的能力。同时，还需要根据实际使用场景，以及未来可能的发展趋势进行资源预留和调配。即使具有专业存储技术团队的大型企业，面对开源存储系统的潜在风险，都存在问题定位难、解决慢的尴尬。而这些风险如果发生在缺乏足够经验的团队上，几乎是致命的。稍有不慎，就会有数据无法访问甚至丢失的风险。

　　可以总结一句话：开源 ≠ 能用

　　对于研发力量不足的私有云存储客户，我们更推荐另一种方式，即选择专业私有云存储提供商的产品和服务。

　　华云StorUltra™私有云存储

　　华云数据深耕云计算领域多年，深刻理解客户在企业级私有云存储建设方面的痛点。依托公司在公有云存储服务多年的研发和运营经验，自主研发了StorUltra™私有云存储，其具有海量存储、安全可靠、成本低廉等特性，兼容主流Swift和S3接口。用户可以通过简单的HTTP RESTful或封装好的SDK，在任何时间、任何地点、任何互联网设备上进行数据上传和下载。基于StorUltra™私有云存储，可以搭建出多媒体分享网站、企业网盘、数据容灾备份等服务。

　　如上StorUltra™私有云存储基础架构图，底层使用可扩展的通用服务器、硬盘和网络设备，提供了一整套存储解决方案，实现一站式的私有云存储服务，功能亮点包括：

　　1. 底层实现了高可靠、高可用、高安全的分布式存储系统

　　2. 通过Web控制台进行自动化运维，最大程度降低运维成本

　　3. 提供完善的系统监控与报警，完备对接认证授权体系

　　4. 提供传统的数据访问接口(NFS/FTP/SMB等)

　　5. 提供与S3和Swift兼容的对象存储访问接口

　　6. 轻松对接华云公有云COS，轻松实现混合云方案

　　7. 支持对接业界主流的公有云存储服务，数据迁移非常便捷

　　8. 提供图片处理、音视频处理等数据增值服务

　　9. 7*24小时专业团队提供技术支持

　　本文将重点解密StorUltra™私有云存储在系统高可靠、高可用、高安全的特性。

　　高可靠性

　　StorUltra™私有云存储使用多副本(Multi Replica)和纠删码EC(Erasure Coding)保证数据可靠性。根据实际场景，用户可选择不同的数据保护方案。

　　若用户选择多副本数据保护方案，可以自由配置数据备份数，根据业界经验值，我们推荐使用三备份，以达到成本和可靠性的平衡。使用三备份存储，可以达到99.99999999%的数据可靠性。

　　若用户选择纠删码EC数据保护方案，可以自由选择EC算法以及数据块和校验块配比。我们推荐使用7+5的配比，达到超过三副本的数据可靠性，且相较于三副本，该方案可将存储利用率提升近一倍。

　　高可用性

　　StorUltra™私有云存储在系统设计上无任何单点，系统可以在以下异常时仍然对外提供正常服务：软件升级、节点宕机、存储设备故障、网络瞬时异常、分区不可用。

　　如上图所示，每一个层级都有可高用保障机制：

　　接入故障：接入节点无状态设计，Load Balancer检测到接入节点故障时，仅需将其流量切换到其他接入节点;

　　存储故障：数据采用多副本或者纠删码EC打散存储，单一存储节点故障时可从其他节点恢复原始数据，系统后台会启动数据自动修复功能，将故障存储节点数据在其他节点上恢复;而且系统会将该故障存储节点标记为异常，保证不会再有写请求进入该节点;

　　网络故障：接入节点与存储节点之间出现网络故障时，接入节点会自动重试其他数据副本(或EC数据块)，保证服务依然可用;

　　分区故障：当可用区发生故障时，可以通过多备份技术读到数据备份，或者通过纠删码进行数据恢复。写操作会自动路由到可用分区，确保写入的可用性。

　　高安全性

　　StorUltra™私有云存储从数据传输、数据完整性、身份认证、访问控制、服务端加密、数据分块存储等多方面保证用户数据安全。

　　传输安全：数据上传下载链路均支持HTTPS协议，防止数据在传输过程中被侦听泄密;

　　完整性校验：通过两端的MD5验证，对每一个请求进行数据完整性校验，防止数据在传输过程中被篡改;

　　身份认证：采用密钥进行身份认证，用户发起的请求都需要进行签名，服务端会对用户的身份进行认证;

　　访问控制：提供灵活的数据访问控制模型，可以通过授权系统指定哪个账户能访问您的数据，保证重要数据的安全;

　　服务端加密：对所有磁盘上存储的数据进行加密，即使托管在第三方数据中心，也不用担心数据被窃;

　　分块存储：文件被打散成相互之间无关联的分块后再进行落地存储，通过单个分块无法恢复完整文件;

　　跨可用区存储：通过纠删码EC，能够将文件打算存储到多个可用区，即使某个可用区被完全攻破也无法恢复完整文件。

　　通过高可靠、高可用、高安全的介绍，相信大家对StorUltra™私有云存储有了初步了解。那么，如何解决企业级私有云存储面临的自动化运维、监控报警、混合云存储整合等难题?我们将通过后续的一系列文章进一步介绍。