一、压缩传输 #
通过秒级备份和快速恢复技术实现了秒级RPO和更低的RTO,因传输过程的速度也将直接影响到RTO,为提高传输效率,当然首先要想办法从源头下手,支持对传输数据进行压缩。
lz4压缩算法和zlib压缩算法对比结果如下图:
在权衡压缩率与吞吐量指标之后,信服云选择了lz4压缩算法,相比常用的zlib压缩算法,压缩率差异不大,仍能达到50%左右,但收获较大的吞吐量,可达500MB/s。
二、对比传输 #
如果只关注数据从源端成功发送或只关注目的端成功接收到数据,而不对数据的完整性和一致性进行校验,传输的数据可能丢失和遭受损坏,这样的数据是无价值或者造成更大损失的,这样的数据传输是不负责任的。
秉承数据完整性和正确性原则,首先从源端保证发送的数据是正确有效的,我们会在数据传输前,对文件(包括全量备份镜像、增量备份镜像)的完整性进行校验;其次是保证目的端数据与源端一致,通过将源端和目的端的数据进行对比和差异重传,保证数据在传输过程中无丢失无损坏,即对比传输。
对比传输的实现原理:信服云平台在数据传输端与接收端均通过算法校验对文件分块计算checksum,两端对比差异值,发送端仅针对差异数据进行传输,降低对传输带宽的压力。
如上图如示:对比发现block2中源端和目的端数据的MD5值不相等,重新将源端的block2的值传递给到目的端的block2位置。
注:rsync_client是源端(主站点),rsync_srv是目的端(备站点)。
三、种子文件 #
种子文件是对异地容灾场景的一个功能补充。用户可以在主站点使用种子文件功能将云主机的备份文件制作成种子文件并存放到指定的外置存储(U盘,移动硬盘)中,然后使用物理的方式将种子文件运输并导入至备站点的云主机中,导入后备站点就会拥有对应云主机的备份文件。实际上就是将本来应该通过网络传输到备站点的云主机备份数据以物理的方式运输过去。
种子文件功能由三个部分组成:制作种子文件、导入种子文件和管理种子文件。
如上图所示,信服云平台会将云主机最新的数据备份1制作为种子文件存入外置存储设备并运输和导入到备数据中心,后续该云主机产生的增备数据可以通过网络传输的方式在主备数据中心之间进行同步。
五、降级处理 #
容灾方案的秒级RPO的实现关键是本地CDP备份技术,本地业务IOlog分流同步至异地,这个过程对网络性能要求很高,如果出现网络异常或IOlog生成速度大于网络传输速度,并且持续时长大于备份周期时,信服云平台采取降级处理来保障数据异地传输的正常进行。
降级处理是降低IOlog重放的优先级,优先小时级增备文件的传输,通过对比传输功能,将在本地快速生成的数据增备文件,以文件的方式整体进行传递,待网络恢复正常或者IOlog生成速度小于网络传输速度时,重新执行IOlog重放功能,保障传输过程中的数据不丢失且降低对业务性能的影响。
以容灾CDP故障时间大于一个备份周期为例:
如上图所示,传输完RP4后网络发生故障,此时RP4及之前的备份BP文件和RP文件已经传输到备站点,网络在RP10之后恢复,在这期间已经生成了BP2、BP3两个增量备份。
故障恢复时,平台不是通过IO重放将RP5到RP10传输到备站点,而是将故障期间产生的增备文件BP2和BP3传递到恢复站点,然后重放RP10到备份站点。
六、加密传输 #
部署远距离传输的容灾方案时,有专线和广域网两种异地传输网络部署方案,信服云平台提供加密传输来保障广域网数据传输的安全性。
信服云平台将加密功能部署在传输代理模块之上,原生支持SSL加密,可以简化加密配置与管理,传输代理模块的动态流控可以有效降低传输加密对数据传输的影响,均衡传输速度。
七、负载均衡 #
信服云平台在接收端加入负载均衡功能,发送端进行数据传输时只与接收代理建立链路,负载均衡根据接收端接收数据的性能表现确定接收代理与后端服务节点的链路,进一步提高传输性能和效率,在接收端进行负载,不影响受保护站点的性能。
八、动态流控
为了保证容灾进程不过分抢占主业务运行资源,信服云平台提供动态流控技术,通过调整容灾链路带宽,保证主站点业务的正常运行。
通过传输上层代理对各个传输代理的上传速度进行动态调节,各传输代理对传输的具体数据类型分类(文件流、IOlog 流),分别进行上传速度限制,执行流控动态调节。
九、运行监控 #
如前面描述,信服云平台为容灾数据传输过程提供系列保驾护航的措施,保证数据传输的正确有效和传输高效,获得高RPO和高RTO,以及流控措施保证主业务正常运行。
信服云平台也提供运行监控技术,始终感知数据传输过程的流量使用、运行状况,以便及时发现故障并处理,结合大屏实时展示容灾状况,简化容灾的管理运维。
联系我们