人大金仓KINGBASE 实现东莞卫健委多个独立单位异构数据源数据实时同步

　　为落实推进“数字政府”改革建设工作,广东省东莞市政务服务数据管理局于2020年5月下发《关于配合开展政务数据汇聚及治理的函》,并指出,东莞市下属各部门应配合市政务数据大脑数据服务团队开展数据摸查,数据汇聚和治理等相关工作。组织建立实时业务备库,同时供市政务数据大脑采集数据,夯实数据汇聚和共享应用基础是东莞市政务云国产化扩容项目建设目标之一。

　　在本案例涉及项目建设中,人大金仓通过在数据大脑健康云中提供在线业务备库及实时备份方案的落地支撑,在总体日增量700+GB的负载压力下,完成了客户5个独立单位多种异构数据源的数据实时同步工作。

　　项目背景

　　客户需要将包括卫生健康局的人力资源系统、医疗机构药事管理系统,医疗救护120指挥中心的120调度指挥系统,疾病预防控制中心的疫苗冷链监测报警系统,市属公立医院管理中心的市属公立医院资产处置系统、市属公立医院经济监管平台系统、市属公立医院综合运营管理系统及市中心血站的现代血站管理系统等在内的各单位业务系统数据汇聚到数据大脑健康云。

　　项目涉及的东莞市卫健委5个单位10个业务系统,其中部分系统业务负荷压力较大,并发高,数据量大,对数据同步的连续性、稳定性及时效性要求较高。

　　客户痛点

　　网络不通,系统分散:卫健委5个单位信息化建设各自独立,网络隔离,系统分散,无法为卫健中心的整体数据分析提供数据基础。

　　异构数据源众多:本项目计划对接同步10大业务系统,将各系统数据在运行在健康云中的KES数据库进行实时同步,各系统底层采用包括Oracle、SQLServer、MySQL等各类异构数据库。同步软件及方案也需具备完善的异构数据解析转换能力,目标端KES数据库也需要提供各异构数据库的数据兼容性支撑。

　　数据规模、性能及稳定性考验:需同步的各业务系统已积累了大量数据,总体存量数据超5TB,增量数据每天700+GB规模;在保证7*24小时稳定运行的同时,同步数据延迟要求不超1秒。

　　金仓方案

　　人大金仓采用异构数据同步软件KFS,针对上述需求痛点,提供兼容多源异构数据库平台、面向海量数据(603138,股吧)可7*24小时稳定高效支撑的解决方案。

　　已上线系统拓扑示意图

　　异构数据平台兼容及准确性保障

　　KFS可以实现不同结构的数据平台的连接,实现数据的互通。项目涉及Oracle、SQLServer及MySQL等异构数据库的数据同步。KFS采用基于日志解析的逻辑同步技术,在同步作业中提供异构数据库与KES之间从数据类型到SQL语句的兼容性配置,保障异构库间数据同步的正确性。

　　性能及稳定性保障

　　为最大程度保证源端业务的性能及稳定性,KFS所有源端同步节点均采用分离部署架构。针对小机+Windows+Oracle RAC的源端数据库系统架构组合,KFS提供基于离线Redo日志解析技术的性能优化方案,最大程度满足客户性能需求。

　　对于多系统多库表同步场景需求,采用KFS的多路并行执行方式以提高初始迁移及实时同步的吞吐量,保证高并发业务情况下数据同步延迟保持在亚秒级水平。

　　实施成果

　　本期项目完成了东莞市5个单位10个系统(已正式上线9个)的健康云上实时业务备库数据同步建设,KFS累计部署达20节点;

　　完成了Oracle(单机及RAC)、SQLServer及MySQL等多种异构数据源的对接;

　　累计完成10000+表对象及近5TB数据迁移;

　　在单系统最大日均同步增量数据200+ GB,总体日均增量700+ GB情况下,通过架构、系统及产品的多层优化,保证源端高负载情况下,数据同步延迟在1秒以内。

　　结语

　　面对高负载、海量数据、多源异构的多业务系统实时同步场景,人大金仓凭借KFS灵活的架构方式、多类型异构数据库日志解析技术支持及深度的性能优化手段,以及目标端KES数据库优秀的各异构数据库兼容能力,成功为东莞卫健委多系统提供了数据高可靠性保障,同时为卫健中心的整体数据分析提供了互联互通的数据基础,也为本项目后续系统同步建设及其他类似项目建设需求提供了标准的落地方案和良好的示范。