4月10日,Apache 顶级项目 ShardingSphere 核心主创:SphereEx 联创团队,受邀赴中国民生银行参加“琢玉计划”首场主题交流活动,本次活动以“探索大数据时代下金融级数据架构新趋势”为题,民生银行与 SphereEx 的多位嘉宾围绕数据库、金融数字化转型以及新一代数据架构等方面的实践经验,展开分享交流。
基于 ShardingSphere,构建民生银行 DFDB 分布式金融数据库方案
民生银行信息科技部总经理助理李晓东为本次活动发表致辞,强调了数据访问能力在分布式体系下的重要性与高期望。近几年,在数字化转型大背景下,金融行业在数据访问、分布式数据库和 Database Mesh 方面有很多探索,数据层面是转型过程中最核心和最难的部分,民生愿意在这方面做长期投入,同时希望和行业专家企业共同交流共同学习。 随后介绍了民生银行基于开源项目构建金融核心技术组件的过程。早在 2019 年民生银行开始使用 ShardingSphere ,充分利用 ShardingSphere 的可插拔架构的特点,与民生原有的系统平台做优化整合,在分布式环境下像传统单机数据库一样提供海量关系数据库服务,通过通用的分库分表数据库访问框架,解决了单库单表数据库的访问压力及瓶颈,提供全行统一的分布式数据访问层解决方案。目前 DFDB 已经和 ShardingSphere 融为一体,成为民生银行企业级、战略级的组件,强有力地支撑民生银行核心系统从传统集中式到分布式的转变,为更多的应用从传统 IOE 模式向国产化、自主可控的技术架构迁移提供了强大的保障。
Apache ShardingSphere 2023 roadmap
Apache ShardingSphere 作为全球顶级的开源软件,一直在不断地完善自己的功能,满足用户的新需求的同时,也受到了越来越多社区伙伴和企业用户的青睐。民生银行作为 ShardingSphere 的第一个银行用户,对 ShardingSphere 的未来发展也十分关注,SphereEx 创始人 & CEO Apache ShardingSphere 的项目主席张亮以 ShardingSphere 2023 Roadmap 为主题介绍了 ShardingSphere 的远景规划以及其与金融行业需求的结合,回顾了 ShardingSphere 核心功能。
张亮表示,开源是 ShardingSphere 一开始就坚定选择的路径,也是验证基础设施的唯一准则。基础设施的开源有助于验证产品的稳定性和普适性,开源为 ShardingSphere 建立更广泛的用户群体,在拓宽 ShardingSphere 应用场景的同时,也验证了 ShardingSphere 的可靠性和稳定性。在开源的过程中,ShardingSphere 遵循了开放合作、透明公正、平等互利的原则,与社区共同推进项目的发展,提供支持和服务,并持续创新和优化产品。最后张亮对 ShardingSphere 未来规划做了详细的介绍,未来 ShardingSphere 将从更加自动化、标准化方面,来提升用户体验,将插件自助化安装、自动化测试以及元数据重构等,重要的、用户需要的功能纳入未来规划,以提升用户使用的便利增加用户体验。同时为了更好的服务金融用户,ShardingSphere 也在积极响应金融用户的场景方面的诉求,目前已经和包括民生银行在内的多家金融机构开展合作交流,提升 ShardingSphere 在金融场景的技术水平与整体服务质量。
Apache ShardingSphere 在民生银行的应用实践
民生银行信息科技部分布式技术平台项目牵头人梅隆魁分享了ShardingSphere 在民生银行的应用实践,对 DFDB 的背景和架构做了详细的阐述,民生银行 DFDB 对 ShardingShpere-JDBC 及 ShardingShpere-Proxy 进行了封装及增强,实现了兼容原阿里 ZDAL 的 JDBC SDK 及代理两种模式,既能够通过 JDBC SDK 方式满足联机交易系统的性能需求,又能通过 Proxy 模式实现零应用侵入及对非 Java 等异构系统的支持。DFDB 是基于标准的 JDBC 规范在数据访问层进行 SQL 语法解析、分库分表、结果集聚合、主备库切换等一系列处理,能够为拥有海量数据的金融机构提供统一的分布式数据库解决方案 。相比集中式数据库,DFDB 具有高可用、高扩展、高兼容、易管理、高稳定性、运维成本低、部署灵活等明显优势,一定程度上满足了数字银行对快速弹性、无限扩展的新架构诉求。通过 DFDB 能够实现数据库技术栈的统一,减少管理复杂度,提升运维稳定性,节省运维成本。
SphereEx 助力金融行业信创增强替换强需求,数据库平滑迁移
SphereEx 联合创始人韩锋以“面向新一代数据架构的数据库增强引擎”为主题,介绍了新一代数据库架构增强引擎的设计原理、技术特点和应用,并深入探讨了信息技术创新背景下 SphereEx 如何助力金融等重要行业信息技术创新的增强改造。 党政、金融等行业信息创新加速渗透,我国数据库企业进入快速发展期,数字经济发展及信息创新加速推动“十四五”期间,国产数据库将具备替代市场优势。在改造过程中,数据库因其较高的复杂度,以及国内数据库厂商能力参差不齐等原因,在选型、研发、迁移、使用上面临诸多难点。特别是在整体改造的最后阶段,蕴含了较多工作及风险。为了帮助企业在自主创新改造落地的场景中,实现新的技术栈数据库落地过程更加平滑安全,SphereEx 提供切换改造成场景落地解决方案,针对不同的数据库,提供业务双轨运行、异构数据双写、SQL转换、平滑切流及回退逃生能力,帮助企业在信创改造实现平滑逃生,规避风险,提升迁移改造效率。
民生银行分布式贷款平台-ShardingSphere 的应用实践
民生银行的信息科技部公贷项目牵头人尹家彬向大家分享了民生银行采用分布式贷款平台 ShardingSphere 的应用实践。随着民生银行对公贷款品种的不断增加,其数量也在大幅度地增长。为应对日益增长的数据量,民生银行在2021年启动了对公贷款系统重建工程。重建的目标是实现运营一体化改革,构建具备横向扩展能力的核心产品基础平台,满足行业标准,并实现对平台的自主掌控。在经过全面评估后,民生银行决定采用成熟稳定的 ShardingSphere 作为技术方案。尹家彬详细介绍了在对公贷款业务场景中,运用 ShardingSphere 达到了高性能和数据库高可用性,并详细介绍了运用 ShardingSphere 实现主从切换、故障恢复、SQL优化和缓存策略等高可用性和性能优化的调优方案。
活动最后,民生银行信息科技部总经理助理李晓东和 SphereEx 创始人 & CEO、Apache ShardingSphere 的项目主席张亮就数据库的发展趋势做了交流,技术一直在发展,一直在演进,没有一个技术是肯定长期可行的,为了让用户有更多的选择权,SphereEx 提供了数据库技术栈变更的能力。在分布式数据库方面,李晓东总表示,对于用户来讲,面临的选择可能会有很多,ShardingSphere 在帮助民生银行简化选择方面做出了很大的贡献,未来也会在更大范围、更多场景中使用。
民生银行作为最早使用 ShardingSphere 的银行用户,在去年信通院“OSCAR 开源先锋日”上,也作为首批用户加入了Apache ShardingSphere 联合中国信通院共同成立的【中国信通院 x ShardingSphere 金融用户社区】。 ShardingSphere 与民生银行的合作,是 ShardingSphere 朝着建设更强大、更有弹性的金融基础设施迈出的重要一步。随着越来越多的金融机构拥抱大数据,对安全可靠的金融级数据架构解决方案的需求将继续增长。SharingSphere 及商业公司 SphereEx 将持续帮助客户释放其数据资产的全部潜力,致力于帮助客户保持领先地位。