近期,平安壹钱包(以下简称“壹钱包”)正式对外发布大数据一体化平台“瀚海”,在组织打通、产品逻辑重构、技术全面升级三方面全面完善壹钱包数据治理体系。“瀚海”平台的数据治理实践也同时入选中国支付清算协会 2022 金融服务数字化转型优秀案例,具有较强的业务借鉴和行业推广价值。
重视数据治理,并形成数据资产,进而转化成生产力已经成为各行各业数字化升级的具体目标。针对行业数据治理中存在的数据质量不高、数据安全体系不完善、数据治理制度规范的制定缺乏与有效落地等三大难点问题,壹钱包紧扣行业数字化转型痛点,搭建“瀚海”大数据一体化平台。
平安壹钱包 CTO 吴鹏越表示,我们始终在思考和探索如何在保护个人信息安全、保护消费者权益、坚持支付行业严监管的前提下,更好地运用这笔数据财富,让它产生业务价值来反哺社会,我们通过数据治理这个管理手段来对企业全域数据资产实施有效管理,激活与释放数据要素价值,让数据成为数字化发展的核心生产力。
自上而下的数据治理体系
（平安壹钱包数据治理发展阶段）
作为中国平安旗下专注于支付、账户、积分领域提供数字化解决方案的公司,平安壹钱包拥有庞大的用户数据基础。
据了解,壹钱包“瀚海”大数据一体化平台在以下三方面完善数据治理体系:
组织打通。作为一个拥有亿级用户数,业务覆盖电子钱包、综合支付解决方案、金融科技输出等多类业务的大型支付企业,平安壹钱包专门组建数据管理委员会推动数据治理工作。
壹钱包数据管理委员会由高层领导组成决策层,数据、安全、法律合规等部门为秘书,辅以各业务中心为代表,打造了大数据一体系化平台,建设数据治理标准体系,共同推动数据管理治理工作的有效落地。
壹钱包数据管理委员会采用业务、科技双线联席制,共同决策、落实工作,建立业务负责制的数据管理责任体系,助推数字化经营战略。在数据管理委员会的运转下,壹钱包实现保障企业数据采集、存储、计算和使用过程的安全、可控、可追溯,及对数据资产进行精细化运营,盘活整条数据链路,实现资产的最大化价值。
产品逻辑重构。壹钱包的数据治理贯穿整个“业务数据资产化,孵化资产类产品实现数据服务化”的数据生产力过程,以数据为核心驱动力,重构前端产品运营逻辑。
（平安壹钱包数据治理框架）
“整套数据治理体系的难点在于需要保障数据采集、处理、存储、使用与对外提供服务合法合规的同时,发挥数据这一生产力要素而沉淀出有效的数据资产及产品来让数据真正产生业务价值。为此,我们贯彻数据开发治理一体化的理念,基于数据全生命周期及数据分类分级管理、数据加解密管理、数据安全合规管理等多个维度,来推进治理工作落地。”壹钱包数据治理委员会数据研发中心负责人傅群慧介绍道。
壹钱包的平台系统架构,通过基础平台实现业务的数据化,目前正从Hive离线数仓及 Kafka+Flink 的实时数仓两套框架,转到IcebergtAlluxio的湖仓一体开放架构中,使其同时具备数据湖的灵活性以及高线数仓的规范性,数据时效从小时级提升到分钟级。这大大提升了各类数据服务的时效性,使得数据产品能够更及时、精准地进行业务响应,甚至迭代升级,进而提升用户体验。
数据中台层方面,壹钱包遵循各类对象的建设制度规范,运用数据开发套件、数据资产类工具,建设了低耦合高内聚的数据模型、公司业务核心指标、多对象标签(如用户、商户、商品等),实现数据的资产化。再通过数据输出服务提供到数据前台,孵化各类数据产品进行综合经营分析、画像圈客营销、智能营销推荐、风控反欺诈反洗钱等各场景服务,实现资产服务化产生业务价值。
数据中台就像是足球场上的中场球员,企业拥有一个好的“中场球员”,就是拥有了触达服务“前锋”的驱动力,最终实现并完成前端服务“进球”。
明确整体的数据治理架构之后,壹钱包在研发、数据资产运营、数据资产成本分摊、数据安全全生命周期管理、数据服务等细化领域进行发力,大幅提升数据治理效率。
全面技术升级。为了实现降本增效,并满足新业务不断增长的数据需求,壹钱包对数据计算资源、存储管控、数据安全、数据血缘追溯等方面进行治理,全面提升技术水平。
简单来说,采用自研调度系统让计算资源分配更合理、二开 Spark 组件提升计算效率:优化大数据集群存储方式及网络交互的压缩方式,以降低储存占用空间:将公司外部数据源通过数据交换前置统一接入后,经过数据入仓系统入仓入湖,将公司内部全业务系统数据,特别是同表异数据库的数据和行为数据进行实时和离线两条链路入仓入湖,让数据集成更高效;数据加解密技术构架采用主子任务设计模式,实现分布式弹性扩展批处理能力,嵌入数据交换链路,提升数据加解密效率保障入仓入湖的安全性;同时解析平台不同标准 SQL 语句得到数据加解密技术构架采用主子任务设计模式,实现分布式弹性扩展批处理能力,嵌入数据交换链路,提升数据加解密效率保障入仓入湖的安全性;同时解析平台不同标准 SQL 语句得到ASTNode 树并落到图数据库中,最终,通过路径寻找等多种算法应用在数地图和调度任务监控上,可以更加直观的展示数据资产类型、呈现任务拥堵点,让数据血缘脉络更清晰。
数据治理背后的“瀚海”价值
减少1秒的收款时间,精准的信贷多让1个小微企业活下去,多保护1个用户免受电诈,多让1个老人享受适老化服务。
这点点滴滴,都需要支付企业通过数据驱动业务,以优秀的数据治理体系,优化前端服务。这同时也是“瀚海”大数据一体化平台发挥壹钱包数据要素价值,反哺社会,并向行业客户提供数字化服务能力的具体表象与愿景。
壹钱包认为,通过数据开发治理一体化将数据治理的过程融入到数据开发的全生命周期中,沉淀出一套安全可靠、质量可信的公司全域数据资产,孵化出各类数据产品提升业务运营效率。最终要实现的是,把数据作为企业的第一生产力赋能到用户、商户的服务中去,用数据升级金融加科技全链路,实现平安壹钱包全面数字化经营,进而产生更大的社会价值。
壹钱包基于平台全面数据治理产出的数据资产及孵化的数据产品,已运用在深化平安综合金融、车生态等场景服务模式上,洞察用户需求满足不同综合金融的需求;也结合与支付及积分账户整体解决方案赋能合作伙伴,为企业用户提供多种产品、一站式的综合金融服务。
值得一提的是,壹钱包始终将用户的交易资金安全作为业务发展中的核心。为了保障支付的安全性,融合线上线下的海量非金融与金融数据,综合用户及商户画像特征,采用机器学习、深度学习、知识图谱等技术建立了精准的风控策略和模型,搭建了以“瀚海”大数据一体化平台为核心的智能风控平台,覆盖账户、商户全生命周期风险管理,实现风险的事先预测、实时处置和事后预警监控的风险闭环管理,达成了公司经营业务风险管控的良好运作、有效地管理和降低风险。
从风险智能管控、自助经营分析、算法推荐营销、安全监督合规各层面做好数字化运营,其根本是为企业带来价值。而且数据治理是长期之路,需要持续完善基础数据能力,聚焦数据资产价值转化,满足监管治理要求的前提下解决业务痛点促进业务增长。
近日,中国支付清算协会发布 2022 金融服务数字化转型案例,将“瀚海”数据治理平台实践就作为优秀案例之一入选。总的来说,壹钱包自研的“瀚海”大数据一体化平台紧扣行业数字化转型痛点,深入剖析技术解决方案及创新举措,具有较强的业务借鉴和行业推广价值,可以是其他企业数字化升级之路上的参考蓝本。
