01

背景与问题

2022 年 8 月起,我参与对公掌上银行客户中心的数据服务。客户融资、战略客户、交易流水和经营报表等需求持续迭代;报表既有开户口径,也有考核口径,需要按机构、客户和账户等层级提供数据。

应用端的访问方式也影响加工方案。阶段总结记录,当时应用系统无法直接连接 Impala,实时存款报表需要通过 Oracle 提供;实时贷款报表则由观远报表查询 Impala 结果表,提供 PC 端和 APP 端展示。

02

我的职责

在 2022 年 8 月至 2024 年 10 月的掌银阶段,我主要负责客户中心数据服务,包括 Python 数据处理脚本、Oracle 存储过程、慢 SQL 调优、Phoenix 查询接口和后端联调,并参与 Spark Streaming / Flink 实时任务流加工。

2025 年 11 月起的客户经营项目记录了另一阶段的工作:对公集市数据脚本、大数据平台运维脚本、高内存作业优化和应用任务开发。这两段工作之间,我还参与了新信贷配合改造。

03

解决方法

分开处理报表口径与应用接入

实时存款报表依据存款交易流水加工余额,分别提供开户口径、考核口径的机构级、机构客户级和机构账户级结果。针对应用当时无法直连 Impala 的条件,我将流水接入 Oracle,通过存储过程加工报表。

实时贷款报表以信贷借据、授信和客户信息等数据加工贷款余额,配置批次调度,由观远报表直接查询 Impala 结果表。月度记录还包含机构客户级补充、个人与企业标识、贷款口径调整等后续迭代。

在存款加工迁移后减少重复同步

2024 年 10 月,实时存款加工从 Oracle 迁到大数据跑批:根据当日交易流水和上一日账户余额加工账户余额,再按机构客户、机构和员工等层级汇总。监控脚本等待加工任务完成,再把数据推送到 HBase 供掌银报表使用。

11 月的记录写到 HBase 加载较慢,我增加数据变动标识,每批只增量推送发生变化的数据,以减少跑批时间。

根据依赖组织投产与同步

在后续客户经营项目中,自动投产脚本依据上线作业配置和依赖关系调用调度、同步任务,并按照数据同步配置完成 HDFS 文件下载与导入。

04

成果与证据

形成了存款与贷款余额报表的数据加工、调度及展示链路,支持开户和考核两种口径,也提供 PC 端、APP 端报表。

实时存款迁移后的月度记录明确写到了变动标识和增量推送,以减少 HBase 加载及跑批时间;原记录没有给出该项优化的前后耗时。客户中心的月度工作还包括融资信息、战略客户、交易流水、标签和业绩看板等持续开发。

05

复盘

同样是存贷款报表,统计口径、应用可访问的数据源和同步目标都可能不同。这个案例中的加工方案跟随这些条件调整:先区分报表口径和接入方式,再处理迁移后的加载问题。

变动标识的改动发生在 HBase 加载较慢之后。它保留了批次加工,同时缩小每次需要同步的数据范围;判断链路是否更新完成,需要同时关注加工、推送和应用读取。