01

背景与问题

2024 年 11 月至 2025 年 10 月,我参与企业大数据平台的新信贷系统配合改造。上游信贷表发生变化,需要先找出对公经营集市和下游应用中的引用,再依据新老映射关系确定脚本如何改造。

当时的检索范围包括 200 多张上游变动表、1500 多个集市脚本和 3500 多个下游应用脚本。表和脚本的规模使人工逐一筛选比较困难;其中还有不迁移的数据,需要与下游确认后续是否仍要使用。

02

我的职责

我主要负责对公经营集市受信贷改造影响的分析,依据上游新老数据映射关系分析脚本改造方式,进行脚本开发和数据测试,并配合集市下游应用系统改造。

这项工作既包括具体加工脚本的修改,也包括辅助影响分析、数据测试和投产的 Python 脚本开发。

03

解决方法

先筛选引用,再分析改造

我编写 Python 脚本,自动匹配现有脚本中是否包含指定上游表,将匹配结果用于后续改造分析。这里的自动化承担引用筛选;具体改造方式仍依据迁移映射规则和模型映射文档判断。对不迁移的数据,我梳理下游影响范围,并与下游确认缺失数据后续是否需要。

把固定的字段比对步骤写成工具

改造后新老数据的测试方式比较固定,且对照表结构一致。我读取 Impala 表结构生成字段比对 SQL,执行后把测试结果写入结果表,减少逐个编写与执行相同比对语句的工作。

保留分批核对和任务依赖

2025 年 2 月的月度记录包含自动投产脚本开发:依据配置的脚本依赖关系调用跑批任务,并监控执行情况。4 月、5 月分别记录了信贷改造集市脚本的第一、第二批数据测试。工具输出结果之后,仍保留对差异的分析。

04

成果与证据

工作总结记录了一次 70 多个脚本的上线测试:两个人手工测试至少需要三四个小时;使用测试脚本后,约 5 分钟得到测试结果,再用约 20 分钟分析结果。

这组时长对应测试结果生成与分析两个环节。它说明固定比对步骤得到明显压缩,同时差异判断仍需要人来完成。引用匹配工具则为大范围改造分析提供了候选结果,现有材料未记录该环节的单独耗时。

05

复盘

这段工作的两个自动化环节有不同边界:引用匹配用于找出候选影响,字段比对用于产生核对结果。迁移规则怎么解释、未迁移数据如何处理、差异是否合理,仍要结合业务和下游使用情况分析。

把筛选、改造和验证分开记录,能够说清每个工具解决了哪一步,也能保留继续检查的依据。