背景与问题
2020 年 6 月至 11 月,我参与对公经营集市一期,将应用层基础数据和相关 Python 加工逻辑迁移到集市。2020 年 12 月至 2022 年 7 月,工作转入对公条线 CRM 二期的报表、存储过程和查询优化。
经营指标同时存在账户级、客户级以及账户员工、客户员工等粒度。迁移需要保留原有统计关系,CRM 的业绩看板、营销列表和机构信息又持续提出新的加工要求。
我的职责
经营集市阶段,我主要梳理应用层 Python 数据处理逻辑,迁移基础数据及相关脚本,并开发数据校验工具。
CRM 阶段,我主要负责应用报表 Python 脚本、Oracle 存储过程和慢查询 SQL 优化,具体包括业绩看板、机构同步及相关客户经营数据的加工。
解决方法
按原有粒度迁移,并将校验规则配置化
迁移内容包括模拟利润脚本以及存款、贷款、理财、国结和银承等客户汇总指标。涉及账户级、客户级、账户员工级和客户员工级等粒度,需要分别调整对应的应用脚本。
我编写 Python 校验脚本,从 Impala 配置表读取规则、生成测试 SQL,并保存结果形成报表。月度记录列出了主键唯一性、数据量、字段空值率和码值正确性等校验项目。
让计算位置遵守应用的存储边界
业绩看板需要员工级、机构级的达标进度,以及机构客户、员工客户的业绩信息。其中部分考核依据受存储边界限制,不能直接进入数仓,因此先在大数据侧加工经营业绩,再在 Oracle 存储过程中完成相应判断和机构级汇总。
处理历史口径和机构同步
月度记录保留了业绩看板的连续修订:刷新历史月底结果、调整模拟利润小类口径、按对应月份的机构数据汇总,以及修改机构排名规则。
CRM 升级引入新的机构条线后,旧机构树无法满足使用。新机构重新挂载后,我开发存储过程完成新老机构之间的同步,由前端按钮触发。
成果与证据
完成了经营集市阶段相关基础数据和应用加工逻辑的迁移,配套校验工具能够按配置生成 SQL、保存测试结果和形成报表。
CRM 阶段形成了员工及机构层级的业绩达标进度、客户关联业绩与机构同步功能。月度记录体现了从营销标签和任务列表,到业绩看板历史口径的持续开发与修订;原文件没有提供慢 SQL 优化的耗时对照。
复盘
这个案例里,迁移、指标粒度和计算位置相互关联。相同指标落在客户、员工或机构层级时,需要保留各自的关联关系;历史汇总也要使用对应时期的组织数据。
存储边界直接影响方案:经营数据在大数据侧加工,受限制的判断留在应用侧完成。把这些条件落实到脚本和校验项目,比只给出最终汇总数更有助于后续核对。