背景与问题
2026 年在苏州,我参与科研业务 BI 的数据梳理与专题库建设。项目涉及科研项目、经费、成果、合作和平台等主题:业务系统提供明细,数仓承接标准化数据,专题模型再为看板提供查询依据。
指标清单、源系统字段和现有模型并不总能直接对应。同一个名称可能指向不同的业务时间;一对多明细直接关联,可能把项目数和金额重复计算;有些看板需要的字段,来源系统暂时没有提供。我的工作从这些具体差异开始,把能确认的来源、加工方法和待确认项逐一整理出来。
我的职责
我围绕指标与字段映射、模型粒度、加工 SQL、字段血缘和核对方式推进这部分工作,也借助 AI 整理资料、生成与检查脚本。遇到来源或业务含义不明确的地方,先回到表结构、现行查询和确认记录核对,再决定如何加工。
交付时,我把模型元数据作为统一依据,让正式模型文档由它生成;SQL 的取数逻辑、字段说明、变更记录与核验入口随调整一起维护。文件已经生成、脚本已经配置和真实数据已经验收,是分别记录的状态。
解决方法
先核对字段的真实来源。 将业务库取数切换到标准库时,我按已确认的表结构核查字段,而不是依照近似名称补齐。暂时找不到可靠映射的字段保留原来源并注明待替换;同步更新字段级血缘,让后续能查到每个结果来自哪里、经过了什么处理。
把金额单位写进计算与核对。 经费模块有一处重要口径更正:源金额实际为“元”,部分目标指标使用“万元”。确认后,取数按目标单位显式换算,随后补充金额异常检查:既核对源值与目标值,也识别漏换算、重复换算和执行金额超过预算等候选问题。负数仍可能涉及冲销或退款,检查结果需要结合业务复核。
从写入报错追到键的组成。 一次字段超长问题中,目标字段容量为 32 位,但加工表达式会在最长 32 位的源标识后拼接两位类型码,输出最多需要 34 位。我保留完整标识,按确认后的来源容量调整模型,并同步时间格式和季度写法。随后检查其他活动脚本,把同类长度风险与已经有明确证据的问题分开处理。
让统计范围决定去重方式。 合作项目需要按地区和协议日期组合统计时,我分别整理省级与全国的项目集合。同一个项目可能跨地区出现,全国行需要重新按项目去重,不能直接累加省级结果。关联、分组与金额汇总随统计范围一起核对,并用合成场景检查跨省项目、重复关系和空日期。
先确认设备模型的一行代表什么。 接入仪器共享数据时,新来源只有仪器信息和使用记录,没有原模型需要的平台、计划关联。我先确认“一台仪器一行”,再按仪器汇总全部使用记录的次数、时长和收入。缺少来源或单位尚未确认的属性保留待确认状态;同时区分“没有使用记录”和“有记录但数值为空”,为两种情况保留不同结果。
成果与证据
这段工作形成了字段索引、可追溯的模型元数据、正式模型文档、活动加工 SQL、数据核对 SQL,以及对应的变更记录和迁移材料。模型调整时,字段顺序、主键、来源和文档可以一起核对。
已有日志记录了模型与 SQL 投影一致性、字段容量、SQL 静态解析等检查,也为部分复杂逻辑准备了合成数据场景。例如仪器共享案例检查了未结束记录仍计入、无使用记录返回零、有记录但度量为空仍保留空值,以及金额换算。
截至 2026 年 9 月 30 日的这批日志,上述新增与调整产物的验证主要停留在本地结构和合成场景层面。目标库装载、真实数据对账和业务验收仍需在实际环境中完成。
复盘
这次项目让我更具体地看到:数据问题可能发生在单位、粒度、时间含义或字段容量上,单看最后一个指标很难判断。明确一种取值方法时,也需要留下它成立的依据和适用范围。
我的做法是在修改当时,把确认过的结论写入模型、加工说明和核对入口;来源缺失的地方继续标明;新的证据出现时,再同步调整。金额单位的更正、键容量的修复和设备粒度的确认,都留下了可以回看的过程。