模型上线前先把数据口径对齐
我做数据和模型项目踩过最多的坑,不是算法不够高级,而是训练数据、线上数据、报表数据三套口径各说各话。离线看 AUC 很漂亮,上线后一查,线上特征少了一段清洗逻辑,分数直接漂。 后来我习惯先盯三件事:标签怎么来的,特征有没有线上离线一致,模型输出有没有业务能看懂的兜底。尤其是人工标注的数据,别只看数量,要抽样看错标、漏标和边界样本。很多模型问题其实是数据生产流程的问题。 上线之后也不能只看平均分。要看分桶命中率、人工复核通过率、延迟、空值比例、每天的分布漂移。报警阈值宁可一开始保守一点,先让业务敢用,再慢慢调。模型不是丢上去就完事,后面那套监控和回放才是真正费功夫的地方。