数据与 AI行业问答、工资福利与经验 · 智问盟
数据与 AI行业的公开问答、工资福利、职业发展和经验分享。
数据与 AI行业的公开问答、工资福利、职业发展和经验分享。
tech-data-ai
做数据监控时，我吃过最大的亏是阈值拍脑袋。一个指标昨天涨了30%就报警，看起来很负责，结果周末、节假日、活动日全都在响，业务几天以后就不看了。后来我会先把指标分层：核心收入和支付转化走更敏感的报警，普通行为指标只进日报。阈值也不只看单点，要看最近7天同时间段、历史波动范围、样本量是不是够。样本太小的页面，百分比变化很吓人，实际只多了几个用户。新监控上线前我一般先静默跑一周，看它每天会触发几次，再决定要不要进告警群。报警文案也要写清楚：…
tech-data-ai
埋点数据不准的时候，很多人第一反应是改 SQL 或者改看板。我现在一般先不动报表，先把链路拆开看：前端有没有发、网关有没有收、日志有没有落、ETL 有没有丢、最后指标口径有没有被二次加工。 有一次转化率突然掉了一截，业务以为页面改坏了。后来查下来，是新版前端把一个按钮事件从 click_success 改成 submit_success，老的清洗任务还在按旧事件名统计。页面没有问题，数据管道也没报错，就是口径悄悄断了。 这类问题最好有…
tech-data-ai
我做数据和模型项目踩过最多的坑，不是算法不够高级，而是训练数据、线上数据、报表数据三套口径各说各话。离线看 AUC 很漂亮，上线后一查，线上特征少了一段清洗逻辑，分数直接漂。 后来我习惯先盯三件事：标签怎么来的，特征有没有线上离线一致，模型输出有没有业务能看懂的兜底。尤其是人工标注的数据，别只看数量，要抽样看错标、漏标和边界样本。很多模型问题其实是数据生产流程的问题。 上线之后也不能只看平均分。要看分桶命中率、人工复核通过率、延迟、空…