Cómo detectar la fuga de datos antes de que un modelo de ML parezca demasiado bueno

Un modelo de demanda que revisé parecía increíble en la validación offline. El salto en el AUC fue lo suficientemente grande como para que el equipo de negocio quisiera incluirlo en la siguiente planificación. Eso fue exactamente lo que me hizo sospechar. En los datos reales de demanda de almacén, las grandes mejoras suelen provenir de mejores características, no de magia. Comencé verificando la…