¿Cómo diseñar reintentos de tiempo de espera (timeout) en interfaces sin colapsar el sistema?

Anteriormente trabajé en un servicio de pedidos y lo que realmente colapsó el sistema no fue la primera solicitud, sino los reintentos concentrados tras los tiempos de espera. El cliente enviaba otra solicitud al no recibir respuesta, la puerta de enlace (gateway) también reintentaba, y si la interfaz de pago descendente era lenta, la misma transacción se procesaba varias veces en pocos…