Mejores prácticas para el monitoreo de costos de la API de LLM

El costo de la API de LLM es uno de esos problemas de producción que parece pequeño hasta que llega el primer pico de uso real. Una demostración puede ejecutarse durante una semana y no costar casi nada. Luego, alguien la conecta a tickets de soporte, procesamiento por lotes o una herramienta de búsqueda interna, y la factura comienza a dar la lección de arquitectura para la que nadie tenía…