Mariano Della Vedova
EN
Vista rápida
Rol e impacto
Discovery, diseño del pronóstico, evaluación de modelos y la corrida semanal en producción.
Modelo en producción por ~USD 5 al año en lugar de USD 83, con la misma calidad. Primera corrida: 72 de 72 lotes, por USD 0,17.
Métodos y herramientas
DiscoveryDatos corregidos en el origenRecall y precisiónMuestra de casos difícilesRevisión de términos de APIEstimación de carbono con EcoLogitsClaude Code
El problema
Unos 560 productos de dos proveedores, una demora de 15 a 20 días, ningún código de producto en común entre la planilla del proveedor y el sistema de stock, y cajas de 90 o 100 unidades que tardan meses en venderse.
Qué hice
- Arreglé los datos en el origen: el código del proveedor se cargó en el sistema de stock para cada producto.
- Comparé 4 modelos contra el pedido real de la dueña (recall y precisión), más una muestra de 13 productos con casos difíciles.
- Evalué costo, confiabilidad y condiciones de uso de datos. Gemini quedó descartado porque su plan gratuito puede usar los datos de la clienta.
Resultado
Qué aprendí
Las diferencias venían de los datos, no del modelo: los productos que habían estado sin stock parecían productos sin demanda. El paso siguiente fueron mejores datos de entrada, no un modelo más grande.
Leer el caso completo
Contexto
LA EMPRESA
Opción Eco es un distribuidor mayorista de aromaterapia en Córdoba, Argentina. Su proveedor principal le manda una planilla con cientos de productos, y la dueña, que también hace las compras, revisaba el stock producto por producto para decidir qué pedir.
MI ROL
Discovery, diseño del pronóstico, evaluación de los modelos y operación semanal en producción.
El problema
CÓMO LO DETECTAMOS
El objetivo: convertir dos días de revisión manual en una propuesta de pedido que ella pudiera revisar en unas pocas horas.
QUÉ LO HACÍA DIFÍCIL
- No había un código de producto en común entre la planilla de pedidos del proveedor y el sistema de stock. Lo resolvimos en el origen: el código del proveedor se cargó en el sistema de stock para cada producto, así los datos se cruzan directamente y no por coincidencias aproximadas de nombres.
- Bultos grandes. Algunos productos solo vienen en cajas de 90 o 100, que tardarían meses en venderse. Una regla rígida de «pedir siempre» o «no pedir nunca» no coincidía con cómo compra la dueña, así que esas líneas quedan marcadas como «según presupuesto» y ordenadas con un total acumulado, para que ella pueda cortar donde le alcance el presupuesto.
Hipótesis
Un LLM podía aportar un criterio que una fórmula fija no tiene (bultos grandes, saltos de demanda, productos de baja rotación), pero un modelo más grande no sería necesariamente mejor. La elección tenía que salir de la tarea, no de un ranking.
La solución
LA COMPARACIÓN
Cuatro modelos, una misma especificación, los mismos 560 productos en lotes de 8:
- Gemini Flash-Lite (Google)
- DeepSeek Flash (DeepSeek)
- GLM-5.3-Flash (Z.ai)
- Claude Sonnet 5 (Anthropic)
CÓMO LOS EVALUÉ
- Contra el pedido real de la dueña, no contra mi propia fórmula: recall (sus productos que el modelo también eligió) y precisión (elecciones del modelo que ella también pidió). Descarté la «coincidencia exacta», porque cientos de productos en cero en ambos lados la inflaban a ~81 %.
- Una muestra de 13 productos con patrones difíciles: bultos grandes, saltos de demanda, baja rotación.
- Costo, confiabilidad y condiciones de uso de datos según los términos de la API de cada proveedor, más un rango estimado de carbono por corrida.
Resultados
Tres modelos llegaron a la misma calidad, así que la decisión pasó por el costo, la confiabilidad y el manejo de los datos. GLM-5.3-Flash pasó a producción por ~USD 5 al año. Gemini quedó descartado porque solo repetía la fórmula de referencia (el 98 % de sus respuestas eran idénticas) y su plan gratuito permite usar los datos de la clienta para mejorar productos de Google. Sonnet queda como respaldo. La dueña confirmó que estaba de acuerdo con que el proveedor elegido procesara sus datos de stock y ventas.
CARBONO ESTIMADO POR CORRIDA
Ningún proveedor publica la energía ni las emisiones por solicitud, así que las estimé con el método de EcoLogits a partir del tamaño de cada modelo, la eficiencia del centro de datos y la red eléctrica. El valor bajo cuenta una sola GPU y solo los tokens de salida. El alto sigue el método tal como está publicado, que cuenta todas las GPU necesarias para cargar el modelo completo.
| Modelo | g CO₂e por corrida (560 productos) |
|---|---|
| Gemini Flash-Lite | 1,6 – 8,8 |
| Claude Sonnet 5 | 4,7 – 362 |
| GLM-5.3-Flash (elegido) | 7 – 192 |
| DeepSeek Flash | 15 – 616 |
Los rangos se superponen demasiado como para ordenar los modelos, así que el carbono no decidió la elección: la decidieron el costo y la confiabilidad. La primera corrida en producción (576 productos) dio 8–232 g de CO₂e. Con una corrida por semana, son unos 0,4–12 kg de CO₂e al año. Es una estimación, no una medición: un solo supuesto, cuántas GPU sirven el modelo, cambia el resultado entre 20 y 40 veces.
Lanzamiento y resultados
- Cada semana, antes de cada compra, a pedido de la dueña. La primera corrida salió el 8 de octubre: 72 de 72 lotes sin errores, por USD 0,17.
- La propuesta se lee como una decisión: «pedir esta semana» o «no hace falta pedir», primero las líneas esenciales y después las «según presupuesto», con el total acumulado.
- Cada corrida registra sola su costo y su CO₂e estimado, una cifra de sustentabilidad que la empresa puede informar todas las semanas.
Qué aprendí
Cuando comparamos las sugerencias con el pedido que ella realmente hizo, las diferencias venían de los datos, no del modelo. Los productos que habían estado sin stock no mostraban ventas recientes, y ningún modelo podía distinguir eso de la falta de demanda. La mejora siguiente fueron mejores datos de entrada (90 días de ventas y una marca de «sin stock»), no un modelo más grande.