/ Proyectos / Minería / Estimación de costos con Q-Q plots
Estimación de costos operativos en minería, validando distribuciones con Q-Q plots antes de modelar
Predecir cuánto va a costar cada tonelada extraída, y confiar en esa predicción porque los datos se validaron antes de entrenar cualquier modelo.
Una unidad minera necesitaba anticipar su costo operativo diario por tonelada, a partir de tres variables que ya registraba todos los días: cuánto se produjo, la relación de desbroce del material removido, y la humedad del mineral. El objetivo era simple de enunciar, poder estimar el costo del día siguiente antes de que terminara de ocurrir, para apoyar decisiones de planeación con información, no solo con intuición.
Antes de entrenar cualquier modelo, había una pregunta previa que no se podía saltar. Los datos reales rara vez se comportan como uno asume por default, y confiar en un modelo sin validar esa suposición puede costar más caro que el problema que se quiere resolver. Ahí es donde entran los Q-Q plots.
Mapa del casoContenido
- Diagrama de la solución. De los registros diarios a la estimación final de costo
- Construcción de la solución. Por qué validar distribuciones vino antes que elegir un modelo
- Condiciones del proyecto. Restricciones reales y opciones descartadas antes de construir
- Pasos. Qué son los Q-Q plots, y por qué se usaron antes de modelar
- Proceso de iteración. Un detalle de los datos, documentado sin maquillaje
- Descargables. Notebook y repositorio del proyecto
- Lecciones importantes. Resultado final y la lección que deja este caso
Estructura de alto nivelDiagrama de la solución
Pasa el cursor sobre cada bloque para ver qué hace ese paso.
La validación de distribuciones ocurre antes de tocar cualquier modelo. Es la etapa que decide si hace falta transformar una variable, no un paso decorativo del análisis exploratorio.
De la validación de datos al modelo finalConstrucción de la solución
Condiciones del proyecto
| Restricción | Dato |
|---|---|
| Variables disponibles | Producción diaria, relación de desbroce y humedad, ya registradas por la operación |
| Variable objetivo | Costo operativo en dólares por tonelada |
| Calidad inicial de los datos | Sin valores faltantes, pero con registros de costo igual a cero, un error evidente de captura |
| Prioridad del negocio | Una estimación confiable del costo, no solo un modelo con buen desempeño en una métrica aislada |
| Opción | Por qué se descartó |
|---|---|
| Entrenar el modelo lineal directamente, sin validar la distribución del costo | El modelo lineal asume errores con distribución aproximadamente normal, una suposición que hay que verificar, no dar por hecha |
| Usar un único modelo de regresión sin comparación | Distintos modelos capturan relaciones distintas entre las variables, y la elección final debe basarse en evidencia comparada |
| Validar distribuciones con Q-Q plots, seleccionar variables por importancia, y comparar seis modelos con validación cruzada | Da evidencia objetiva antes de comprometerse con cualquier decisión, desde si transformar una variable hasta qué modelo usar |
Pasos
Qué es un Q-Q plot, y por qué importa aquí
Un Q-Q plot, de "quantile-quantile", ordena los valores observados de una variable y los compara contra los cuantiles que esperaría ver si esa variable siguiera una distribución teórica, como la normal, la gamma o la lognormal. Si los puntos caen sobre la línea diagonal de referencia, la variable se ajusta bien a esa distribución. Si se curvan hacia arriba en la cola derecha, indica valores extremos más frecuentes de lo que la distribución teórica esperaría, una cola pesada. En este proyecto, comparar tres distribuciones distintas para cada variable permitió decidir con evidencia, y no por costumbre, si el costo necesitaba una transformación antes de entrenar un modelo lineal, o si su comportamiento ya era razonablemente cercano a una distribución normal.
Filtrar errores evidentes antes de cualquier análisis de distribución
Agente: pudo tratar los registros de costo igual a cero como datos válidos de baja producción.
Criterio aplicado: filtrarlos como errores de captura, porque un costo de cero por tonelada no tiene sentido operativo real y habría distorsionado tanto las estadísticas descriptivas como los Q-Q plots posteriores.
Comparar tres distribuciones candidatas, no asumir una sola
Agente: propuso asumir directamente una distribución normal para todas las variables, por ser la más común.
Criterio aplicado: generar Q-Q plots contra normal, gamma y lognormal para cada variable, porque variables como el costo suelen tener cola derecha pesada, y descartar esa posibilidad sin comprobarla habría sido una suposición arriesgada.
Selección de variables con Random Forest antes de comprometerse con un modelo
Agente: sugirió incluir todas las variables disponibles sin priorizar ninguna.
Criterio aplicado: medir la importancia relativa de cada variable con un bosque aleatorio, confirmando que la producción domina la predicción del costo por un margen amplio, antes de decidir qué variables realmente aportan señal.
Comparar seis modelos con validación cruzada, no uno solo
Agente: propuso quedarse con el primer modelo que superara un umbral aceptable de error.
Criterio aplicado: entrenar y afinar por validación cruzada regresión lineal, árbol de decisión, bosque aleatorio, SVR, gradient boosting y un perceptrón multicapa, comparando sus métricas en entrenamiento y en prueba antes de recomendar uno.
Proceso de iteración
Ajuste documentado, no forzado
La humedad resultó ser, en la práctica, casi una variable categórica disfrazada de numérica, solo se registraba en cuatro valores enteros dentro del rango observado. Eso se hizo visible justamente en su Q-Q plot, que en vez de mostrar una nube continua de puntos mostró escalones bien definidos. Ninguna de las tres distribuciones continuas evaluadas se ajustaba realmente bien a ese patrón, y sería deshonesto forzar una conclusión distinta. Se documentó tal cual, como una característica real del proceso de medición, no como un defecto a esconder.
CierreLecciones importantes
La producción diaria resultó ser, con amplio margen, la variable que más explica el costo por tonelada, seguida de la relación de desbroce y, muy por detrás, la humedad. Ese hallazgo por sí solo ya es útil para la planeación. Pero la lección más importante de este proyecto no fue esa cifra, fue el orden en que se hicieron las cosas.
Es tentador saltar directo al modelo cuando los datos ya están limpios. Los Q-Q plots existen para frenar esa tentación un momento. Antes de confiar en cualquier estimación, vale la pena preguntarse si los datos se comportan como el modelo asume que se comportan. Esa validación no añade una línea vistosa al reporte final, pero es la diferencia entre una estimación de costo que puedes defender con evidencia y una que solo parece funcionar hasta que los datos cambian un poco.
Termina ya tu proyecto
¿Tienes un proyecto similar y no sabes por dónde empezar? Yo te ayudo a diseñarlo.
El 92% de los profesionales de datos desbloquea sus proyectos al ver ejemplos completos resueltos.
Sin registro. Acceso inmediato