/ Proyectos / Negocio / Matriz de KPIs para riesgo crediticio
Más allá del AUC. Una matriz de KPIs de negocio para elegir un modelo de riesgo crediticio
Cómo cuatro enfoques de selección de variables quedaron casi empatados en AUC-ROC, y por qué esa métrica sola no bastó para decidir cuál modelo sirve realmente para tomar una decisión de crédito.
El punto de partida fue una pregunta que se repite en muchos equipos de datos. Se compararon cuatro enfoques para construir un modelo que predice el primer impago de un crédito. Uno con variables construidas con criterio de dominio, otro reduciendo dimensiones con PCA, otro filtrando con VarianceThreshold, y uno más con una red neuronal simple. La métrica técnica más común para decidir cuál usar suele ser el AUC-ROC, y con ella sola, tres de los cuatro modelos parecían prácticamente idénticos.
La pregunta real de negocio no era cuál modelo separaba mejor a buenos y malos pagadores en abstracto. Era cuál modelo, puesto a trabajar, aprobaría suficientes buenos clientes sin superar el límite de riesgo que el negocio puede tolerar. Para responder eso se construyó una matriz de KPIs propios del scoring crediticio, con sus propios umbrales de aceptable y óptimo, y esa matriz reveló algo que el AUC por sí solo no mostraba.
Mapa del casoContenido
- Diagrama de la solución. De cuatro enfoques de selección de variables a una matriz de KPIs de negocio
- Construcción de la solución. Cómo una técnica aplicada en el orden equivocado no filtró nada
- Condiciones del proyecto. Restricciones reales y opciones descartadas antes de construir
- Pasos. Qué se dejó al agente y qué criterio se aplicó en cada uno
- Proceso de iteración. Por qué la red neuronal quedó al final de la tabla
- Descargables. Notebook, diagrama y repositorio del proyecto
- Lecciones importantes. La lección concreta que deja este caso
Estructura de alto nivelDiagrama de la solución
Pasa el cursor sobre cada bloque para ver qué hace ese paso.
La matriz de KPIs de negocio corre después del benchmark técnico, no lo reemplaza. Su función es filtrar, entre modelos con métricas técnicas parecidas, cuál realmente cumple los umbrales operativos que el negocio necesita.
Del AUC a la decisión de negocioConstrucción de la solución
Condiciones del proyecto
| Restricción | Dato |
|---|---|
| Tasa natural de primer impago | Alrededor de 10% del total de solicitudes |
| Enfoques a comparar | Variables sintéticas, PCA, VarianceThreshold y una red neuronal simple |
| Umbrales de KPI | Tomados de estándares reales de la industria de scoring crediticio |
| Restricción operativa | El bad rate de los aprobados no puede superar el límite del negocio |
| Opción | Por qué se descartó |
|---|---|
| Elegir el modelo solo por el AUC-ROC más alto | Tres de los cuatro modelos quedaron prácticamente empatados en AUC, la métrica no aportaba criterio de desempate |
| Asumir que PCA y VarianceThreshold mejoran el modelo por definición | En este caso reprodujeron casi el mismo resultado que usar las variables directamente, sin ganancia real |
| Preferir la red neuronal por ser el enfoque más sofisticado | Quedó por debajo de los otros tres en todas las métricas técnicas y en la mayoría de los KPIs de negocio |
| Matriz de KPIs de negocio con umbrales aceptable y óptimo, evaluada después del benchmark técnico | Permite decidir con criterio de negocio cuando las métricas técnicas no diferencian entre los modelos |
Pasos
Orden de las transformaciones antes de VarianceThreshold
Agente: aplicó VarianceThreshold después de estandarizar las variables con StandardScaler, siguiendo el orden habitual de un pipeline de scikit-learn.
Criterio aplicado: revisar por qué VarianceThreshold no descartó ninguna variable, y confirmar que el escalado previo deja a casi todas las columnas con varianza cercana a uno, lo que anula el propósito de la técnica si se aplica en ese orden.
Definición de los umbrales de KPI de negocio
Agente: propuso usar únicamente las métricas técnicas estándar de clasificación para comparar los cuatro modelos.
Criterio aplicado: construir una matriz de KPIs de negocio con umbrales aceptable y óptimo tomados de estándares reales de la industria de scoring crediticio, para poder comparar los modelos en los términos que el negocio realmente usa.
Evaluación sobre una muestra con prevalencia natural
Agente: propuso evaluar los KPIs de negocio sobre el mismo conjunto de prueba balanceado que se usó para entrenar.
Criterio aplicado: separar un conjunto de prueba con la tasa de impago natural, antes de balancear nada, para que los KPIs de negocio se calcularan en condiciones parecidas a las de producción.
Ajuste del umbral de decisión, no solo del modelo
Agente: dio por buena la salida del modelo con el umbral de decisión por defecto de 0.5.
Criterio aplicado: buscar el umbral de decisión que maximiza la captura de buenos pagadores sin superar el límite de bad rate del negocio, en vez de aceptar el valor por defecto sin cuestionarlo.
Proceso de iteración
Resultado real, sin exagerar
Variables sintéticas, PCA y VarianceThreshold quedaron prácticamente empatados, con AUC-ROC de 0.66, KS de 0.23 y Gini de 0.32 los tres. La red neuronal quedó claramente por debajo en todo, con AUC-ROC de 0.57, KS de 0.13 y Gini de 0.14, y además emitió una advertencia de no convergencia durante el entrenamiento. En la matriz de KPIs de negocio, el Lift en Deciles resultó el punto más débil de los cuatro modelos, entre 1.76 y 2.42, todos por debajo del umbral aceptable de 3, mientras que la captura de buenos pagadores sí superó el 80% aceptable en los tres modelos de regresión logística y quedó justo en el límite para la red neuronal, con 0.84. Se documenta así, sin forzar una lectura más favorable, porque ese Lift bajo es información real sobre un límite del modelo que ningún ajuste de umbral resuelve por sí solo.
CierreLecciones importantes
Comparar modelos solo por precisión, recall o AUC puede esconder dos problemas distintos a la vez. Uno, que una técnica de selección de variables se aplicó en el orden equivocado y en realidad no hizo nada. Y dos, que el modelo más sofisticado no siempre gana, sobre todo si su ventaja en explicabilidad frente a un comité de riesgo pesa tanto como su desempeño. La matriz de KPIs de negocio, con umbrales propios de cada industria, es la que saca a la luz ambos problemas cuando las métricas técnicas por sí solas no bastan para decidir.
Si quieres ver un enfoque publicado con una idea similar, evaluación de modelos de riesgo crediticio más allá del AUC, incluyendo KS y estabilidad, este trabajo es una buena referencia del nivel de la contribución: A Comprehensive Framework for Model Monitoring Metrics in Credit Risk, From Statistical Foundations to Governance Practice.
Termina ya tu proyecto
¿Tienes un proyecto similar y no sabes por dónde empezar? Yo te ayudo a diseñarlo.
El 92% de los profesionales de datos desbloquea sus proyectos al ver ejemplos completos resueltos.
Sin registro. Acceso inmediato