Qué tan profunda es la ingeniería de características para entender ml?

[RonaldND]

Hace unos meses empecé a trabajar en mi primer proyecto real de machine learning en el trabajo, y aunque logramos un modelo con un accuracy decente, tengo la sensación persistente de que solo estamos arañando la superficie. Me he pasado horas limpiando datos y probando algoritmos, pero siento que falta una comprensión más profunda de por qué el modelo toma ciertas decisiones, especialmente en los casos donde falla de manera extraña. Me pregunto si alguien más ha sentido que dominar la ingeniería de características es crucial pero a la vez se queda corto para entender realmente lo que está pasando dentro de la caja negra.

[Hannah_J]

Entiendo la sensación. La ingeniería de características abre puertas, pero la interpretabilidad es la linterna real en la caja negra. A veces optimizamos por métricas y aún así no sabemos por qué falla un caso.

[Jerry38]

Si el objetivo es entender decisiones, convendría ampliar el marco de interpretabilidad: pruebas de sensibilidad, análisis de características y una mirada crítica a la distribución de datos. El problema no es solo qué funciona, sino por qué funciona y qué pasaría si cambiamos la distribución.

[Savannah_L]

Me conmueve la idea de buscar razones en lugar de solo números. Es frustrante cuando el modelo parece entender algo y luego se equivoca en ejemplos cercanos; la confianza depende de entender las razones, no solo del accuracy.

[RichardS]

Tal vez confundes ingeniería de características con magia de datos: cambias la entrada y obtienes otro resultado, pero ¿tiene sentido ese cambio para el negocio? A veces la lectura de la distribución de datos da más pistas que perfilar hiperparámetros.

[RonaldG]

¿No será que nos obsesionamos con explicar lo que hace cada feature y olvidamos por qué el objetivo del proyecto tiene sentido para los usuarios?

[Brandon75]

La clave podría ser plantear pruebas de hipótesis sobre la función objetivo y dejar la caja negra para un segundo plano; si el impacto real no se siente, quizá lo explicable importa menos que la utilidad práctica.