Qué estrategia usar para estandarizar fechas en datasets mixtos?

[David.T]

Hace poco me topé con un problema curioso limpiando un dataset para un proyecto personal, donde una columna de fechas venía en formatos mezclados por el origen de los datos. Me puse a estandarizarla y me surgió la duda de si estoy usando la mejor estrategia, porque a veces parseo con pandas y otras con funciones propias según el caso, pero no sé si eso añade complejidad innecesaria. Me da la sensación de que en proyectos más grandes esta parte se puede volver un cuello de botella, sobre todo cuando los datos son sucios y vienen de muchas fuentes.

[LukeJJ]

Uy, las fechas mezcladas me provocan curiosidad y un poco de ansiedad. Parsing manual a veces parece descifrar un código antiguo, y para proyectos personales no quiero perder horas peleando con formatos diferentes.

[BrianHG]

Desde un enfoque práctico, conviene centralizar en una función de parsing que convierta todo a un formato intermedio y luego a ISO 8601. Usar pandas to_datetime con una lista de formatos posibles y un fallback puede funcionar, pero añade complejidad. Lo clave es capturar formatos, limpiar valores nulos, normalizar zonas horarias y luego validar contra un esquema.

[ScottT]

Pensé que sería solo epoch, pero vienen cadenas con AM/PM, zonas horarias y variaciones regionales en fechas. El parsing se vuelve un baile y la parte sucia no desaparece.

[Richard.L]

¿Realmente es el cuello de botella? tal vez el problema esté en la limpieza previa o en las joins, no solo en el parsing.

[MatthewYT]

Podríamos replantearlo: qué políticas de calidad de fechas podemos imponer en cada fuente y cómo monitorizar el data lineage para detectar regresiones.

[Emily92]

Las fechas, ETL y tolerancia a errores conviven; a veces dejar una ambigüedad controlada evita bloquear el flujo.