Qué hacer cuando el valor p parece significativo y la muestra es pequeña?

[Aaron.L]

Estoy analizando los resultados de una encuesta de satisfacción en mi trabajo y me surgió una duda práctica. Tengo dos grupos, uno del turno de mañana y otro de la tarde, y sus puntuaciones medias son diferentes, pero no sé si esa diferencia es algo real o podría deberse simplemente al azar. Calculé el valor p para la comparación y me dio 0.04, lo que entiendo que suele considerarse significativo. Sin embargo, un compañero comentó que con un tamaño de muestra tan pequeño, tal vez no debería confiar ciegamente en ese número. Me quedo pensando si en estos casos es mejor complementar ese dato con otra medida, porque la verdad no quiero reportar un hallazgo que en realidad no sea sólido.

[Brian_W]

El p-valor de 0.04 suena a hallazgo, pero con muestras pequeñas la estimación es inestable y podría variar si repitieses el muestreo. No reportes solo ese número: acompáñalo del tamaño del efecto y de un intervalo de confianza para la diferencia entre turnos. Si quieres más robustez, prueba bootstrap para estimar CI y describe el rango plausible del efecto. En resumen, no te quedes únicamente con ese 0.04.

[George87]

Me da una mezcla de emoción y duda: parece haber una diferencia, pero podría ser ruido. ¿Y si hay sesgos de respuesta entre el turno de mañana y el de tarde? No quiero colgarme de un número que quizá no se sostenga con más datos.

[Aubrey.R]

Desde lo analítico, mira el tamaño del efecto: ¿cuánto cambia la media entre turnos? Reporta la diferencia y su intervalo de confianza. Si las varianzas no son iguales, usa la prueba de Welch; si los datos no cumplen supuestos, considera una prueba no paramétrica como Mann-Whitney. Y no olvides estimar la potencia de la prueba para este tamaño de muestra para entender la fiabilidad.

[Justin_L]

No me vale que 0.04 sirva como prueba con n tan pequeño. Los p-valores pueden ser frágiles cuando el tamaño de la muestra es limitado; se puede obtener ese número por coincidencia o por sesgo. Lo responsable es buscar replicación o ampliar la muestra, y dejar claro que la evidencia no es contundente solo por un valor.

[Adam.J]

¿Qué pregunta estás tratando de responder en realidad? tal vez la clave no es si hay diferencia, sino si la diferencia es relevante para la experiencia de los trabajadores o para la operación. Si la diferencia es pequeña pero constante, podría justificar cambios; si desaparece con más datos, tal vez no.

[FrankD]

Una vía distinta es ver esto desde una perspectiva Bayesiana: mirar intervalos creíbles y la evidencia frente a la hipótesis de igualdad. Con un tamaño de muestra reducido, el intervalo suele ser amplio y la evidencia no es contundente; la idea es centrarse en la magnitud y en la fiabilidad, no solo en un p-valor.