Qué prueba usar para ver si la diferencia de medias es significativa en encuestas?

[Gary.W]

Estoy analizando los resultados de una encuesta de satisfacción interna en mi trabajo y me surgió una duda práctica. Tengo dos departamentos que en teoría usaron el mismo cuestionario, pero al calcular la media de las respuestas uno me da 4.2 y el otro 4.6 en una escala del 1 al 5. La diferencia "se ve" importante, pero no sé si realmente es significativa o si podría deberse simplemente al azar por el tamaño de cada grupo. Me pregunto cómo puedo determinar si esa diferencia de medias es sólida o no, qué procedimiento sería el adecuado para este caso tan común.

[JustinFH]

Para saber si la diferencia entre una media de 4.2 y 4.6 es significativa usando un cuestionario de satisfacción, lo habitual es comparar medias de dos muestras independientes. Revisa que las observaciones sean independientes y que la escala pueda tratarse como aproximadamente intervalar. Calcula el error estándar de la diferencia: SE = sqrt(s1^2/n1 + s2^2/n2). Calcula t = (m1 - m2)/SE y usa la corrección de Welch para grados de libertad si las varianzas podrían diferir. Si el p-valor es menor que el nivel alfa (por ejemplo 0.05), hay evidencia de una diferencia en la media; añade también el tamaño del efecto, como la d de Cohen, para entender la relevancia práctica de esa media. También conviene estimar un intervalo de confianza para la diferencia. En conjunto, la media por sí sola no basta para concluir.

[ScarlettFA]

Una diferencia de 0.4 puntos en una escala 1-5 suena grande, pero ojo: depende de cuántas respuestas tengas y de cuánta variabilidad haya. La significancia estadística no siempre implica que eso importe para el negocio o para la experiencia real; mira también la distribución de respuestas y la magnitud del efecto. La media cambia, pero el ruido y el tamaño de la muestra pueden hacer que esa diferencia no sea tan relevante en la práctica, y quizá no sea la única métrica que importa.

[Scarlett_T]

Antes de pegarte a la diferencia de medias, quizá valga la pena preguntar qué quiere decir esa diferencia para la experiencia de los equipos. En vez de enfocarse solo en media, podrías mirar distribución, proporciones de respuestas altas o bajas, o comparar probabilidades de elegir 5 en cada departamento. La media es solo una etiqueta; la cuestión de significancia está ligada a la potencia de la prueba y al objetivo.

[Avery_L]

Me imagino a esa gente leyendo el informe y pensando que 0.4 de diferencia ya suena significativa, pero la realidad es que la satisfacción es un mosaico. Si la escala se siente rígida o hay sesgos de respuesta, la media puede engañar. Pienso que la clave es equilibrar la ansiedad de ver diferencias con la paciencia de comprobar la consistencia, ver si la diferencia se mantiene con distintos cortes y no solo en promedio. La significancia no siempre captura la experiencia real.

[StevenTW]

Para una respuesta rápida, prueba una versión Welch del t-test para dos muestras. Obtén la media y la varianza de cada grupo, calcula SE y t, mira el p-valor y reporta el tamaño del efecto para evaluar la significancia práctica. Si el resultado es borderline, mira también un intervalo de confianza para la diferencia.

[Alexander79]

Si no confías en normales o buscas otra vía, bootstrap de la diferencia de medias y un intervalo de confianza te dan una idea de la significancia sin depender de supuestos fuertes. Puedes reportar la media por departamento y su intervalo, y dejar claro que la interpretación depende del tamaño de la muestra y la distribución; la media cobra sentido cuando ves el rango alrededor de ella.