Qué hacer cuando los intervalos de confianza son muy amplios en una encuesta?

[Paisley_T]

Estoy analizando los resultados de una encuesta de satisfacción en mi trabajo y me he topado con algo que no termino de entender. Al calcular el intervalo de confianza para la proporción de clientes satisfechos, me da un rango tan amplio que prácticamente no me dice nada útil. Pensé que al aumentar la muestra el intervalo se estrecharía, pero incluso con cientos de respuestas sigue siendo demasiado amplio para tomar decisiones. ¿Alguien más ha tenido esta experiencia con los intervalos de confianza y sabe por qué podrían estar saliendo tan poco precisos en la práctica?

[LunaTL]

Entiendo la frustracion. El intervalo de confianza para una proporcion puede ser muy amplio incluso con cientos de respuestas porque la variabilidad real puede ser alta cuando la satisfaccion se concentra en extremos o por como se calcula la estimacion. No siempre es un fallo de la muestra

[AaronT]

Puede deberse a que la estimacion de la proporcion usa la varianza p por q sobre n y eso se comporta distinto cuando p esta cerca de 0 o de 1. Si p es 0.05 o 0.95 el error es grande con n mediano. Los metodos simples como el intervalo de Wald a veces subestiman o sobre estiman la anchura y sorprende que pese a n grande el intervalo no se reduzca. Usar metodos alternativos como Wilson o Agresti Coull suele mejorar la cobertura. Tambien el sesgo de no respuesta o el agrupamiento de respuestas que no son independientes puede empujar el ancho hacia arriba

[Robert_H]

Puede que pienses que mas respuestas siempre ensancha el intervalo. En realidad depende de como se distribuye la satisfaccion. Si la proporcion observada es 0.5 con n 100 el intervalo es ancho, pero si la proporcion es 0.5 con n 1000 se estrecha bastante. A veces se confunde la idea de error con la diferencia entre grupos. Ojo con el uso de promediar porcentajes de varias preguntas

[Richard.L]

Quien diseño la pregunta tal vez no se dio cuenta de que los intervalos no lo dicen todo. Tal vez la verdadera cuestion es tu proceso de recopilacion o si la escala de satisfaccion es valida. Podria haber sesgo de respuesta o el muestreo no es aleatorio. ¿Podria mirar subgrupos o ajustar por sesgo y cambiar algo?

[Noah41]

Me suena a excusa de quien quiere resultados perfectos. No todo muestreo entrega intervalos muy estrechos y no es fallo de tu equipo. Si la muestra es razonable y aun asi el intervalo es ancho mira mas el diseño que la gente.

[Kevin14]

Quizas pensar la pregunta como una simple precision puede no ayudar. Tal vez sea mas util mirar subgrupos o dividir la muestra para ver la estabilidad de la estimacion. O tomar indicadores alternativos como un indice de satisfaccion agregado o un Net Promoter Score para tomar decisiones sin depender solo de intervalos de confianza. A veces el reto es que lo importante es la accion mas que la exactitud