¿Qué es el valor p?

Cuando un estudio encuentra una diferencia, hay dos causas posibles: algo real, o la suerte. El valor p mide con qué facilidad la suerte por sí sola podría producir una diferencia así de grande, de modo que un valor p pequeño significa que la suerte rara vez lo lograría. No te dice la probabilidad de que el hallazgo sea cierto.

Toma un ensayo de un fármaco para dormir donde el grupo tratado se durmió 12 minutos más rápido que el grupo con placebo. La suposición aburrida, llamada hipótesis nula, es que el fármaco no hace nada y los 12 minutos son suerte corriente, porque dos grupos de personas nunca salen exactamente iguales. El valor p responde una sola pregunta: si el fármaco de verdad no hiciera nada, ¿con qué frecuencia la suerte por sí sola abriría una brecha de 12 minutos o más? Si la suerte lo logra solo 3 veces en 100 repeticiones del estudio, el valor p es 0,03, y algo real parece probable. La mayoría de los campos llama significativo a todo lo que baje de 0,05, pero ese corte es una convención, y superarlo no significa que el efecto sea lo bastante grande para importar. Una precaución: prueba 20 fármacos inútiles con ese corte y más o menos uno pasará por pura suerte, así que un único pase afortunado demuestra poco.

Un amigo saca tres seises seguidos y lo llama suerte. Un dado justo lo hace más o menos una vez cada 216 intentos, y esa probabilidad de una entre 216 es el valor p de su afirmación. Es pequeña, así que «el dado es justo» deja de ser la explicación fácil, aunque las cosas raras a veces pasan.