O que significa estatisticamente significativo?

Significância estatística significa que um resultado era improvável de surgir só pelo acaso, julgado contra um corte combinado de antemão. É um teste de triagem e não um veredito: o padrão provavelmente não é sorte, e nada além disso foi estabelecido. Muitos achados significativos são pequenos demais para importar.

Uma empresa testa dois botões de finalizar compra e o verde vence por 2%. A pergunta que vale fazer antes de alguém comemorar é com que frequência a variação aleatória sozinha entregaria a um de dois botões idênticos uma vantagem de 2%. Significância estatística é essa pergunta formalizada: os pesquisadores escolhem um limiar antes de olhar, quase sempre 5%, e chamam um resultado de significativo quando só a sorte raramente produziria algo daquele tamanho. Por que fixar uma linha de antemão em vez de julgar cada resultado pelos seus méritos? Porque sem uma linha todo mundo se convence a acreditar no que quer que esperasse encontrar, então a linha funciona como um compromisso feito antes de os dados poderem argumentar de volta. A proteção é mais fina do que parece. Esse corte de 5% é uma convenção e não uma lei da natureza, o que deixa resultados de 4,9% e 5,1% tratados como opostos apesar de serem quase gêmeos. A significância também não diz nada sobre tamanho, já que com 50.000 usuários um efeito que ninguém jamais notaria passa da barra com folga.

Um amigo alega que distingue água da torneira de água engarrafada, prova quatro copos e acerta os quatro. Impressionante até você calcular que o puro chute acerta os quatro cerca de 6% das vezes, então alguém consegue isso toda tarde parada sem talento nenhum. Peça doze copos e o chute quase nunca sobrevive, o que torna doze acertos algo que vale. Repare no que o teste ainda não sabe lhe dizer: se o seu amigo sente uma diferença que importe no jantar.