Quando estive envolvido no desenvolvimento de produtos, fiquei terrivelmente enfurecido com os designers pragmáticos - aqueles que tentavam fazer tudo apenas com base em pesquisas estatísticas.
Portanto, quero que o botão seja verde, só porque gosto desse jeito. E diz o designer - “não importa, os testes AB mostraram que o botão da cor de uma diarreia é clicado 0,2% mais vezes”. Senhor, amigo, você tem bombeado seu gosto e experiência por dez anos, e daí? Para fazer nosso produto parecer cocô de pássaro? Mas os negócios dizem - uma vez que existem números, então cobriremos tudo com eles.
Eu entendo que as pessoas querem ganhar dinheiro. Eles não querem confiar em seu gosto quando se trata de satisfação do público. Mas agora sei que o problema pode não estar nos números, mas nas pessoas que não sabem usar testes estatísticos.
Na semana passada, em nosso podcast estava Andrey Akinshin, PhD em Física e Matemática e especialista em análise de desempenho. Ele nos disse por que ele também é bombardeado por estatísticas matemáticas modernas.
. — .
, . « ». , , , . – . , , , .
« » — . . , , P-value, . P-value , , . , ( « » ).
- , . — . - . . P-value , . , .
, -, , . , – , : , , , . , ! .
– 0,05. ? , 30- , , – , — . 20 , , , .
0,05. — , . Qwerty, , . Qwerty .
. 80- , , . – . , , - , , – «false positive». . , , – «false negative».
0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .
: «, , , , , . , , 0.2, ». , . , . -, . , ?
, , - .
. , , , , , . . .
, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !».
0.9, , . «» , 20 , P-value , . , .
, . , – -, , . , . - , , , .
— -. — , -.
: ? -, -, P-value . : «, - , , ». , . , – .
– , .
, , , .
, : « ?» ( ), : « !».
– 0 1. . , . , , , , , . . – . : « » « - » — .
. — ? -, , . ; , – P-value – .
, .
, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .
, . , , .
, , . , . . « - , , , , ».
— -, , . , . , — - .
Harlow, Lisa L., Stanley A. Mulaik, and James H. Steiger, eds. What if there were no significance tests? Routledge, 2016.
Cohen, Jacob. "The earth is round (p<. 05)." In What if there were no significance tests?, pp. 69-82. Routledge, 2016.
Amrhein, Valentin, Fränzi Korner-Nievergelt, and Tobias Roth. "The earth is flat (p> 0.05): significance thresholds and the crisis of unreplicable research." PeerJ 5 (2017): e3544.
Wasserstein, Ronald L., Allen L. Schirm, and Nicole A. Lazar. "Moving to a world beyond “p< 0.05”." (2019): 1-19.
Winder, W. C. "What you always wanted to know about testing but were afraid to ask." American dairy review (1973).
Grieve, Andrew P. "How to test hypotheses if you must." Pharmaceutical statistics 14, no. 2 (2015): 139-150.
Krawczyk, Michał. " A busca por significância: algumas peculiaridades na distribuição dos valores de P na literatura da psicologia experimental ." PloS one 10, não. 6 (2015).
E mais uma palestra de Andrey, onde fala mais detalhadamente sobre o problema: