A tradução foi preparada como parte do curso " Machine Learning. Professional ".
Também convidamos a todos para participar do intensivo on-line de dois dias "Implantar modelos de ML: de código sujo em um laptop a um serviço funcional".
Erros de observação e diferenças de subgrupos causam paradoxos estatísticos
Erros de observação e diferenças de subgrupo podem facilmente levar a paradoxos estatísticos em qualquer aplicação de ciência de dados. Ignorar esses elementos pode desacreditar completamente as conclusões de nossa análise.
Na verdade, não é incomum ver esses fenômenos surpreendentes como tendências de subgrupos que se revertem completamente nos dados agregados. Neste artigo, daremos uma olhada nos três principais paradoxos estatísticos mais comuns encontrados na ciência de dados.
1. Paradoxo de Burkson
O primeiro exemplo notável é a correlação inversa entre a gravidade da doença COVID-19 e o tabagismo (ver, por exemplo, a revisão Wenzel 2020 da Comissão Europeia ). O tabagismo é um fator de risco conhecido para doenças respiratórias, então como você explica essa controvérsia?
Griffith 2020, Nature, , (Collider Bias), . , , : «».
: «» — - « », « COVID-19». ( )
. , ( -).
: «», COVID-19! ( )
COVID-19 , , , .
— — ! , .
COVID-19 . , 1, .
(- , , ), - .
, COVID-19, ! , COVID-19 - , (, - , , ).
Berkson 1946, , , .
2. ()
, . : « ».
: « » — «n » «n ». ( )
. , , , , .
. , , (.. ).
: « », ! ( )
, , , .
, , .
, , , .
3.
, , , .
, , .
, , : A B.
100 : 80 A, 68 (85%), 20 , 12 (60%).
100 : 30 , 28 (93%), 70 B, 46 (66%).
: - , ! ( )
.
: , . ( )
, , . , ( A: 80–30, B: 20–70). , B ( ), ( ). , .
, -, data science. .
"Machine Learning. Professional"
- « ML : »