Armadilha psicológica na análise de dados
O cérebro humano tem uma incrível capacidade de encontrar padrões em tudo ... mas esses padrões geralmente têm pouco em comum com a realidade. Podemos ver a imagem de um coelho em uma nuvem ou o rosto de Elvis em batatas fritas.
Viu o coelho e o perfil de Elvis?
Pense no teste de Rorschach - as pessoas recebem diferentes borrões e perguntam o que veem. Você não acreditará com que disposição nossa mente encontra falsas interpretações de conjuntos de dados aleatórios.
Bastão? Borboleta? Um borrão comum? Este é um dos 10 mapas do teste de Rorschach, criado em 1921.
Os psicólogos têm um nome bonito para esse fenômeno: apofenia. Incentive as pessoas pelo menos algum incentivo e elas descobrirão não apenas rostos e borboletas, mas também um motivo para alocar um orçamento para seu projeto favorito ou lançar um sistema de inteligência artificial.
Sobre o autor: Cassie Kozyrkov é uma estatística e estatística sul-africana. Ela fundou o Decision Intelligence no Google, onde é pesquisadora principal.
A maioria dos conjuntos de dados possui muitas informações aleatórias. Qual é a probabilidade de sua análise não estar propensa a apofenia? Posso confiar na minha interpretação dos dados?
Nossa mente faz o mesmo com os dados e com os borrões.
Quanto mais maneiras de fragmentar esses conjuntos de dados e quanto mais complexos eles forem, mais vagos serão os incentivos. Eles praticamente imploram para você reconhecer imagens falsas nelas.
Conjuntos de dados sofisticados estão praticamente implorando para ver neles o que realmente não está lá
Tem certeza de que o seu conjunto de dados mais recente não é uma apofenia latente?
Há outra palavra maravilhosa - pareidolia , uma espécie de apofenia (encontrar coisas familiares em vagos estímulos sensoriais). O Japão ainda tem um museu de pedras que parecem rostos. Vivemos tempos incríveis.
Mentiras, mentiras descaradas e análises
Eu sei que parece sombrio, mas ainda não terminei. Fazer cursos de análise de dados pode adicionar combustível ao fogo. Os alunos estão acostumados a esperar um valor real de cada estudo de dados. Cada busca de pesquisa exploratória envolve um tesouro escondido. Apenas alguns professores se atrevem a enviá-lo em busca do inatingível (para seu próprio bem!). Classificar tarefas sem uma resposta precisa é mais difícil, portanto os alunos geralmente não prestam muita atenção a elas.
Os alunos estão acostumados com a verdade por trás de cada conjunto de dados.
A narração dos dados é simplesmente um desvio das mentiras diretamente usando os dados. Vamos deixar de lado a questão de saber se os padrões são reais. Vamos falar sobre múltiplas interpretações. Se você vê uma imagem de morcego em um borrão, isso não significa que não há borboletas, ossos pélvicos ou um par de raposas. Se eu não tivesse mencionado as raposas, você as teria visto? Provavelmente não. Os mecanismos psicológicos responsáveis pela motivação e atenção estão jogando contra você. Para parar de ver o bastão e começar a ver apenas uma superposição de valores, é necessária uma habilidade especial.
Quando as pessoas se apegam à sua imagem favorita, fica difícil vê-la.
O problema é que, assim que as pessoas se apegam à sua imagem favorita, fica difícil vê-la e ver outras imagens. É mais provável que as pessoas acreditem na interpretação que atraiu sua atenção em primeiro lugar. Cada novo valor encontrado reduz a motivação para continuar a pesquisa. Fazer malabarismos com várias histórias em potencial sem reavaliar sua história favorita é muito trabalho cerebral. Infelizmente, nem todo analista é disciplinado o suficiente para fazer isso. De fato, muitos analistas estão interessados em "provar" apenas um lado da história através da mineração de dados. Por que desenvolver habilidades que impedem a reposição de sua carteira?
Qual a cor do seu sabre de luz?
Existem várias maneiras de provar uma história usando dados - honestos e completos. Meu artigo sobre fragmentação de dados lhe dirá mais sobre isso. A análise exploratória de dados não é um desses métodos. A exploração de dados que não implica valor real é como pescar. A cor do seu sabre de luz depende da isca usada.
Se você se unir ao lado sombrio, ficará viciado nas evidências para apoiar sua teoria. Você já "sabe" que ela é fiel (para que você possa vendê-la a alguma vítima ingênua). Você pode nem perceber que seu sabre de luz está vermelho se acreditar sinceramente na objetividade dos dados e na sua própria imparcialidade.
A exploração de dados que não implica valor real é como pescar.
Se você tiver um conjunto de dados (vago) bastante complexo, encontrará um padrão adequado para provar sua história favorita. Essa é a beleza do teste de Rorschach. Infelizmente, os dados são piores que os borrões. Quanto mais matemático o seu método, mais convincente soa para aqueles que não entendem nada sobre ele.
Uma imagem de satélite do "rosto em Marte", que muitas pessoas percebem como evidência da existência de alienígenas.
Aqueles que se recusam a abraçar o lado sombrio também pescam. Mas eles estão pegando outra coisa: inspiração. Eles estão procurando padrões que possam ser interessantes e convincentes, mas não os levam em busca de evidências, porque são inteligentes. Em vez disso, eles se envolvem em análises imparciais e tentam observar o maior número possível de interpretações em suas cabeças.
Os melhores analistas tentam encontrar o maior número possível de interpretações.
Isso requer um olhar atento e uma mente humilde e imparcial. Bons analistas não estão tentando convencer as partes interessadas a ver apenas um lado da história. Em vez disso, eles pensam de forma criativa para transformar os mesmos dados em várias histórias. Eles apresentam suas descobertas de modo a inspirar todos a acompanhar, sem provocar seus líderes a tirar montanhas do excesso de confiança.
A imparcialidade dá à análise dos dados a chance de ter algum significado.
Uma disciplina desenvolvida para buscar múltiplas interpretações é a arma secreta do analista. Ele permite que você fique de olho nos verdadeiros tesouros escondidos nos dados. Se você se distrair com informações falsas nas quais acredita devido a preconceitos, é difícil prestar atenção às evidências que apontam na outra direção. Por que analisar alguma coisa se as conclusões são pré-determinadas? A imparcialidade dá a chance de garantir que todos os esforços não foram em vão.
Este sanduíche de queijo grelhado foi leiloado por US $ 28.000 porque apresenta a Virgem Maria. O que você vê aqui?
Contrate um ótimo analista
Características que você provavelmente deseja procurar em bons analistas:
- Eles não tiram conclusões que vão além dos dados que examinam.
- Eles são fáceis de manipular ferramentas de processamento de dados e podem visualizar rapidamente grandes quantidades de dados.
- Eles têm o conhecimento necessário da área de assunto e, portanto, têm menos probabilidade de gastar tempo com as partes interessadas nas pequenas coisas.
- Eles entendem que seu trabalho é encontrar inspiração.
- Eles visualizam os dados de uma maneira conveniente e compreensível para o cérebro, de modo que a inspiração vem rapidamente.
- Eles sabem o que precisam para acompanhar de perto qualquer informação potencial que encontrarem (e a quem recorrer para obter ajuda).
Além de todos os itens acima, este artigo convida você a prestar atenção a esses recursos:
- Eles sabem que a mente encontra significado onde não há, então tentam não ceder a falsas interpretações e não se apressam em chegar a conclusões.
- , . , .
- , . , . , -.
Por fim, se você é um líder, certifique-se de dar a seus subordinados os incentivos corretos. Você está procurando um analista de dados ou manipulador de dados? Eles têm pensamentos e habilidades diferentes. Escolha seu analista com sabedoria e recompense o comportamento correto.
Esqueça as batatas fritas! Este museu japonês com pedras parecidas se destacava.
Publicação científica: O chip de batata realmente se parece com Elvis! Características neurais do processamento conceitual associado à descoberta de novas formas de maneira subjetiva significativa
Aprenda os detalhes de como obter uma profissão procurada desde o início ou suba de nível em habilidades e salário fazendo cursos on-line pagos SkillFactory:
- Curso de Machine Learning (12 semanas)
- Treinamento da profissão em Data Science (12 meses)
- (9 )
- «Python -» (9 )