Nos últimos cinco anos, Recursive Cactus trabalhou como desenvolvedor full stack em uma empresa de tecnologia de ponta, mas agora decidiu mudar de emprego.



Nos últimos seis meses, o Recursive Cactus (como se apresentou ao se registrar em nosso site) tem se preparado para futuras entrevistas, alocando pelo menos 20-30 horas por semana para exercícios LeetCode, tutoriais de algoritmo e, é claro, prática de entrevista em nossa plataforma para avaliar seu progresso.

Dia de trabalho típico do cacto recursivo:

Dia de folga típico do cacto recursivo:

Mas seus esforços esmagadores para se preparar para a entrevista afetaram emocionalmente a ele, seus amigos e família. O estudo consumiu todo o seu tempo pessoal a tal ponto que ele praticamente não tem mais vida, exceto o trabalho e a preparação para as entrevistas.



Um pensamento o mantém acordado: “E se eu não conseguir a entrevista? E se todo esse tempo foi desperdiçado? "



Todos nós já estávamos em busca de trabalho e muitos passaram por esse estado. Mas por que o cacto recursivo gasta tanto tempo se preparando e qual é o motivo dessa frustração?



Ele sente que não cumpre os altos padrões dos engenheiros, o nível mínimo geralmente aceito de competência que todo engenheiro deve demonstrar para conseguir um emprego.



Para ir ao encontro do bar, ele escolheu uma tática específica: atender às expectativas geralmente aceitas de um engenheiro, e não apenas ser o profissional que ele realmente é.



Parece bobagem fingir deliberadamente ser alguém que você não é. Mas se quisermos entender o comportamento de um Cacto Recursivo, é aconselhável descobrir o que é essa barra. E se você pensar um pouco sobre esse assunto, parece que não tem uma definição tão clara.

Definição da "barra"

Vamos dar uma olhada em como as empresas FAANG (Facebook, Amazon, Apple, Netflix, Google) definem o padrão. Afinal, essas são as empresas que mais recebem a atenção de praticamente todos, inclusive de quem procura emprego.



Poucos deles fornecem detalhes específicos sobre o processo de contratação. A Apple não compartilha publicamente nenhuma informação. O Facebook descreve as etapas da entrevista, mas não os critérios de avaliação. A Netflix e a Amazon dizem que estão contratando candidatos que se encaixam em sua cultura de trabalho e princípios de liderança. Nem a Netflix nem a Amazon descrevem exatamente como medem os princípios subjacentes. No entanto, a Amazon informa como as entrevistas são conduzidas e também nomeia tópicos que podem ser discutidos em entrevistas com desenvolvedores....



A mais transparente das grandes empresas, o Google divulga publicamente seu processo de entrevista nos mínimos detalhes, e o livro de Laszlo Bock "Regras de trabalho!" adiciona detalhes internos.



Falando de gigantes da tecnologia de uma perspectiva histórica, Alina (nossa fundadora) mencionou no último post o livro de 2003 How to Move Mount Fuji? , que fala sobre o processo de entrevista na Microsoft durante o tempo em que a empresa era um gigante da tecnologia proeminente.



Para obter mais informações sobre como as empresas estão avaliando os candidatos, também examinei Hacking Programming Interviews, de Gaila Luckmann McDowell, que é na verdade a Bíblia para entrevistar candidatos em potencial, eGuerrilla Interviewing Guide 3.0 de Joel Spolsky, escrito por uma figura influente e bem conhecida nos círculos de tecnologia.

Definições de prancha

Definição de "inteligência"

Não é novidade que codificação e conhecimento técnico estão entre os critérios para a contratação de um desenvolvedor em qualquer empresa. Afinal, isso é trabalho.



Mas, além disso, muitas pessoas mencionam o critério de inteligência geral. Embora usem palavras diferentes e definam os termos de maneira um pouco diferente, todos eles apontam para algum conceito do que os psicólogos chamam de "capacidade cognitiva".





Todas essas definições são uma reminiscência da teoria do psicólogo do início do século 19, Charles Spearman, a teoria da inteligência mais amplamente aceita. Em uma série de testes cognitivos em crianças em idade escolar, Spearman descobriu que aqueles que tiveram um bom desempenho em um tipo de teste tenderam a se sair bem em outros testes também. Esse entendimento levou Spearman à teoria de que existe um único fator de habilidade comum básico (“g” ou “fator g”) que afeta todas as métricas, independentemente das habilidades específicas de tarefas específicas (“s”).



Se você acredita na existência de "g" (muitos acreditam, alguns não ... existem diferentes teorias de inteligência ), encontrar candidatos com pontuações "g" altas se alinha claramente aos critérios de inteligência nas empresas.



Embora as empresas também considerem outros critérios, como liderança e cultura, a barreira geralmente não é definida nesses termos. A prancha é definida como a posse de habilidades técnicas, bem como (e talvez em maior medida) inteligência geral . Afinal, os candidatos geralmente não treinam sua liderança e cultura.



Então surge a questão de como medi-lo. Medir as habilidades técnicas parece difícil, mas factível, mas como você mede “g”?

Medindo inteligência geral

O livro Boca mencionou o artigo de Frank Schmidt e John Hunter 1998 "A validade e a utilidade dos métodos de seleção em psicologia de pessoal" . Ela tenta responder a essa pergunta analisando uma ampla gama de 19 critérios de seleção de candidatos. O desafio é determinar quais os que melhor prevêem o desempenho futuro. Os autores concluíram que a inteligência geral (teste GMA) é o melhor preditor da produtividade do trabalho (“validade preditiva”).







Neste estudo, o teste GMA é considerado um teste de QI. Mas por volta de 2003 a Microsoft usou quebra-cabeças como "Quantos afinadores de piano existem no mundo?" A explicação deles:

« Microsoft, , , , , . , , , , »



— « ?», . 20

Avance até hoje. O Google condena essa prática , concluindo que "o desempenho nesses tipos de questões é, na melhor das hipóteses, uma habilidade discreta que pode ser aprimorada por meio de treinamento de forma que não tenha utilidade na avaliação de candidatos".



Portanto, temos duas empresas que testam inteligência geral, mas discordam fundamentalmente sobre como medi-la.

Estamos medindo habilidades específicas ou inteligência geral?

Mas talvez, como Spolsky e McDowell argumentaram, as perguntas tradicionais das entrevistas algorítmicas e computadorizadas sejam, em si mesmas, testes eficazes de inteligência geral. A pesquisa de Hunter e Schmidt fornece algum suporte para essa teoria. Entre todas as ferramentas de avaliação de critério único, os testes com amostras de trabalho tiveram a maior validade preditiva. Além disso, ao examinar o resultado de regressão mais alto da validade do instrumento de pontuação de dois critérios (teste GMA mais teste com uma amostra de trabalho), o tamanho do efeito padronizado na avaliação da amostra de trabalho foi maior do que a classificação GMA, indicando uma relação mais forte com o desempenho futuro do candidato.



A pesquisa sugere que as entrevistas de algoritmo tradicionais predizem o desempenho futuro, talvez até mais do que o teste GMA / IQ.



Cactus recursivo não acredita que exista tal conexão:

“Há pouca sobreposição entre o conhecimento obtido no trabalho e a solução de problemas algorítmicos. A maioria dos engenheiros raramente lida com gráficos ou programação dinâmica. Na programação de aplicativos, as estruturas de dados mais comuns são listas e objetos de dicionário. No entanto, as perguntas da entrevista associadas a eles são frequentemente vistas como triviais, então o foco está em outras categorias de problemas. "

Em sua opinião, as perguntas algorítmicas são como as perguntas do quebra-cabeça da Microsoft: você aprende tarefas em entrevistas que nunca encontrará no trabalho da vida real. Se for assim, isso realmente não se encaixa com a pesquisa de Hunter e Schmidt.



Apesar das convicções pessoais do Recursive Cactus, entrevistadores como Spolsky ainda acreditam que essas habilidades são extremamente importantes para um programador produtivo.

« , , : „ ?” — .



, . , , . , , Ruby on Rails 2.0».



— 

Spolsky admite que as perguntas técnicas tradicionais das entrevistas não podem simular problemas reais de trabalho. Em vez disso, eles testam habilidades gerais da ciência da computação que são gerais em alguns aspectos, mas específicas em outros aspectos. Podemos dizer que isso é inteligência geral em uma determinada área.



Assim, se você não acredita que a inteligência do computador é inteligência geral, McDowell sugere o seguinte:

“Há outro motivo pelo qual se discute o conhecimento de estruturas de dados e algoritmos: porque é difícil encontrar questões para resolver problemas que não estejam relacionados a eles. Acontece que a grande maioria das questões de resolução de problemas envolve alguns desses fundamentos. "



- Gail Luckmann McDowell

Isso pode ser verdade quando você olha o mundo através das lentes da ciência da computação. No entanto, seria injusto acreditar que os não programadores tenham mais dificuldade em resolver problemas.



Neste ponto, não estamos falando sobre medir a inteligência geral como Spearman a definiu originalmente. Em vez disso, estamos falando de uma inteligência específica definida ou disseminada por aqueles que cresceram ou participam da educação tradicional em computação, em conjunto com a inteligência geral (Spolsky, McDowell, Bill Gates da Microsoft e quatro dos cinco fundadores da FAANG estudaram ciência da computação ou algum Ivy League University ou Stanford).



Talvez quando falamos em barra, realmente queremos dizer algo subjetivo, dependendo de quem faz a medição, e essa definição difere de pessoa para pessoa.



Essa hipótese é apoiada pelas avaliações que os candidatos recebem dos entrevistadores em nossa plataforma.

O bar é subjetivo

Em nossa plataforma interviewing.io, as pessoas treinam em entrevistas técnicas online, com entrevistadores de empresas líderes e anonimamente. As perguntas da entrevista são semelhantes às que você pode ouvir durante uma triagem por telefone para uma posição de desenvolvedor de back-end, e os entrevistadores geralmente vêm de empresas como Google, Facebook, Dropbox, Airbnb e outras. Aqui estão alguns exemplos dessas entrevistas . Após cada entrevista, os entrevistadores avaliam os candidatos em várias dimensões: habilidades técnicas, habilidades de comunicação e habilidades de resolução de problemas em uma escala de 1 a 4, onde 1 é “ruim” e 4 é “incrível!”. Esta é a aparência do formulário de feedback:







Se você se sentir confiante, pode pular o treinamento e se inscrever para uma entrevista real diretamente com nossas empresas parceiras (mais sobre isso mais tarde).



Ao observar os entrevistadores mais ativos, notamos uma diferença no percentual de candidatos que essa pessoa contrataria (“taxa de aprovação”). Essa proporção varia de 30% a 60%. Alguns entrevistadores parecem muito mais duros do que outros.







Uma vez que os entrevistados e entrevistadores são anônimos e selecionados aleatoriamente ^[1]Não esperamos que a qualidade dos candidatos varie muito entre os entrevistadores. Portanto, a qualidade dos entrevistados não deve ser a causa desse fenômeno. Porém, mesmo levando em consideração tais atributos de um candidato como experiência, ainda há uma diferença na taxa de aprovação para diferentes entrevistadores ^[2]...



Talvez alguns entrevistadores sejam deliberadamente rígidos porque seus padrões são mais altos. Embora os candidatos que atingem os entrevistadores mais rígidos recebam notas mais baixas, eles geralmente têm melhor desempenho na próxima entrevista.



Este resultado pode ser interpretado de várias maneiras:

• Entrevistadores mais rígidos subestimam sistematicamente os candidatos
  
  
• Os candidatos estão tão cansados ​​de entrevistadores rigorosos que tendem a melhorar entre as entrevistas em um esforço para atingir o nível mais alto do entrevistador original

Se o último for verdadeiro, então os candidatos que treinaram com entrevistadores mais rigorosos devem ter um desempenho melhor em entrevistas da vida real. No entanto, não encontramos uma correlação entre a severidade do entrevistador e a velocidade de passar em futuras entrevistas reais em nossa plataforma ^[3]...







Os entrevistadores em nossa plataforma representam os tipos de pessoas que um candidato encontraria em uma entrevista na vida real, já que as mesmas pessoas conduzem triagem por telefone e entrevistas cara a cara com empresas de tecnologia da vida real. E como não ditamos a metodologia da entrevista, esses gráficos também mostram a distribuição das opiniões sobre o resultado da sua entrevista assim que você desliga ou sai do escritório.



Isso sugere que, independentemente de suas respostas reais, as chances de conseguir um emprego realmente dependem de com quem você está entrevistando . Em outras palavras, a barra é subjetiva.



Essa diferença entre os entrevistadores nos obrigou a repensar nossa própria definição de bar, que filtra os candidatos quando admitidos em entrevistas com nossas empresas parceiras. Nossa definição se assemelhava muito aos critérios binários de Spolsky (“ser inteligente”), superestimando a opinião do entrevistador e subestimando os outros três critérios, resultando em uma distribuição bimodal semelhante a um camelo, que é mostrada no diagrama abaixo.







Embora o sistema de pontuação atual se correlacione razoavelmente bem com os resultados das entrevistas futuras, descobrimos que a pontuação do entrevistador não está tão fortemente correlacionada com os resultados futuros como nossos outros critérios. Reduzimos seu peso, o que acabou aumentando a precisão da previsão ^[4]... Como no filme Ricky Bobby: King of the Road, Ricky Bobby aprendeu que existem outros lugares na corrida além do primeiro e do último , então também aprendemos que é útil ir além da estrutura binária de "contratar - não contratar", ou, se você preferir , "Inteligente - não inteligente".



Claro que não poderíamos nos livrar totalmente da subjetividade, pois outros critérios também são determinados pelo entrevistador. E é isso que dificulta a avaliação: a avaliação do entrevistador é, em si, uma medida da capacidade do candidato.



Em tal situação, a precisão de cada medição específica torna-se menos certa. É como se os entrevistadores estivessem usando varetas de comprimentos diferentes para medir, mas todos presumiram que o comprimento de sua própria vareta era conhecido, digamos, um metro.



Quando conversamos com nossos entrevistadores sobre a avaliação dos candidatos, a teoria das varas de diferentes comprimentos foi confirmada. Aqui estão alguns exemplos de como os entrevistadores avaliam os candidatos:

• Faça duas perguntas. Se ele responder a ambas, o teste foi aprovado
  
  
• Fazer perguntas de dificuldade variada (fácil, médio, difícil). Se a resposta for média, o teste foi aprovado
  
  
• A velocidade da resposta é de grande importância. O teste é aprovado se as respostas forem rápidas (o termo "rápido" não está claramente definido)
  
  
• A velocidade realmente não importa. Aprovar se houver uma solução de trabalho
  
  
• Os candidatos começam com a nota mais alta. Os pontos são deduzidos para cada erro

Critérios diferentes para avaliação - não necessariamente ruins (e na verdade, completamente normais). Eles apenas introduzem uma grande dispersão em nossas medidas, ou seja, as avaliações dos candidatos não são totalmente precisas.



O problema é que quando alguém fala sobre a barra, costuma ignorar a incerteza nas medições.



Muitas vezes, é aconselhável contratar apenas candidatos de primeira linha.

“Uma boa regra é contratar apenas aqueles que são melhores do que você. Sem compromisso. Sempre "



- Laszlo Bock

“Não rebaixe seus padrões, não importa o quão difícil seja encontrar esses grandes candidatos”



- Joel Spolsky

“Na divisão Macintosh, tínhamos um ditado: 'Jogador A contrata Jogadores A; Os jogadores B estão contratando jogadores C ”- isso significa que ótimas pessoas estão contratando ótimas pessoas também”



- Guy Kawasaki

"Cada funcionário contratado deve ser melhor do que 50% daqueles atualmente em funções semelhantes - isso levanta a barra"



- Postagem do blog Bar Raiser na Amazon

Todos esses são bons conselhos. No entanto, eles assumem que a "qualidade" pode ser medida com segurança. Mas já vimos que nem sempre é assim.



Mesmo quando a incerteza é mencionada, a variância é atribuída à capacidade do candidato, não ao processo de medição ou ao entrevistador.

“No meio há um grande número de funcionários 'potencialmente úteis' que parecem poder contribuir para a causa comum. O segredo é distinguir as superestrelas dessas "potencialmente úteis", já que você não quer contratar nenhuma "potencialmente útil". Nunca.

…

Se você acha difícil decidir, existe uma solução muito simples. NÃO Contrate NINGUÉM. Só não contrate alguém de quem você não tem certeza. "



- Joel Spolsky

A avaliação dos candidatos não é um processo totalmente determinístico, mas muitos o consideram como tal.

Por que a barra é tão alta

A frase "compromisso de qualidade" não significa realmente compromisso, mas tomada de decisão diante da incerteza. E como você pode ver pelas cotações acima, a estratégia usual é contratar apenas quando houver confiança absoluta.



Independentemente de qual medidor você tem, ele eleva muito a fasquia. Ter total confiança em um candidato significa minimizar a possibilidade de má contratação (“falsos positivos”). E as empresas estão fazendo tudo o que podem para evitá-lo.

“Um mau candidato custa muito caro, considerando o tempo que leva para corrigir todos os seus erros. Demitir um funcionário contratado por engano pode levar meses e ser um pesadelo, especialmente se ele entrar com um processo. "



- Joel Spolsky

Hunter e Schmidt calcularam o custo de contratação ruim: "O desvio padrão ... é de pelo menos 40% do salário médio anual", que é $ 40.000 hoje, supondo que o salário médio de um engenheiro seja $ 100.000.



Mas se você definir o padrão muito alto, as chances são que você perdeu alguns bons candidatos (falsos negativos). McDowell explica por que as empresas realmente não se importam com muitos falsos negativos:

“Do ponto de vista da empresa, é realmente aceitável rejeitar uma série de bons candidatos ... eles estão dispostos a aceitá-lo. Claro, eles preferem não fazer isso, pois aumenta os custos de RH. Mas este é um compromisso aceitável, desde que ainda recebam um número suficiente de bons candidatos. "

Em outras palavras, vale a pena esperar pelo melhor candidato se a diferença no resultado esperado for grande em comparação com os custos de recrutamento de continuar sua busca. Além disso, os custos de pessoal e questões jurídicas de funcionários potencialmente problemáticos também estão empurrando a barra para cima, tanto quanto possível.



Parece um cálculo muito racional de custos e benefícios. Mas alguém realmente fez esse cálculo em números? Em caso afirmativo, adoraríamos ouvir de você. Mas parece muito difícil na prática.



Como todos os cálculos são feitos a olho nu, podemos fazer o mesmo e argumentar que a barra não deve ser tão alta.



Conforme mencionado anteriormente, a distribuição das habilidades dos candidatos não é binária, então o cenário de pesadelo de Spolsky não acontecerá com todas as contratações supostamente “ruins”, o que significa que a diferença esperada na produtividade entre funcionários “bons” e “ruins” pode ser menor do que o previsto.



Por outro lado, os custos de recrutamento podem acabar sendo mais altos do que o previsto, porque os candidatos se tornam mais difíceis de selecionar à medida que suas qualificações aumentam. Por definição, quanto mais alta a barra, menos pessoas. O cálculo de danos por “má contratação” de Schmidt e Hunter compara os candidatos apenas dentro do pool. O estudo não leva em consideração o custo relativo de recrutamento de candidatos de alta qualidade para o pool, que é um grande problema para muitas equipes de recrutamento de tecnologia atualmente. E se outras empresas de TI usarem a mesma estratégia de contratação, a concorrência aumentará a chance média de um candidato recusar uma oferta. Isso aumenta o tempo de preenchimento da vaga.



Para resumir, se o resultado esperado entre candidatos “bons” e “ruins” for menor do que o esperado e os custos de recrutamento forem mais altos do que o esperado, então é lógico diminuir o padrão.



Mesmo que uma empresa tenha contratado um funcionário ineficaz, ela pode usar ferramentas de treinamento e RH para mitigar o impacto negativo. Afinal, a produtividade de uma pessoa realmente cresce com o tempo, ela adquire novas habilidades e conhecimentos.



No entanto, ao contratar pessoas, raramente se pensa no desenvolvimento dos funcionários (Laszlo Bock menciona isso em alguns lugares, mas principalmente esses tópicos são discutidos separadamente). Mas se você levar isso em consideração, pode ser feita uma conexão entre a contratação e o desenvolvimento de funcionários. Você pode falar sobre diferentes métodos para aumentar a eficiência do trabalho: pagar pelo treinamento dos funcionários existentes ou contratar novos.



Você pode até considerar isso um compromisso. Em vez de desenvolver funcionários internamente, por que não terceirizar esse desenvolvimento? Deixe que os outros descubram como desenvolver talentos brutos e, mais tarde, você paga os recrutadores para encontrar profissionais prontos. Por que fazer compras na Whole Foods e cozinhar em casa quando você pode pagar para entregar refeições prontas? Por que perder tempo em gerenciamento e treinamento quando você pode fazer um trabalho real (ou seja, tarefas de engenharia)?



Talvez a barreira esteja tão alta porque as empresas não sabem como desenvolver pessoas com eficácia.



Assim, as empresas reduzem os riscos transferindo o fardo do crescimento da carreira para os próprios candidatos. Por sua vez, candidatos como o Cactus Recursivo não têm escolha a não ser praticar a entrevista.



A princípio, pensei que o cacto recursivo fosse a exceção à regra. Mas descobriu-se que ele não está sozinho.

Os candidatos praticam antes da entrevista

No ano passado, perguntamos aos candidatos quantas horas eles gastaram se preparando para a entrevista. Quase metade dos entrevistados disse que gastou 100 horas ou mais na preparação ^[5]...







Ficamos interessados ​​em saber como os recrutadores entendem a situação. Alina fez uma pergunta semelhante no Twitter - e os resultados mostraram que os gerentes de RH subestimam muito os esforços dos candidatos para se preparar para as entrevistas.





Aparentemente, essa discrepância só confirma a regra oculta e tácita de contratação: se você não é um dos mais espertos (o que quer que isso signifique), não é problema nosso.

Revisão da barra

Então é isso que a "barra" é. Este é um alto padrão estabelecido pelas empresas para evitar falsos positivos. No entanto, não se sabe se as empresas realmente realizaram uma análise de custo-benefício adequada. Talvez a alta exigência possa ser explicada pela relutância em investir no desenvolvimento dos funcionários.



O Plank mede praticamente sua inteligência geral, mas as ferramentas de medição reais não correspondem necessariamente à literatura científica. Mesmo a própria literatura científica sobre este tópico pode ser considerada duvidosa ^[6]... A barra realmente mede uma inteligência específica em ciência da computação, mas essa medição varia dependendo de quem está entrevistando você.



Apesar das diferenças em muitos aspectos da contratação, falamos sobre a barra como se ela tivesse um significado claro. Isso permite que os gerentes de contratação façam escolhas binárias claras, mas não permite que eles reflitam criticamente sobre se a definição da “barreira” pode ser melhorada para sua empresa.



E ajuda a entender por que o Cacto Recursivo gasta tanto tempo treinando. Isso ocorre em parte porque sua empresa atual não está desenvolvendo suas habilidades. Ele se prepara para uma miríade de possíveis perguntas e entrevistadores que pode enfrentar porque os critérios de recrutamento variam amplamente. Ele explora temas que não necessariamente serão utilizados no seu dia a dia - tudo para passar por quem é considerado "inteligente".



Este é o sistema atual que teve um impacto significativo em sua vida pessoal.

“Minha esposa disse mais de uma vez que sente minha falta. Tenho uma vida agitada e feliz, mas sinto a necessidade de me preparar de cabeça por vários meses para ser competitivo nas entrevistas. Nenhuma mãe solteira pode se preparar assim. ”



- Cacto recursivo

Isso afeta seu trabalho atual e seus colegas.

“O processo exige muito esforço, então não consigo mais trabalhar 100%. Eu gostaria de poder fazer melhor, mas eu não posso mesmo tempo cuidar do meu futuro, praticando algoritmos de quatro horas por dia, e fazer bem o meu trabalho.



Esta não é uma sensação muito agradável. Gosto dos meus colegas. Eu me sinto responsável. Eu sei que não serei demitido, mas entendo que eles têm uma carga adicional "



- Cacto Recursivo

É útil lembrar que todas essas micro-decisões sobre falsos positivos, estrutura de entrevistas, quebra-cabeças, critérios de recrutamento e desenvolvimento somam um sistema que, em última análise, afeta a vida pessoal das pessoas. Não só os próprios candidatos, mas também todas as pessoas que os rodeiam.



O recrutamento de pessoal está longe de ser um problema resolvido. Mesmo se de alguma forma o resolvermos, não está claro se poderemos eliminar toda essa incerteza. Afinal, é muito difícil prever o resultado futuro do trabalho de uma pessoa depois de passar uma ou duas horas com ela em um ambiente de trabalho artificial. Embora devamos definitivamente minimizar a incerteza, é útil aceitá-la como uma parte natural do processo.



O sistema pode ser melhorado. Isso requer não apenas apresentar novas ideias, mas também revisitar as ideias e suposições feitas décadas atrás. Você precisa levar em conta o trabalho anterior e seguir em frente, e não se apegar a ele.



Estamos confiantes de que todos na indústria de TI podem contribuir - e melhorar o sistema de contratação de TI. Sabemos que você pode fazer isso, apenas porque é inteligente.

---

^[1]Existe algum potencial de parcialidade, especialmente no que diz respeito ao tempo que os candidatos escolhem para treinar. Uma análise superficial mostra que a conexão não é tão significativa, mas estamos estudando esse assunto (poderemos escrever sobre esse assunto em um blog no futuro). Você também pode escolher entre a entrevista algorítmica tradicional e a entrevista de design do sistema no site, mas a grande maioria escolhe a tradicional. As taxas de aprovação apresentadas estão de acordo com as entrevistas tradicionais. [voltar]

^[2]Você pode estar se perguntando sobre o nível relativo de candidatos em entrevistar.io. Embora o verdadeiro nível seja difícil de determinar (que é o tema principal deste artigo), nossos entrevistadores profissionais dizem que o nível médio de candidatos para entrevistar.io corresponde ao nível que eles encontram durante as entrevistas em suas próprias empresas, especialmente durante a triagem por telefone. [voltar]

^[3]Isso inclui apenas os candidatos que atendem aos nossos padrões de recrutamento interno e que vieram para uma entrevista em nosso escritório. O gráfico não reflete toda a população de candidatos entrevistados. [voltar]

^[4]Você deve se lembrar que antes tínhamos um algoritmo que ajustava as estatísticas com base no rigor dos entrevistadores. Após um exame mais aprofundado, descobrimos que este algoritmo introduz variação nas pontuações dos candidatos de uma forma inesperada. Portanto, agora não confiamos tanto nele. [voltar]

^[5]Os disparos às 100 e 200 horas foram devidos a erro de redação e aos valores máximos da pesquisa. As três perguntas a seguir foram feitas: 1) Durante sua última procura de emprego, quantas horas você gastou se preparando para a entrevista? 2) Quantas horas você gastou se preparando para a entrevista antes de se registrar para entrevistar.io? 3) Quantas horas você gastou se preparando para a entrevista depois de se registrar para entrevistar.io (sem incluir o tempo no site)? As respostas para cada pergunta foram limitadas a um máximo de 100 horas, mas para muitos entrevistados, a soma das respostas 2 e 3 excedeu 100. A mediana das respostas da pergunta 1 foi 94, que é quase idêntica à mediana da soma das respostas 2 e 3, então usamos essa soma para uma distribuição maior que 100 horas. Lições principais: defina o valor máximo mais alto do que o esperadoe verifique sua pesquisa.[voltar]

^[6]Acho um pouco difícil avaliar este estudo porque não sou psicólogo e métodos como a meta-análise são um pouco estranhos para mim, embora sejam baseados em ferramentas estatísticas familiares. A questão não é se essas ferramentas estão corretas, mas o quão difícil é raciocinar sobre os dados da pesquisa. Como o código espaguete, a validação de conjuntos de dados subjacentes se espalha por décadas de trabalho científico anterior, tornando a análise difícil. Essa é provavelmente a natureza da psicologia, onde é mais difícil obter dados úteis quando comparados com as ciências naturais. Além disso, surgem outras questões sobre a metodologia, que são discutidas em mais detalhes neste artigo . [Retorna]