Análise de RH: como aplicar o método 360 corretamente

Hoje, mais de 90 por cento das empresas Fortune 500 usam 360 avaliações de desempenho para avaliar as competências dos funcionários. Este método de análise tem ganhado popularidade, pois permite obter uma compreensão equilibrada de uma pessoa, evitando opiniões subjetivas (na medida do possível em uma área tão difícil como trabalhar com pessoas). Os resultados da pesquisa baseiam-se nas opiniões do gerente, colegas, subordinados, bem como na autoestima do funcionário. É importante entender que a análise 360 ​​é baseada nos valores e competências da empresa, ou seja, não afeta os resultados do negócio (o que e quanto foi alcançado), mas como foi feito.



O método de avaliação de desempenho 360 também é usado no X5 Retail Group. Hoje vamos falar sobre as melhores práticas do BigData X5 para análises aprofundadas de RH.







Obviamente, a precisão de tal método, embora aumente com a média de diferentes opiniões, ainda depende da abertura e entusiasmo com que as pessoas preenchem os questionários, de sua compreensão da escala, da força da equipe, do clima da equipe e muito mais.





Um aspecto importante da operação de tal sistema é a interação com o preenchimento de questionários. Se uma pessoa impensadamente dá cinco a todos, eles precisam trabalhar com ele, explicar a importância do processo. Na Rússia, existe uma certa atitude em relação às notas com base em uma escala de cinco pontos, segundo a qual um aluno C é um personagem mais ou menos, um bom aluno é normal, mas um excelente aluno é alguém que trabalha bem, isso é elogio. Os perdedores permanecem pelo segundo ano e, de fato, “não são muitos e nunca os vi em nossa empresa” - é assim que os gerentes costumam responder sobre sua equipe. “Em algum lugar”, mas não aqui. Então, se você acha que o funcionário é bom, dá quatro para ele, porque um C ... bom, tem um C, e se vocês são amigos, podem colocar cinco - não hesite. Isso leva a classificações distorcidas, a uma alta porcentagem de cinco na pesquisa,que degenera em quase dois pontos: com quatros e cincos.



O ensino de avaliadores é um processo lento e triste (bem, nem sempre triste) que inclui explicações: como o instrumento funciona; como avaliar corretamente uma pessoa, sem causar admiração após os resultados de uma única interação, ou negativa após uma carta rude; como é uma escala de notas, diferente da usada na escola; uma visão geral dos erros típicos dos revisores e assim por diante. É muito importante relaxar as pessoas, para fugir da percepção do processo como mais uma ferramenta enfadonha, para se livrar do medo de que a avaliação afete o resultado financeiro de um colega. Aqui, é fundamentalmente importante não tomar decisões de pessoal precipitadas e não ajustar o estado-maior de comando em novos trilhos.



A declaração do processo analítico do ponto de vista do funcionário de RH está bem definida no textode Avito, que recomendo fortemente a leitura. Os caras observaram um forte viés para o bem, o número de quatros ("acima das expectativas") foi semelhante ao número de triplos ("atende às expectativas"). Também encontramos argumentos sobre "o bem e o mal", embora tenhamos usado uma escala criada por nós.





Além disso, as vozes estavam divididas. Ou é uma equipe forte e amigável ou uma de duas coisas. Portanto, rapidamente lançamos uma segunda revisão em uma equipe diferente,





e nos certificamos de que, às vezes, sem um trabalho adicional de esclarecimento da escala e calibração das estimativas, é possível obter dados com alta variância. Ou seja, você precisa trabalhar com pessoas e levar em consideração a propensão orgânica para avaliações "objetivas". Ou talvez seja um desentendimento dentro da equipe, o que, de um modo geral, também é útil saber.



A pontuação 360 é geralmente usada para dois propósitos: desenvolvimento do funcionário e análise de desempenho. É importante entender que a saída pode diferir dependendo do nível de preparação e abertura daqueles que fornecem o feedback. Quando criamos uma ferramenta para capacitar o desenvolvimento do funcionário, é importante que forneçamos feedback anônimo de várias fontes para ajudá-lo a compreender seus pontos fortes e fracos, impulsionar habilidades e desenvolver qualidades que faltam. A pesquisa enfoca as competências ou comportamentos intimamente relacionados ao desempenho das responsabilidades do cargo e aos valores da organização. Quando lançamos essa ferramenta um, devemos deixar claro para os participantes que somos nãousaremos os resultados para decisões de pessoal. Nossa história será sobre como usar o método de revisão 360 para desenvolver funcionários.



Os dados de desenvolvimento de funcionários são necessários para avaliar os pontos fortes e áreas de desenvolvimento, não para tomar decisões sobre mudanças de bônus / talentos. Também é importante para uma empresa entender como os valores de uma pessoa se correlacionam com os da empresa. Os resultados 360 são sempre compartilhados com o funcionário e seu gestor.



As pontuações e os resultados da pesquisa 360 são um tesouro de dados que pode ser usado para fornecer insights e análises. Esses dados são necessários para calcular fatores de "correção" que ajudarão a obter um resultado mais confiável, bem como para agrupar funcionários por competências, habilidades, compilar um "perfil" de equipes individuais e muito mais. Todos esses cálculos exigem poder e estruturas adicionais, que decidimos mover para um microsserviço separado. Assim, separamos logicamente a parte que o usuário vê (do departamento de RH) da parte "analítica", na qual todos os cálculos analíticos adicionais são realizados. Essa abordagem permite que esses serviços sejam desenvolvidos de forma independente e permite a separação adicional de cálculos.O serviço analítico não possui banco de dados próprio, todos os cálculos são feitos com base nos dados que estão no banco de dados do serviço principal, e interage por meio da REST-API.



O serviço analítico é um servidor separado escrito em Flask, e o serviço principal é implementado em NodeJS com um banco de dados PostgreSQL. Esse esquema de interação, sem dúvida difícil, é apresentado a seguir:







Considere um exemplo de avaliação de pesquisas em outras equipes, vamos chamá-las de equipe A e equipe B. Imagine uma situação em que na equipe A os funcionários são amigáveis, tratam-se bem e, consequentemente, a pontuação média pode ser bastante alto. Em contraste com a Equipe A, suponha que a Equipe B seja composta por pessoas mais críticas que, honestamente, dão notas altas apenas aos funcionários que realmente têm um bom desempenho.



Como comparamos dois funcionários da Equipe A e da Equipe B? Para comparar funcionários de equipes diferentes, usamos uma calibração especial de "equipe" para obter a pontuação de um funcionário em relação à pontuação média de sua equipe. Você não pode passar sem uma fórmula aqui.



Suponha que temos o funcionário x com uma pontuação de 0,9 da equipe A, cuja pontuação média é 0,85, e há o funcionário y com uma pontuação de 0,65 da equipe B, cuja pontuação média é 0,5. Depois de subtrair as pontuações médias das equipes, obtemos as pontuações "calibradas" para os funcionários:







Assim, vemos que o funcionário y tem uma pontuação calibrada superior à pontuação calibrada do funcionário x.



O mesmo exemplo se aplica à normalização em equipe. Todos os funcionários são diferentes e tendem a avaliar seus colegas de maneira diferente também. Digamos que haja o funcionário x que trata todos os colegas muito bem e dá a todos uma pontuação média de 0,8, e há o funcionário y que olha mais criticamente para os outros e, em média, avalia os outros funcionários com 0,5. Quando os funcionários xey avaliam o funcionário z, eles podem classificá-lo como igualmente bom (ou igualmente ruim), mas em seu próprio sistema de valores, então, ao calcular a média da pontuação dentro da equipe, subtraímos a média de cada funcionário, que é calculada a partir de dados históricos. Suponha que funcionário x funcionário classificado como z a 0,9 e funcionário y a 0,7, a pontuação média será igual.







No entanto, se subtrairmos as classificações dos autores historicamente médios, obtemos







Após essa calibração, obtemos uma métrica que leva em consideração o “sistema de valores” de cada funcionário e, portanto, é mais “honesto”.



O importante é que na hora de definir o perfil de uma pessoa, possamos pesar as avaliações dos revisores com coeficientes diferentes. Há muitas evidências de que os gerentes tendem a ser mais precisos e imparciais ao avaliar as pessoas (na verdade, é também por isso que acabaram onde estavam), provavelmente devido a mais experiência.







Os valores padrão dos pesos são 0,25, ou seja, na versão atual não damos preferência a nenhuma das categorias de respondentes, mas como dizia uma piada antiga, “a ferramenta está aí”.



Em outras palavras, tendo coletado estimativas calibradas pelos autores, tentamos conduzi-las a um “sistema de coordenadas” global para poder extrair percepções corretas dos dados. Do contrário, devido a avaliações tendenciosas, podemos descobrir uma regularidade incrível que realmente não existe, e que bom, começaremos a desenvolver o funcionário na direção oposta ao seu perfil.



Que possamos ter sucesso e compilamos vetores que representam o perfil de competências do funcionário. Além disso, existem vetores recebidos de colegas, gestores, subordinados e autoestima. Coletamos tudo isso em um cubo (para ser mais preciso, um paralelepípedo, mas mais adiante usarei o termo cubo por analogia com cubos OLAP).







Mas agora, ao dissecar o cubo ao longo de diferentes eixos, podemos obter várias dependências analíticas. Por exemplo, vamos corrigir a competência e ver sua distribuição por toda a organização como um todo ou entre equipes dentro da organização. Ou pegue a coluna da extrema direita das classificações dos gerentes e observe internamente a variação das classificações para ver se há alguma descoberta surpreendente.



Desenvolvendo essa lógica, é possível obter diagramas de comparação dos funcionários, tanto dentro da equipe quanto pertencentes a diferentes departamentos, a chamada teia de aranha; mas é possível, no mesmo diagrama, dar os valores médios das competências em uma equipe e entender para uma pessoa específica onde ela é nocauteada em relação à equipe e em que direção; você pode pegar outra equipe em vez daquela em que o funcionário está localizado e comparar suas competências médias com as competências de uma pessoa. Ora, se você balançar, você pode comparar o time em relação a outro time, isso é o que um jogo divertido pode resultar.



Os grupos de certos tipos dentro de uma organização também podem ser analisados ​​para encontrar pessoas que talvez sejam comunicadores ou especialistas eficazes, conhecidos por sua abordagem profunda para a resolução de problemas.







Também são possíveis descobertas analiticamente mais simples, embora não menos interessantes. Em particular, uma alta variação nas avaliações de um dos funcionários quando pesquisada entre colegas pode indicar uma percepção polarizada de seus colegas.







E se a variação for alta ao comparar as avaliações dos colegas e do gerente? Os colegas e o gerente avaliam o funcionário de maneira muito diferente? Talvez aqui você possa se perguntar que tipo de líder ele é, e se ele é muito rígido com os membros de sua equipe (bem, ou vice-versa, acrítico). Ou tire uma conclusão sobre a superobjetividade fundamental dos gerentes na organização, se um padrão semelhante se repetir para outras equipes.



Um grande número de avaliações ausentes para qualquer um dos funcionários provavelmente indicará que a pessoa tem pouco envolvimento com os colegas. Ao mesmo tempo, para algumas equipes no X5, este é um modus operandi bastante, e não há nada de surpreendente aqui, mas é óbvio que para algumas equipes isso servirá como um indicador da necessidade de mudanças no processo de trabalho.



No futuro, queremos formular questões mais sutis em um formulário de pesquisa, a fim de eliminar vieses nas estimativas nesta fase, evitando o trabalho manual com os usuários do serviço e explicações infinitas sobre como escolher as estimativas certas e o que elas significam. Temos várias ideias, estão em processo de verificação e, com certeza, compartilharemos os resultados com você. Também queremos aplicar técnicas mais astutas ao cubo de dados, além de cortes ao longo dos eixos e agrupamento. Aqui, tentamos vários autoencoders, lineares e não lineares, procurando ligações cruzadas entre visualizações ao longo de diferentes eixos de coordenadas. Em geral, há muito trabalho, os dados são desobedientes e a configuração do sistema não é fácil :)



Autores:



Evgeny Makarov

Valery Babushkin

Svyatoslav Oreshin

Daniil Pavlyuchenko

Evgeny Molodkin



All Articles