Análise de vagas usando clustering

O artigo fornece um método para analisar as vagas para a consulta de pesquisa "Python" usando o modelo de agrupamento Gaussian Mixture Model (GMM). Para cada cluster selecionado, serão apresentadas as competências e faixas salariais mais solicitadas.



Qual foi o objetivo deste estudo? Eu queria saber:

• Em quais aplicativos o Python é usado
• Quais conhecimentos são necessários: bancos de dados, bibliotecas, estruturas
• Quantos especialistas em cada área são solicitados
• Que salários são oferecidos

Carregando dados

Jobs baixado do site hh.ru , usando a API: dev.hh.ru . A pedido da "Python", foram carregadas as vagas de 1994 (região de Moscou), que foram divididas em suítes de treinamento e teste, na proporção de 80% e 20% . O tamanho do conjunto de treinamento é 1595 , o tamanho do conjunto de teste é 399 . O conjunto de testes será usado apenas nas seções de habilidades Top / Antitop e Classificação de Cargos.

Sinais

Com base no texto das vagas carregadas, foram formados dois grupos dos n-gramas mais comuns de palavras:

• 2 gramas em cirílico e latim
• 1 grama em latim

Nas vagas de TI, as principais habilidades e tecnologias são geralmente escritas em inglês, portanto, o segundo grupo incluiu palavras apenas em latim.



Após a seleção de n-gramas, o primeiro grupo continha 81 gramas de 2 e o segundo 98 gramas de 1:



Decidiu-se dividir as vagas em clusters de acordo com os seguintes critérios em ordem de prioridade:



A determinação de qual grupo de critérios o n-grama pertence, e que peso atribuir a ele, ocorreu em um nível intuitivo. Aqui estão alguns exemplos:

1. À primeira vista, "Docker" pode ser atribuído ao segundo grupo de critérios com um peso de 4 a 6. Mas a menção de "Docker" na vaga provavelmente significa que a vaga será para o cargo de "engenheiro DevOps". Portanto, "Docker" caiu no primeiro grupo e recebeu um peso de 7.
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

Para os cálculos, cada vaga foi transformada em um vetor com dimensão de 179 (o número de recursos selecionados) de números inteiros de 0 a 9, onde 0 significa que o i-ésimo n-grama está ausente na vaga e os números de 1 a 9 significam a presença do i-ésimo n - gramas e seu peso. Mais adiante no texto, um ponto é entendido como uma vaga representada por tal vetor.

Exemplo:

digamos que uma lista de n-gramas contenha apenas três valores:

Não.	n	n-grama	Peso	Vagas
1	2	em python	oito	258
2	2	compreensão dos princípios	oito	221
3	1	sql	cinco	490

Depois, para uma vaga com texto.



Requisitos:

• Mais de 3 anos de experiência em desenvolvimento python .
• Bons conhecimentos de sql

o vetor é igual a [8, 0, 5].

Métricas

Para trabalhar com dados, você precisa entendê-los. No nosso caso, gostaria de ver se há algum agrupamento de pontos, que consideraremos como agrupamento. Para fazer isso, usei o algoritmo t-SNE para traduzir todos os vetores no espaço 2D. 



A essência do método é reduzir a dimensão dos dados, mantendo ao máximo as proporções das distâncias entre os pontos do conjunto. É muito difícil entender como o t-SNE funciona a partir das fórmulas. Mas gostei de um exemplo encontrado em algum lugar da Internet: digamos que temos bolas no espaço tridimensional. Conectamos cada bola com todas as outras bolas por molas invisíveis que não se cruzam de forma alguma e não interferem uma com a outra durante o cruzamento. As molas atuam em duas direções, ou seja, eles resistem tanto à distância quanto à aproximação das bolas entre si. O sistema está em um estado estável, as bolas estão paradas. Se pegarmos uma das bolas, puxá-la de volta e depois soltá-la, ela voltará ao seu estado original devido à força das molas. Em seguida, pegamos dois pratos grandes e esprememos as bolas em uma camada fina,embora não interfira com as bolas para se mover no plano entre as duas placas. As forças das molas começam a agir, as bolas se movem e eventualmente param quando as forças de todas as molas se equilibram. As molas agirão de forma que as esferas que estavam próximas uma da outra permaneçam relativamente próximas e planas. Também com bolas removidas - elas serão removidas umas das outras. Com o auxílio de molas e placas, convertemos o espaço tridimensional em bidimensional, preservando de alguma forma a distância entre os pontos!Também com bolas removidas - elas serão removidas umas das outras. Com a ajuda de molas e placas, convertemos o espaço tridimensional em bidimensional, preservando de alguma forma a distância entre os pontos!Também com bolas removidas - elas serão removidas umas das outras. Com a ajuda de molas e placas, convertemos o espaço tridimensional em bidimensional, preservando de alguma forma a distância entre os pontos!



O algoritmo t-SNE foi usado por mim apenas para visualizar um conjunto de pontos. Ele ajudou a escolher uma métrica, bem como selecionar os pesos dos recursos.



Se usarmos a métrica euclidiana que usamos em nossa vida diária, então a localização das vagas ficará assim:





A figura mostra que a maioria dos pontos estão concentrados no centro, e há pequenos ramos nas laterais. Com essa abordagem, algoritmos de agrupamento que usam as distâncias entre os pontos não produzirão nada de bom.



Existem muitas métricas (maneiras de determinar a distância entre dois pontos) que funcionarão bem com os dados que você está explorando. Escolhi a distância de Jaccard como medida , levando em consideração os pesos de n-gramas. A medida de Jaccard é fácil de entender, mas funciona bem para resolver o problema em consideração.

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

A matriz de distâncias entre todos os pares de pontos foi calculada, o tamanho da matriz é 1595 x 1595. No total, 1.271.215 distâncias entre pares únicos. A distância média acabou sendo 0,96, entre 619 659 a distância é 1 (ou seja, não há nenhuma semelhança). O gráfico a seguir mostra que, em geral, há pouca semelhança entre os empregos:





Usando a métrica Jaccard, nosso espaço agora se parece com isto:





Apareceram quatro áreas de densidade distintas e dois pequenos aglomerados de baixa densidade. Pelo menos é assim que meus olhos veem!

Clustering

O Gaussian Mixture Model (GMM) foi escolhido como o algoritmo de agrupamento . O algoritmo recebe dados como vetores como entrada, e o parâmetro n_components é o número de clusters em que o conjunto deve ser dividido. Você pode ver como o algoritmo funciona aqui (em inglês). Usei uma implementação GMM pronta da biblioteca scikit -learn: sklearn.mixture.GaussianMixture .



Observe que o GMM não usa uma métrica, mas separa os dados apenas por um conjunto de recursos e seus pesos. No artigo, a distância de Jaccard é usada para visualizar dados, calcular a compactação dos clusters (tomei a distância média entre os pontos do cluster para compactação) e determinaro ponto central do cluster (vacância típica) - o ponto com a menor distância média aos demais pontos do cluster. Muitos algoritmos de agrupamento usam exatamente a distância entre os pontos. A seção Outros métodos falará sobre outros tipos de agrupamento que são baseados em métricas e também fornecem bons resultados.



Na seção anterior, foi determinado a olho nu que provavelmente haverá seis clusters. É assim que os resultados do agrupamento são exibidos com n_components = 6:







Na figura com a saída dos clusters separadamente, os clusters são organizados em ordem decrescente do número de pontos da esquerda para a direita, de cima para baixo: o cluster 4 é o maior, o cluster 5 é o menor. A compactação de cada cluster é indicada entre colchetes.



Aparentemente, o agrupamento acabou não sendo muito bom, mesmo se considerarmos que o algoritmo t-SNE não é perfeito. Ao analisar os clusters, o resultado também não foi animador.



Para encontrar o número ideal de clusters n_components, usaremos os critérios AIC e BIC, sobre os quais você pode ler aqui . O cálculo desses critérios é incorporado ao método sklearn.mixture.GaussianMixture . É assim que o gráfico de critérios se parece:





Quando n_components = 12, o critério BIC tem o menor (melhor) valor, o critério AIC também tem um valor próximo ao mínimo (mínimo quando n_components = 23). Vamos dividir as vagas em 12 clusters:







Os clusters são agora mais compactos, tanto em aparência quanto em termos numéricos. Durante a análise manual, as vagas foram divididas em grupos de características para a compreensão de uma pessoa. A figura mostra os nomes dos clusters. Os clusters numerados 11 e 4 são marcados como <Lixeira 2>:

1. No cluster 11, todos os recursos têm aproximadamente os mesmos pesos totais.
2. O cluster 4 é dedicado a Java. No entanto, existem poucas vagas para o cargo de Desenvolvedor Java no cluster, o conhecimento de Java é muitas vezes necessário, pois "será uma vantagem adicional."

Clusters

Depois de remover dois clusters não informativos numerados 11 e 4, o resultado é 10 clusters:





Para cada cluster, existe uma tabela de recursos e 2 gramas que são mais encontrados nas vagas do cluster.



Legenda:



S - proporção de vagas em que o traço é encontrado, multiplicado pelo peso do traço

% - porcentagem de vagas em que o traço / 2 grama é encontrado Vaga

típica do cluster - vaga, com a menor distância média para outros pontos do cluster

Analista de informações

Número de empregos: 299 Trabalho



típico: 35.805.914

Desenvolvedor C ++

Número de empregos: 139 Trabalho

típico: 39.955.360

Engenheiro Linux / DevOps

Número de vagas de trabalho: 126 Trabalho

típico: 39.533.926

Desenvolvedor Python

Número de vagas de trabalho: 104 Trabalho

típico: 39.705.484

Cientista de dados

Número de empregos: 98 Trabalho

típico: 38 071 218

Desenvolvedor Frontend

Número de empregos: 97 Trabalho

típico: 39.681.044

Desenvolvedor de back-end

Número de empregos: 93 Trabalho

típico: 40.226.808

DevOps Engineer

Número de empregos: 78 Trabalho

típico: 39634258

Engenheiro de dados

Número de empregos: 77 Trabalho

típico: 40.008.757

Engenheiro de QA

Número de empregos: 56 Trabalho

típico: 39630489

Salários

Os salários são indicados apenas em 261 (22%) vagas de 1.167 nos clusters.



Ao calcular salários:

1. Se o intervalo "de ... a ..." foi especificado, o valor médio foi usado
2. Se apenas "de ..." ou apenas "para ..." foi indicado, então este valor foi tomado
3. Os cálculos usaram (ou foram dados) salário após impostos (NET)

No gráfico:

1. Os clusters são classificados em ordem decrescente do salário médio
2. Barra vertical na caixa - mediana
3. Box - intervalo [Q1, Q3], onde Q1 (25%) e Q3 (75%) são percentis. Essa. 50% dos salários caem na caixa
4. O "bigode" inclui salários na faixa [Q1 - 1,5 * IQR, Q3 + 1,5 * IQR], onde IQR = Q3 - Q1 - intervalo interquartil
5. Os pontos individuais são anomalias que não caíram no bigode. (Existem anomalias não incluídas no diagrama)

Habilidades superiores / antitop

Os gráficos foram construídos para todas as vagas de 1994 carregadas. Os salários são indicados em 443 (22%) vagas. Para o cálculo de cada recurso, foram selecionadas as vagas em que esse recurso está presente e com base nelas foi calculado o salário médio.

Classificação do trabalho

O agrupamento poderia ser muito mais fácil sem recorrer a modelos matemáticos complexos: compilar os principais cargos e dividi-los em grupos. Em seguida, analise cada grupo quanto aos melhores n-gramas e salários médios. Não há necessidade de destacar recursos e atribuir pesos a eles.



Essa abordagem funcionaria bem (até certo ponto) para uma consulta "Python". Mas para o pedido "Programador 1C" esta abordagem não funcionará, porque para programadores 1C, configurações 1C ou áreas aplicadas raramente são indicadas nos nomes das vagas. E há muitas áreas onde 1C é usado: contabilidade, cálculo de salários, cálculo de impostos, cálculo de custos em empresas industriais, contabilidade de depósito, orçamento, sistemas ERP, varejo, contabilidade gerencial, etc.



Para mim, vejo duas tarefas para a análise de vagas:

1. Entenda onde uma linguagem de programação sobre a qual conheço pouco é usada (como neste artigo).
2. Filtrar novos empregos publicados.

O agrupamento é adequado para resolver o primeiro problema, para resolver o segundo - vários classificadores, florestas aleatórias, árvores de decisão, redes neurais. No entanto, eu queria avaliar a adequação do modelo escolhido para o problema de classificação de cargos.



Se você usar o método predict () embutido no sklearn.mixture.GaussianMixture , então nada de bom acontecerá. Ele atribui a maioria das vagas a grandes clusters, e dois dos três primeiros clusters não são informativos. Usei uma abordagem diferente: 

1. Aproveitamos a vaga que queremos classificar. Nós o vetorizamos e obtemos um ponto em nosso espaço.
2. Calculamos a distância deste ponto a todos os clusters. Abaixo da distância entre um ponto e um cluster, tomei a distância média deste ponto para todos os pontos no cluster.
3. O cluster com a menor distância é a turma prevista para a vaga selecionada. A distância até o cluster indica a confiabilidade de tal previsão.
4. Para aumentar a precisão do modelo, escolhi 0,87 como a distância limite, ou seja, se a distância até o cluster mais próximo for maior que 0,87, o modelo não classifica a vaga.

Para avaliar o modelo, 30 vagas foram selecionadas aleatoriamente do conjunto de testes. Na coluna de veredicto:



N / a: o modelo não classificou o trabalho (distância> 0,87)

+: classificação correta

-: classificação incorreta  



Total: 12 vagas sem resultado, 2 vagas - classificação errada, 16 vagas - classificação correta. Completude do modelo - 60%, precisão do modelo - 89%.

Lados fracos

O primeiro problema - vamos pegar duas vagas:

Vaga 1 -

Requisitos para " Programador C ++ Líder" ":

• 5+ anos de experiência em desenvolvimento C ++.
• Conhecimento de Python será uma vantagem adicional. "

Vaga 2 -

Requisitos para " Programador Python Líder" ":

• Mais de 5 anos de experiência em desenvolvimento Python.
• Conhecimento de C ++ será uma vantagem adicional "

Do ponto de vista do modelo, essas vagas são idênticas. Tentei ajustar os pesos dos recursos pela ordem de sua ocorrência no texto. Isso não levou a nada de bom.



O segundo problema é que o GMM agrupa todos os pontos de um conjunto, como muitos algoritmos de agrupamento. Os clusters não informativos não são um problema por si só. Mas os clusters informativos também contêm outliers. No entanto, isso pode ser facilmente resolvido limpando os clusters, por exemplo, removendo os pontos mais atípicos que têm a maior distância média para o resto dos pontos do cluster.

Outros métodos

A página de comparação de cluster demonstra bem os vários algoritmos de cluster. GMM é o único que deu bons resultados.

O resto dos algoritmos não funcionou ou deu resultados muito modestos.



Daqueles implementados por mim, os bons resultados foram em dois casos:

1. Pontos com alta densidade foram selecionados em uma determinada vizinhança, localizados a uma distância distante uns dos outros. Os pontos tornaram-se os centros dos aglomerados. Então, a partir dos centros, iniciou-se o processo de formação dos agrupamentos - a junção de pontos vizinhos.
2. O agrupamento aglomerativo é uma fusão iterativa de pontos e clusters. A biblioteca scikit-learn apresenta esse tipo de agrupamento, mas não funciona bem. Em minha implementação, alterei a matriz de junção após cada iteração da mesclagem. O processo parou quando alguns parâmetros de limite foram alcançados - na verdade, os dendrogramas não ajudam a entender o processo de fusão se 1.500 elementos estão agrupados.

Conclusão

A pesquisa que fiz me deu as respostas para todas as perguntas no início do artigo. Tive experiência prática com clustering enquanto implementava variações de algoritmos conhecidos. Eu realmente espero que o artigo motive o leitor a realizar sua pesquisa analítica e, de alguma forma, ajude nesta lição emocionante.