Pré-processamento de dados

Olá! Sou um desenvolvedor da Web e estou interessado em aprendizado de máquina há vários anos. Porque no meu parque de trabalho do dia-a-dia, tenho que resolver problemas menos interessantes para mim, não relacionados ao aprendizado de máquina, de vez em quando esqueço o que li ou usei. Para criar um memorando para mim mesmo, fortalecer meu conhecimento e compartilhá-lo com outras pessoas, decidi escrever esta série de artigos sobre aprendizado de máquina. Vou começar com o pré-processamento de dados.

Neste artigo, falarei sobre quais problemas acontecem com os dados, como resolvê-los, bem como os métodos mais comumente usados ​​para preparar dados antes de alimentá-los em diferentes modelos.

Pula

Considere o seguinte conjunto de dados. Sinceramente, eu a inventei e, mais adiante neste artigo, irei me referir a ela.

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

:

• "".

• .

, :

• .

, " " 1 .

• . , .

, . , , . , "" . — ( ).

, , , , . :

$$

$$IQR = Q_3 - Q_1,$$

$$$Q_1$ — — , 25% . $$$Q_3$ — — , 75% .

, , , : :

$$

$$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$$

.

— . , [0, 1]. , . , . (, , ) .

. , , . , .

$$

$$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$$

Z-. Z- :

$$

$$(-3σ[X], 3σ[X]),$$

$$$σ[X]$ — X.

Z- .

$$

$$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

, , .

, . . , , . . , .

Obrigado por ler ou navegar até aqui. Não descrevi todos os métodos de pré-processamento e este artigo dificilmente é útil para cientistas de dados profissionais. No entanto, se você é um iniciante e não sabe o que fazer com seus dados, pode retornar com segurança aqui. Boa sorte com seu aprendizado e tarefas interessantes!

Lista de fontes

Não sou cientista e este artigo não pretende ser científico. Portanto, não vou elaborar fontes de acordo com GOSTs. Por favor, me desculpe por isso.

1. Palestra do curso de Yandex e HSE "Introdução ao Aprendizado de Máquina" no cursor.
2. Padronização ou remoção média e escala de variação - documentação da biblioteca sklearn
3. Tarefas avançadas de preparação de dados de aprendizado de máquina - Microsoft