🌱 👩🏿‍🤝‍👩🏽 🧦 Representação de Objeto para Aprendizado de Máquina Baseado em Lattice 🤳🏿 ☝🏿 🤜🏾

Este é o quarto artigo de uma série (links para o primeiro , segundo e terceiroartigos), voltado para o sistema de aprendizado de máquina baseado na teoria dos reticulados, denominado "sistema VKF". O programa usa algoritmos baseados em cadeias de Markov para gerar as causas da propriedade de destino, calculando um subconjunto aleatório de semelhanças entre alguns grupos de objetos de aprendizagem. Este artigo descreve a representação de objetos por meio de cadeias de bits para calcular as semelhanças por multiplicação bit a bit das representações correspondentes. Objetos com recursos discretos requerem alguma técnica da Análise de Conceito Formal. O caso de objetos com características contínuas usa regressão logística, dividindo a área de mudança em subintervalos usando a teoria da informação e uma representação correspondente ao casco convexo dos intervalos comparados.

tenho ideia!

1 sinais discretos

, , - . , ""/"". 'null' ( '_' ), () .

. . , .

( , ), () .

$\langle{L,\wedge,\vee}\rangle$ $G$ () $\wedge$ - $M$ () $\vee$ - . $gIm\Leftrightarrow{g\geq{m}}$ $(G,M,I)$ $L(G,M,I)$ , $\langle{L,\wedge,\vee}\rangle$ .

$x\in{L}$ $\langle{L,\wedge,\vee}\rangle$ $\vee$ -, $x\neq\emptyset$ $y,z\in{L}$ $y<x$ $z<x$ $y\vee{z}<x$ .

$x\in{L}$ $\langle{L,\wedge,\vee}\rangle$ $\wedge$ -, $x\neq\textbf{T}$ $y,z\in{L}$ $x<y$ $x<z$ $x<y\wedge{z}$ .

$\wedge$ - , , $\vee$ - , .

elementos irredutíveis

( . $(L,L,\geq)$ )

G\M	h	i	j	k
a	1	1	1	0
b	0	1	1	1
c	1	1	0	0
d	1	0	1	0
f	0	1	0	1
g	0	0	1	1

, .

, 121 , 24 !

, :

.
$\geq$ , ( $\vee$ - ).
( $\vee$ -) .
.

CPython-: 'vkfencoder' vkfencoder.XMLImport 'vkf' vkf.FCA. — : vkf.FCA MariaDB, vkfencoder.XMLImport XML .

2

. C4.5 .

, .

, , , . .

2.1

, . .

$E=G\cup{O}$ $G$ - $O$ . $[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$ $G[a,b)=\lbrace{g\in{G}: a\leq{V(g)}<b}\rbrace,$ $O[a,b)=\lbrace{g\in{O}: a\leq{V(g)}<b}\rbrace$

$E[a,b)=\lbrace{g\in{E}: a\leq{V(g)}<b}\rbrace$ .

$[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$

e n t [a, b) = - \frac{| G [a, b) |}{| E [a, b) |} \cdot \log_{2} (\frac{| G [a, b) |}{| E [a, b) |}) - \frac{| O [a, b) |}{| E [a, b) |} \cdot \log_{2} (\frac{| O [a, b) |}{| E [a, b) |})

${\rm{ent}}[a,b)=-\frac{\vert{G[a,b)}\vert}{\vert{E[a,b)}\vert}\cdot\log_{2}\left(\frac{\vert{G[a,b)}\vert}{\vert{E[a,b)}\vert}\right)-\frac{\vert{O[a,b)}\vert}{\vert{E[a,b)}\vert}\cdot\log_{2}\left(\frac{\vert{O[a,b)}\vert}{\vert{E[a,b)}\vert}\right)$

$a<r<b$ $[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$

i n f [a, r, b) = \frac{| E [a, r) |}{| E [a, b) |} \cdot e n t [a, r) + \frac{| E [r, b) |}{| E [a, b) |} \cdot e n t [r, b) .

${\rm{inf}}[a,r,b)=\frac{\vert{E[a,r)}\vert}{\vert{E[a,b)}\vert}\cdot{\rm{ent}}[a,r)+\frac{\vert{E[r,b)}\vert}{\vert{E[a,b)}\vert}\cdot{\rm{ent}}[r,b).$

— $V=r$ .

$V:G\to\textbf{R}$ $a=\min\{V\}$ $v_{0}$ , $v_{l+1}$ , $b=\max\{V\}$ . $\lbrace{v_{1}<\ldots<v_{l}}\rbrace$ .

2.2

$2l$ , $l$ — . ()

δ_{i}^{V} (g) = 1 \Leftrightarrow V (g) \geq v_{i} σ_{i}^{V} (g) = 1 \Leftrightarrow V (g) < v_{i},

$\delta_{i}^{V}(g)=1 \Leftrightarrow V(g)\geq{v_{i}} \\ \sigma_{i}^{V}(g)=1 \Leftrightarrow V(g)<v_{i},$

$1\leq{i}\leq{l}$ .

$\delta_{1}^{V}(g)\ldots\delta_{l}^{V}(g)\sigma_{1}^{V}(g)\ldots\sigma_{l}^{V}(g)$ $V$ $g\in{E}$ .

, — .

$\delta_{1}^{(1)}\ldots\delta_{l}^{(1)}\sigma_{1}^{(1)}\ldots\sigma_{l}^{(1)}$ $v_{i}\leq{V(A_{1})}<v_{j}$ $\delta_{1}^{(2)}\ldots\delta_{l}^{(2)}\sigma_{1}^{(2)}\ldots\sigma_{l}^{(2)}$ $v_{n}\leq{V(A_{2})}<v_{m}$ .

(δ_{1}^{(1)} \cdot δ_{1}^{(2)}) \dots (δ_{l}^{(1)} \cdot δ_{l}^{(2)}) (σ_{1}^{(1)} \cdot σ_{1}^{(2)}) \dots (σ_{l}^{(1)} \cdot σ_{l}^{(2)})

$(\delta_{1}^{(1)}\cdot\delta_{1}^{(2)})\ldots(\delta_{l}^{(1)}\cdot\delta_{l}^{(2)})(\sigma_{1}^{(1)}\cdot\sigma_{1}^{(2)})\ldots(\sigma_{l}^{(1)}\cdot\sigma_{l}^{(2)})$

$\min\lbrace{v_{i},v_{n}}\rbrace\leq{V((A_{1}\cup{A_{2}})'')}<\max\lbrace{v_{j},v_{m}}\rbrace$ .

, $0\ldots00\ldots0$ $\min\{V\}\leq{V((A_{1}\cup{A_{2}})'')}\leq\max\{V\}$ .

2.3

. ( 1). . , .

$p_{i_{1}}\vee\ldots\vee{p_{i_{k}}}$ $p_{i_{1}}+\ldots+{p_{i_{k}}}>\sigma$ $0<\sigma<1$ .

— $c:$ R $^{d}\to\lbrace{0,1}\rbrace$ , $\textbf{R}^{d}$ — ( $d$ ) $\lbrace{0,1}\rbrace$ — .

, $\langle{\vec{X},K}\rangle\in\text{R}^{d}\times\lbrace{0,1}\rbrace$ ,

p_{\vec{X}, K} (\vec{x}, k) = p_{\vec{X}} (\vec{x}) \cdot p_{K ∣ \vec{X}} (k ∣ \vec{x}),

$p_{\vec{X},K}(\vec{x},k)=p_{\vec{X}}(\vec{x})\cdot{p_{K\mid\vec{X}}(k\mid\vec{x})},$

$p_{\vec{X}}(\vec{x})$ — () , a $p_{K\mid\vec{X}}(k\mid\vec{x})$ — , .. $\vec{x}\in\text{R}^{d}$

p_{K ∣ \vec{X}} (k ∣ \vec{x}) = P {K = k ∣ \vec{X} = \vec{x}} .

$p_{K\mid\vec{X}}(k\mid\vec{x})=\textbf{P}\lbrace{K=k\mid\vec{X}=\vec{x}}\rbrace.$

$c:\textbf{R}^{d}\to\lbrace{0,1}\rbrace$

R (c) = P {c (\vec{X}) \neq K} .

$R(c)=\textbf{P}\left\lbrace{c(\vec{X})\neq{K}}\right\rbrace.$

$b:\textbf{R}^{d}\to\lbrace{0,1}\rbrace$ $p_{K\mid\vec{X}}(k\mid\vec{x})$

b (\vec{x}) = 1 \Leftrightarrow p_{K ∣ \vec{X}} (1 ∣ \vec{x}) > \frac{1}{2} > p_{K ∣ \vec{X}} (0 ∣ \vec{x})

$b(\vec{x})=1 \Leftrightarrow p_{K\mid\vec{X}}(1\mid\vec{x})>\frac{1}{2}>p_{K\mid\vec{X}}(0\mid\vec{x})$

$b$ :

\forall c : R^{d} \to {0, 1} [R (b) = P {b (\vec{X}) \neq K} \leq R (c)]

$\forall{c:\textbf{R}^{d}\to\lbrace{0,1}\rbrace}\left[R(b)=\textbf{P}\lbrace{b(\vec{X})\neq{K}}\rbrace\leq{R(c)}\right]$

p_{K ∣ \vec{X}} (1 ∣ \vec{x}) = \frac{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1}}{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1} + p_{\vec{X} ∣ K} (\vec{x} ∣ 0) \cdot P {K = 0}} = = \frac{1}{1 + \frac{p_{\vec{X} ∣ K} (\vec{x} ∣ 0) \cdot P {K = 0}}{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1}}} = \frac{1}{1 + \exp {- a (\vec{x})}} = σ (a (\vec{x})),

$p_{K\mid\vec{X}}(1\mid\vec{x})=\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace+p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}= \\ =\frac{1}{1+\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}}=\frac{1}{1+\exp\lbrace{-a(\vec{x})}\rbrace}=\sigma(a(\vec{x})),$

$a(\vec{x})=\log\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}$ $\sigma(y)=\frac{1}{1+\exp\lbrace{-y}\rbrace}$ — .

2.4

$\langle\vec{x}_{1},k_{1}\rangle,\dots,\langle\vec{x}_{n},k_{n}\rangle$ $t_{j}=2k_{j}-1$ .

\log {p (t_{1}, \dots, t_{n} ∣ {\vec{x}}_{1}, \dots, {\vec{x}}_{n}, \vec{w})} = - \sum_{j = 1}^{n} \log [1 + \exp {- t_{j} \sum_{i = 1}^{m} w_{i} φ_{i} ({\vec{x}}_{j})}] .

$\log\lbrace{p(t_{1},\dots,t_{n}\mid\vec{x}_{1},\ldots,\vec{x}_{n},\vec{w})}\rbrace=-\sum_{j=1}^{n}\log\left[1+\exp\lbrace{-t_{j}\sum_{i=1}^{m}w_{i}\varphi_{i}(\vec{x}_{j})}\rbrace\right].$

L (w_{1}, \dots, w_{m}) = - \sum_{j = 1}^{n} \log [1 + \exp {- t_{j} \sum_{i = 1}^{m} w_{i} φ_{i} ({\vec{x}}_{j})}] \to max

$L(w_{1},\ldots,w_{m})=-\sum_{j=1}^{n}\log\left[1+\exp\lbrace{-t_{j}\sum_{i=1}^{m}w_{i}\varphi_{i}(\vec{x}_{j})}\rbrace\right]\to\max$

{\vec{w}}_{t + 1} = {\vec{w}}_{t} - (\nabla_{{\vec{w}}^{T}} \nabla_{\vec{w}} L ({\vec{w}}_{t}))^{- 1} \cdot \nabla_{\vec{w}} L ({\vec{w}}_{t}) .

$\vec{w}_{t+1}=\vec{w}_{t}-(\nabla_{\vec{w}^{T}}\nabla_{\vec{w}}L(\vec{w}_{t}))^{-1}\cdot\nabla_{\vec{w}}L(\vec{w}_{t}).$

$s_{j}=\frac{1}{1+\exp\lbrace{t_{j}\cdot{(w^{T}\cdot\Phi(x_{j}))}}\rbrace}$

\nabla L (\vec{w}) = - Φ^{T} d i a g (t_{1}, \dots, t_{n}) \vec{s}, \nabla \nabla L (\vec{w}) = Φ^{T} R Φ,

$\nabla{L(\vec{w})}=-\Phi^{T}{\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}, \nabla\nabla{L(\vec{w})}=\Phi^{T}R\Phi,$

$R={\rm{diag}}(s_{1}(1-s_{1}), s_{2}(1-s_{2}), \ldots, s_{n}(1-s_{n}))$ —

$s_{1}(1-s_{1}), s_{2}(1-s_{2}), \ldots, s_{n}(1-s_{n})$ ${\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}$ — $t_{1}s_{1}, t_{2}s_{2}, \ldots, t_{n}s_{n}$ .

{\vec{w}}_{t + 1} = {\vec{w}}_{t} + {(Φ^{T} R Φ)}^{- 1} Φ^{T} d i a g (t) \vec{s} = (Φ^{T} R Φ)^{- 1} Φ^{T} R \vec{z},

$\vec{w}_{t+1}=\vec{w}_{t}+\left(\Phi^{T}R\Phi\right)^{-1}\Phi^{T}{\rm{diag}}(t)\vec{s}= (\Phi^{T}R\Phi)^{-1}\Phi^{T}R\vec{z},$

$\vec{z}=\Phi\vec{w}_{t}+R^{-1}{\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}$ — .

, - -

{\vec{w}}_{t + 1} = (Φ^{T} R Φ + λ \cdot I)^{- 1} \cdot (Φ^{T} R \vec{z}) .

$\vec{w}_{t+1}=(\Phi^{T}R\Phi+\lambda\cdot{I})^{-1}\cdot(\Phi^{T}R\vec{z}).$

"-" : 1 .

, . :

- $V_{k}$ ,

R^{2} = 1 - \exp {2 (L (w_{0}, \dots, w_{k - 1}) - L (w_{0}, \dots, w_{k - 1}, w_{k})) / n} \geq σ

$R^{2}=1-\exp\lbrace{2(L(w_{0},\ldots, w_{k-1})-L(w_{0},\ldots,w_{k-1},w_{k}))/n}\rbrace\geq\sigma$

$V_{k}$ ,

1 - \frac{L (w_{0}, \dots, w_{k - 1}, w_{k})}{L (w_{0}, \dots, w_{k - 1})} \geq σ

$1-\frac{L(w_{0},\ldots,w_{k-1},w_{k})}{L(w_{0},\ldots,w_{k-1})}\geq\sigma$

"-" Wine Quality ( . ). . ( >7), .

( 2.3) "" "". ( ) , 0 1. " " "" .

Mas a situação com o par ("pH", "álcool") era radicalmente diferente. O peso do "álcool" foi positivo, enquanto o peso do "pH" foi negativo. Mas com a ajuda de uma transformação lógica óbvia, obtivemos a implicação ("pH" $\Rightarrow$ "álcool").

O autor gostaria de agradecer a seus colegas e alunos pelo apoio e incentivos.

Representação de Objeto para Aprendizado de Máquina Baseado em Lattice

1 sinais discretos

2

2.1

2.2

2.3

2.4

More articles: