O uso de métodos relacionados à transformada discreta de Fourier em negócios tem potencial significativo. Um fator limitante na realização desse potencial é uma alta barreira metodológica de entrada.
O foco principal do trabalho:
- requisitos de dados para a aproximação correta de Fourier das séries temporais;
- a validade das expectativas das previsões;
- um pequeno conjunto de harmônicos é suficiente para aproximar uma série complexa;
- o que é um evento de Fourier;
- como e como os eventos de Fourier podem ajudar os negócios;
- Eventos de Fourier na análise de fluxo de caixa.
1. Previsão
A tarefa foi definida por uma grande transportadora marítima e envolveu as previsões de preços de frete por tipo de navio. A operadora tinha uma série de assinaturas de previsões de empresas analíticas internacionais, mas a qualidade das previsões não lhe agradava. As empresas analistas usavam regressão múltipla, tinham estatísticas de longo prazo e aumentavam continuamente a dimensão de seus modelos. Ao mesmo tempo, eles próprios admitiram uma porcentagem bastante grande de erros em suas previsões.
O critério de avaliação do sucesso da nova previsão foi o seguinte: um fragmento de dados históricos é dado, uma previsão é formada e a precisão da previsão do futuro já realizado é calculada. A eventualidade tornou-se imediatamente um problema metodológico claro. Se os Estados Unidos não venderam petróleo até 2017, e então imediatamente se tornaram um líder, como isso pode afetar as conclusões com base em dados históricos? Outros eventos: guerras, crises, - do ponto de vista da previsão, são essencialmente os mesmos eventos, mas a situação com as exportações de petróleo dos Estados Unidos é extremamente indicativa para descartar o fator evento na metodologia de previsão (pesos produzem linearidade e eventos produzem lacuna e singularidade) ...
Muitos métodos foram tentados. O mais interessante foi a aproximação da série de Fourier (aproximação de Fourier) das séries temporais e seu estudo do ponto de vista da previsão de negócios. Ao mesmo tempo, havia um problema técnico - o tempo todo havia uma mudança na aproximação da série original.
2. Formação de dados para transformada de Fourier
Explicações preliminares necessárias.
A transformada discreta de Fourier é aplicada a vetores que consistem em valores reais. Se uma série temporal for vista como um conjunto de pontos <time-value>, a transformação de Fourier será aplicada a um vetor de uma sequência de valores de série temporal.
Existem sutilezas no uso da transformada de Fourier, que estão associadas ao número de valores e às características das lacunas entre eles. Por exemplo, a série temporal original pode ter intervalos irregulares ou valores ausentes para certas posições de tempo (fins de semana, feriados).
Em muitos casos, o procedimento a seguir é útil. A série de tempo original é primeiro interpolada e, em seguida, o número necessário de valores nas posições de tempo desejadas é obtido da função interpolada. Assim, a série temporal original é substituída por uma série regular mais frequente com o número necessário de valores interpolados.
A seguir está a abordagem descrita por A. Dieckmann.
Transformada discreta de Fourier.
Um vetor de valores reais u = u [r] é transformado em um vetor de valores complexos f [s] usando a seguinte fórmula (existem várias fórmulas para F [s, r] que fornecem resultados equivalentes): f [s] = u [r] * F [s, r], onde
, e os valores de s, r variam de 1 a n.
Dados necessários para a obtenção do espectro de Fourier.
O vetor resultante f [s] pode ser interpretado como um espectro de Fourier, pois contém informações sobre as amplitudes, frequências e fases dos harmônicos fundamentais.
Além disso, existem requisitos para u [r]. Os valores de u [r] devem ser especificados nos pontos de divisão do intervalo quando o intervalo tem o comprimento de um número inteiro de etapas do mesmo tamanho. O valor de r corresponde à posição (índice) no vetor. Em geral, r define uma posição no tempo (série temporal) ou no espaço (em outras dimensões).
Suponha que o vetor u [r] deva ser definido no intervalo [tMin, tMax], cujo comprimento é tt = (tMax-tMin). Seja delta = tt / n corresponder à distância entre pontos adjacentes do intervalo no qual u [r] é calculado.
Vamos considerar que processo deve ocorrer tecnicamente.
O exponencial complexo na matriz F [s, r] pode ser interpretado como uma sonda vetorial (depende de s) que gira no plano complexo com uma frequência (s-1) / tt e se move sequencialmente (no tempo ou espaço) ao longo de (r- 1) * tt / n. Durante a multiplicação da matriz, o vetor sonda correspondente a r é multiplicado pelo u [r] específico, e a soma do vetor é calculada sobre todo r, dando o número complexo f (s). E assim é repetido para todos os s de 1 a n. Cada f [s] indica a presença ou ausência de um componente oscilando na frequência associada a s.
Como u [r] deve ser formado?
Nesse ponto, a série temporal original deve ser interpolada e mapeada para o intervalo selecionado, um múltiplo de um número inteiro de etapas. Um número suficiente de pontos para uma aproximação precisa é escolhido empiricamente.
Nesta fase, o principal é quantos pontos levar e quais. O valor de n é fixado em delta. Nesse caso, temos um conjunto de n + 1 pontos para todos os valores da partição do intervalo.
Em u = u [r] é necessário incluir pontos apenas do primeiro ao penúltimo, mas não o último: apenas n.
Caso contrário, a aproximação de Fourier será ligeiramente deslocada em relação à série temporal original.
3. Interpretação visual das transformadas de Fourier
Para o uso generalizado da transformada de Fourier na prática, é necessário sentir o que ela oferece, além de fórmulas complexas, e formar corretamente os dados iniciais.
Considere como a transformada de Fourier atua em uma função senoidal. Para isso, é útil combinar em um gráfico o comportamento da função e as características que a transformada de Fourier dá em pontos específicos e, em geral, na função em estudo.
Considere a função 1 + Sin [2πx] no segmento [0, π].
A amplitude desta função corresponde a 1Hz, pois ela repete seu movimento após 2 π.
Seja n = 20, então ao dividir o intervalo em partes iguais, você pode obter 21 valores nos pontos correspondentes da divisão. Mas, seguindo a explicação acima, vamos operar com apenas 20 pontos - sem o último (só preto na foto acima).
O parâmetro r avança ao longo da abscissa e possui 20 valores. O parâmetro s define a velocidade em (s-1) Hz.
As figuras a seguir mostram a rotação do vetor da sonda. Cada sonda vetorial começa no ponto u [r], para o qual o valor F [s, r] é calculado. Os parâmetros do final do vetor da sonda são obtidos da seguinte forma: a abscissa é o produto u [r] * Re [F [s, r]], a ordenada é u [r] * Im [F [s, r]].
Para maior clareza, uma paleta de vetores de sonda móveis do início ao fim foi selecionada. Começa do marrom, depois do verde ao azul:
As figuras abaixo mostram a rotação do vetor de sonda reduzido ao ponto no gráfico para o qual a transformada de Fourier foi calculada, bem como o caminho (soma do vetor) quando os vetores de sonda adjacentes são diretamente adjacentes.
O eixo das ordenadas exibe a amplitude da função original e a parte imaginária da transformada de Fourier.
O eixo da abscissa é a posição do ponto nos intervalos de tempo da função original e a parte real da transformada de Fourier.
A soma dos vetores mostra a configuração do movimento dos vetores do apalpador. O ponto preto denota o início e o fim do movimento (outro ponto preto se não coincidirem). Para s = 3, o início e o fim são iguais. Para s = 1 e s = 2, o início e o fim não correspondem.
As coordenadas iniciais e finais são mostradas separadamente, bem como os valores arredondados (muito próximos de zero).
O valor s caracteriza a frequência testada.
Existe simetria no comportamento.
O centro é s = 11.
Para um exemplo de simetria, vamos mostrar os números para s = 19 es = 20, que são simétricos para s = 3 es = 2.
O que acontece se você tirar não 20 pontos, mas 21, incluindo o último. Exemplo para s = 3. Mostra a presença de um componente que oscila com uma frequência associada a s = 3, enquanto não existem tais oscilações na função original. Há apenas flutuação de 1 Hz na função original.
Todos os gráficos acima têm a intenção de mostrar a importância de dividir corretamente os intervalos e os dados de amostragem para esses intervalos sem o último valor. Somente neste caso haverá uma correta aproximação de Fourier da série original e a possibilidade de sua continuação periódica.
O restante dos aspectos de aproximação de Fourier são apresentados na literatura de referência de forma bastante completa.
4. Análise de séries de tempo real
Voltemos à tarefa que foi descrita no início.
A seguir está uma aproximação de Fourier de dados históricos sobre preços de frete para frete.
Em cada imagem no primeiro bloco à esquerda, há um gráfico que mostra em que nível de valores de amplitude (linha pontilhada vermelha) os harmônicos que fazem uma contribuição insignificante são eliminados. O primeiro bloco à direita mostra as características dos primeiros 10 harmônicos da série de aproximação em amplitude decrescente.
O segundo bloco consiste em gráficos com o aumento do número de harmônicos (na ordem da maior amplitude) usados para aproximação. O resultado da aproximação é uma linha pontilhada vermelha.
Para uma determinada série temporal, 5 harmônicos são suficientes.
Para esta série temporal, podemos nos restringir a 5 harmônicos, se não considerarmos dados muito antigos muito importantes.
Esta série temporal é bastante aproximada pela oitava harmônica.
Neste caso, é desejável levar em consideração 11 harmônicos.
Assim, os dados históricos em um campo de atividade bastante dinâmico (preços de navios para transporte marítimo) podem ser bem aproximados por uma média de 10 harmônicos.
Em geral, o problema da previsão, quando o futuro já existente é reconstruído a partir de um fragmento de dados históricos com algum erro, pode ser considerado resolvido se os (alguns) harmônicos fundamentais da aproximação forem conhecidos.
Ao mesmo tempo, é claro que a previsão para o futuro que a aproximação de Fourier dará estará na verdade completamente errada: isso fica claro devido ao mecanismo transparente de construção da aproximação de Fourier.
Com a regressão múltipla, quando falamos em 70% da confiabilidade da previsão, tudo é igual, mas o mecanismo de construção opaco nos permite ter uma esperança irracional de que, no geral (70%), a previsão estará correta.
5. Eventos de Fourier
Os eventos de Fourier surgem com o pressuposto de que ocorrem processos cíclicos básicos (harmônicos), os quais são sobrepostos e combinados com eventos importantes, também representados por harmônicos.
Assim, todos os harmônicos da aproximação de Fourier são divididos em duas partes: os harmônicos básicos do processo e os harmônicos dos eventos. É importante lembrar que a soma dos harmônicos básicos e do evento fornece uma aproximação adequada da série original.
Nesse caso, para uma boa previsão, basta conhecer os ciclos básicos e ter uma lista de eventos e circunstâncias, segundo a qual uma previsão móvel deve ser formada com base nos eventos esperados ou já ocorridos ou em seus encadeamentos. Mas esta é uma tecnologia de previsão um pouco diferente e não tradicional.
Os dois métodos a seguir para corrigir eventos de Fourier são metodologicamente justificados.
O primeiro método está associado à subtração da série temporal completa de todas as combinações possíveis de harmônicos que o aproximam e à comparação de eventos conhecidos aos extremos resultantes ou desvios estáveis. Como quase todos os setores têm empresas analíticas que coletam estatísticas e revisam tendências (em alguns setores, até mesmo semanalmente), encontrar eventos importantes para uma data não é um problema suficientemente difícil.
O segundo, vamos chamá-lo de método de divisão, está associado à divisão da série temporal completa em períodos de diferentes comprimentos e à busca de períodos “semelhantes” por harmônicos comparáveis. Com a abordagem descrita para a aproximação de Fourier, tal tarefa pode ser totalmente automatizada.
O método de divisão é qualitativamente diferente do primeiro método, uma vez que existe um método não linear para toda a divisão, a operação inicial de isolar sua tendência (regressão linear) de cada componente da divisão selecionada.
6. Análise de dados para preços de petróleo por meio de eventos de Fourier
Por exemplo, considere os preços do petróleo Europe Brent Spot Price FOB. Fonte: Thomson Reuters. Administração de informações de energia dos EUA. Thomson Reuters. Os dados são diariamente em dólares americanos de 20 de maio de 1987 a 10 de novembro de 2020.
Série temporal original.
Selecionamos uma tendência - regressão linear.
Limpamos os dados iniciais da tendência (uma tendência linear sempre pode ser restaurada).
Gráfico azul - dados brutos. O preto é uma tendência. Laranja - dados normalizados (sem tendência).
Encontre uma aproximação.
Até agora, nem tudo está muito bom: os 8º e 20º harmônicos para tal série não serão suficientes.
Para 30 harmônicos, o resultado é bastante aceitável.
Vamos prosseguir para o método de isolamento de eventos de Fourier. Vamos ilustrar uma das abordagens para o caso de aproximar a série original por 8 harmônicos.
Encontre todas as combinações possíveis de 8 harmônicos. Haverá 255 deles. Para cada uma das 255 combinações, calcularemos o valor absoluto da diferença de pontos entre a linha original e a estrutura (linha) gerada por uma combinação específica de harmônicos.
Para uma nova série, calculamos o máximo, o desvio padrão e a soma total dos valores (é possível que outros indicadores precisem ser calculados: média, etc.).
Nas figuras, esses indicadores são mostrados sequencialmente. Eles correspondem aos primeiros cem valores, classificados em ordem decrescente do máximo.
Vamos considerar os primeiros 60 dos 100 selecionados. E então escolheremos os (visualmente) interessantes. Os gráficos são mostrados abaixo. O número sob a imagem corresponde ao número ordinal da combinação de 255. O gráfico cinza é a linha original, a linha vermelha é da combinação de harmônicos.
O que é considerado "interessante" é uma tarefa significativa para uma empresa. Tudo o que está lá até agora é apenas uma técnica padrão.
O que aconteceu no final? Do conjunto de harmônicos que se aproximam bem da série original, selecionamos combinações que em algumas áreas correspondem muito bem à série temporal original e em outras mostram uma discrepância clara. São os últimos sites candidatos à análise dos eventos ocorridos durante este período (todos os gráficos são diários com data explícita).
Além disso, a presença de áreas muito bem adjacentes dos gráficos fornece uma base para derivar as características da "norma" para a dinâmica dos processos refletidos.
O objetivo da análise é identificar os harmônicos que correspondem aos eventos. O problema inverso é a seleção de processos cíclicos básicos.
O método de divisão é importante porque o processo representado por uma série temporal pode ser essencialmente composto e depender de eventos de ordem superior: uma crise global, etc.
7. Eventos de Fourier na análise de fluxo de caixa
O processo de análise de uma série temporal está associado à expectativa de que os processos cíclicos nela dominem. Em geral, tais expectativas podem não ser atendidas. A questão não é nem mesmo que não exista tal domínio da ciclicidade. Simplesmente devido à forma particular como a série temporal é formada, pode não ser possível identificar ciclicidade nessa série particular.
O fluxo de caixa é outra questão. Na verdade, produção e atividade comercial, a maioria dos processos são inicialmente cíclicos na forma como são formados. Desvios da norma estão associados a eventos que violam essa ciclicidade. A utilização do método do evento de Fourier na análise do fluxo de caixa permite identificar uma “norma” objetiva, bem como indicadores de desvios.
Em termos de eventos de Fourier, o problema de análise de fluxo de caixa é bem algorítmico para a aplicação de métodos de inteligência artificial e redes neurais (aprendizado de máquina).