Você tem uma visão global dessas técnicas de análise?

Atualmente, estou em um projeto em que basicamente preciso, como todos nós, entender como a saída está relacionada à entrada . A particularidade aqui é que os dados são fornecidos para mim uma peça de cada vez, portanto, desejo atualizar minha análise sempre que receber um novo . Acredito que isso seja chamado de processamento "on-line", em oposição ao processamento "em lote", onde você tem todos os dados necessários e faz seus cálculos usando todos os dados ao mesmo tempo.x ( y , x ) ( y , x $y$$x$$(y,x)$$(y,x)$

Então, procurei por ideias e finalmente cheguei à conclusão de que o mundo está dividido em três:

• A primeira parte é a terra da estatística e da econometria. As pessoas fazem OLS, GLS, variáveis ​​de instrumento, ARIMA, testes, diferença de diferenças, PCA e outros enfeites. Esse terreno é predominantemente dominado pela linearidade e faz apenas o processamento em "lote".

• A segunda parte é a ilha do aprendizado de máquina e outras palavras como inteligência artificial, aprendizado supervisionado e não supervisionado, redes neurais e SVMs. O processamento "em lote" e "on-line" são feitos aqui.

• A terceira parte é um continente inteiro que eu acabei de descobrir, principalmente povoado por engenheiros elétricos, ao que parece. Lá, as pessoas geralmente adicionam a palavra "filtro" às suas ferramentas e inventam coisas excelentes, como o algoritmo Widrow-Hoff, mínimos quadrados recursivos , o filtro Wiener , o filtro Kalman e provavelmente outras coisas que ainda não descobri. Aparentemente, eles fazem principalmente o processamento "on-line", pois ele se adapta melhor às suas necessidades.

Então, minha pergunta é: você tem uma visão global sobre tudo isso? Tenho a impressão de que essas três partes do mundo não falam muito uma com a outra. Estou errado? Existe uma grande teoria unificada do entendimento de como relaciona com ? Você conhece algum recurso onde as bases dessa teoria possam ser estabelecidas?$Y$$X$

Não tenho certeza se essa pergunta realmente faz sentido, mas estou um pouco perdido entre todas essas teorias. Imagino a resposta para a pergunta "devo usar isso ou aquilo?" seria "depende do que você deseja fazer (e dos seus dados)". No entanto, sinto que esses três mundos tentam responder à mesma pergunta ( ?) E, portanto, deve ser possível ter uma visão mais alta de tudo isso e entender profundamente o que torna cada técnica específica.$y=f(x)$

Em termos de lote versus on-line, minha experiência me diz que às vezes você combina os dois. O que quero dizer é que você permite que o trabalho pesado, ou seja, calcule coisas intensivas relacionadas à formulação de modelos, seja feito off-line e, em seguida, utilize procedimentos rápidos / adaptativos para usar esses modelos. Descobrimos que "novos dados" podem ser usados ​​de três maneiras; 1. simplesmente prever; 2. revisar parâmetros do modelo conhecido e 3. revisar parâmetros e possivelmente revisar o modelo. Essas três abordagens foram usadas para "análise ao vivo" e, é claro, o tempo para concluir uma dessas três etapas depende do software usado e do hardware disponível.

Agora, para o seu outro ponto sobre como modelar y vs x. Prefiro usar uma versão expandida da regressão (chamada Transfer Functions ou ARMAX Models) como base para extrair o impacto do histórico de y e os valores atuais e de pas de x. É essencial validar os requisitos gaussianos e incorporar como proxies necessários a estrutura determinística omitida (via Detecção de Outlier) e a estrutura estocástica omitida por meio do componente ARMA. Além disso, é necessário garantir que você não tenha usado muitos dados (testes para constância de parâmetros) e que qualquer variação não constante de erro resultante da variação determinística / estocástica do erro e / ou ligação entre o valor esperado de y e a variação do resíduos.

Agora, historicamente (ou histericamente, se desejar), diferentes silos de pensamento tentaram formular abordagens. Muitos dos modelos ad-hoc usados ​​por nossos ancestrais podem ser subconjuntos de uma função de transferência, mas existem conjuntos de dados que podem ser imaginados que desafiariam as suposições de uma função de transferência. Embora esses conjuntos de dados possam existir, não se deve presumir que eles o afetarão diretamente, a menos que a análise dê essa conclusão.

Textos como Wei (Addison-Wessley) ou Box-Jenkins devem fornecer um roteiro razoável para apoiar meus participantes e levá-lo a mais algumas "respostas"

Aliás, essa é uma ótima pergunta!

Além disso, se você tiver quaisquer dados que deseje usar, eu poderia demonstrar as várias opções descritas aqui. Publique seus dados na web para que todos possam ver e usar em seus esforços para relacionar "y x".

Breiman abordou esta questão em " Modelagem Estatística: Duas Culturas ". Uma primeira resposta a uma excelente pergunta.

Suspeito que a resposta a essa pergunta seja algo como "não há almoço grátis". Talvez a razão pela qual estatísticos, cientistas da computação e engenheiros elétricos tenham desenvolvido algoritmos diferentes seja o interesse em resolver diferentes tipos de problemas.

Eu diria que esses três grupos que você indicou são de fato apenas dois grupos:

• Estatisticas
• Aprendizado de máquina, inteligência artificial e reconhecimento de padrões.

Todos os ramos relacionados à filtragem de sinais são baseados em dois aspectos: extração de recursos (wavelets, Gabor e Fourier), que pertence ao reconhecimento de padrões e Transformação Discreta de Fourier, que pertence à matemática pesada. De fato, a filtragem digital está mais próxima do lado da engenharia, na tentativa de resolver esse problema de reconhecimento de padrões por meio de algoritmos simples e de baixo custo computacional. Mas, essencialmente, é aprendizado de máquina.

Além disso, Filtering, Wavelets, Gabor e Fourier são amplamente utilizados no processamento de imagens, sendo o núcleo da visão artificial.

Existe uma diferença entre estatística e aprendizado de máquina.