Qual é a diferença entre o modelo determinístico e estocástico?

11

Modelo linear simples:

x=αt+ϵt onde ~ iid N ( 0 , σ 2 )ϵtN(0,σ2)

com eV a r ( x ) = σ 2E(x)=αtVar(x)=σ2

AR (1):

Xt=αXt1+ϵt onde ~ iid N ( 0 , σ 2 )ϵtN(0,σ2)

com eV a r ( x ) = t σ 2E(x)=αtVar(x)=tσ2

Portanto, um modelo linear simples é considerado um modelo determinístico, enquanto um modelo AR (1) é considerado um modelo estocástico.

De acordo com um vídeo do Youtube de Ben Lambert - Deterministic vs Stochastic , o motivo do AR (1) ser chamado de modelo estocástico é porque a variação do mesmo aumenta com o tempo. Então, o recurso da variação não constante deve ser o critério para determinar o estocástico ou determinístico?

Também não acho que o modelo linear simples seja totalmente determinístico, pois temos um termo associado ao modelo. Portanto, sempre temos uma aleatoriedade em . Então, em que grau podemos dizer que um modelo é determinístico ou estocástico? xϵtx

Ken T
fonte
10
Qualquer modelo que tenha um termo de erro é estocástico. Não tem nada a ver com a variação ter que mudar com o tempo.
Michael R. Chernick
@MichaelChernick Eu não entendo. Então, por que as pessoas dizem que a regressão linear simples é um modelo determinístico?
Ken T
2
Você poderia fornecer um link para mostrar onde isso é dito e por que é dito.
Michael R. Chernick
Foi a partir das notas do meu curso de análise de séries temporais, alguns anos atrás. Talvez esteja errado.
Ken T

Respostas:

12

O vídeo está falando sobre tendências determinísticas versus estocásticas , não modelos . O destaque é muito importante. Ambos os modelos são estocásticos, no entanto, no modelo 1, a tendência é determinística.

O modelo 2 não tem uma tendência. O texto da sua pergunta está incorreto.

O modelo 2 na sua pergunta é AR (1) sem constante, enquanto no vídeo o modelo é uma caminhada aleatória (movimento browniano): Este modelo realmente tem uma tendência estocástica . É estocástico porque é apenas em média. Cada realização de um movimento browniano se desviará de por causa do termo aleatório , que é fácil de ver por meio da diferenciação: α t α t e t Δ x t = x t - x t - 1 = α + e t x t = x 0 + t t = 1 Δ x t = x 0 + α t + t t = 1 e

xt=α+xt1+et
αtαtet
Δxt=xtxt1=α+et
xt=x0+t=1tΔxt=x0+αt+t=1tet
Aksakal
fonte
+1. Mas, para ser perfeitamente claro e preciso, você pode apontar que o desvio de é devido ao termo aleatório , não apenas . e 1 + e 2 + + e t e tαte1+e2++etet
whuber
11

Como Aksakal mencionou em sua resposta, o vídeo vinculado por Ken T descreve propriedades de tendências , não diretamente de modelos, presumivelmente como parte do ensino sobre o tópico relacionado de estacionariedade de tendências e diferenças na econometria. Como na sua pergunta, você perguntou sobre modelos, aqui está o contexto dos modelos :

Um modelo ou processo é estocástico se tiver aleatoriedade. Por exemplo, se forem fornecidas as mesmas entradas (variáveis ​​independentes, pesos / parâmetros, hiperparâmetros etc.), o modelo poderá produzir saídas diferentes. Nos modelos determinísticos, a saída é totalmente especificada pelas entradas do modelo (variáveis ​​independentes, pesos / parâmetros, hiperparâmetros etc.), de modo que, dadas as mesmas entradas para o modelo, as saídas sejam idênticas. A origem do termo "estocástico" vem de processos estocásticos . Como regra geral, se um modelo tem uma variável aleatória, é estocástico. Modelos estocásticos podem até ser variáveis ​​aleatórias independentes simples.

Vamos descompactar mais algumas terminologias que ajudarão você a entender a literatura sobre modelos estatísticos (determinísticos, estocásticos ou outros ...):

Os modelos estocásticos não precisam ser dependentes do tempo ou até mesmo processos de Markov (dependentes de estados passados, por exemplo, é Markov de primeira ordem, pois depende do estado em ). O modelo linear que você colocou acima é estocástico (tem uma variável aleatória), mas não Markov (não depende de estados passados). No modelo linear colocado na pergunta, o termo erro é uma variável aleatória que supomos não correlacionada (algumas pessoas vão além, afirmando que o erro é iid), distribuídas simetricamente sobre a média (algumas pessoas vão além, afirmando que o erro é normalmente distribuído) e zero médio ( ), etc. Fazemos essas suposições para tornar o modelo linear útil para estimart - 1 μ ϵ t = 0AR(1)t1μϵt=0a variável dependente, minimizando alguma norma desse termo de erro. Essas premissas permitem derivar propriedades úteis dos estimadores e provar que certos estimadores são os melhores sob essas premissas; por exemplo, que o estimador OLS é AZUL .

Um exemplo mais simples de um modelo estocástico é o lançamento de uma moeda justa (cara ou coroa), que pode ser modelada estocástica como uma variável aleatória binária uniformemente distribuída do iid, ou um processo de Bernoulli . Você também pode considerar o lançamento da moeda como um sistema físico e criar um modelo determinístico (em um cenário idealizado) se levar em consideração o formato da moeda, o ângulo e a força do impacto, a distância da superfície etc. O último modelo (físico) do coin flip não possui variáveis ​​aleatórias (por exemplo, não considera erro de medição de nenhuma das entradas do modelo), então é determinístico.

No ensino de estatística, existe um ponto comum de confusão entre estocástica e heterocedasticidade . Por exemplo, Ken T confundiu estocticidade por heterocedasticidade (ou variabilidade na variação). Uma variável aleatória (estocástica), como a variável de saída de um processo ou em um modelo linear , é heterocedástica se sua variação for alterada em relação a alguma entrada, como o tempo ( ) em Nesse caso, de modo que diferentes grupos dentro da população tenham diferentes variações. No vídeo vinculado por Ken T (de Ben Lambert), se você pausar às 4:00 (4 minutos), poderá ver que Um R ( 1 ) ε t y t = um x t + ε t t V um r [ X t ] t V um r [ X t ]XtAR(1)ϵtyt=axt+ϵttVar[Xt]no modelo no lado direito muda com (heterocedástico) enquanto no modelo linear é constante (homoscedástico).tVar[Xt]

Além disso, às vezes há confusão entre processos estocásticos estacionários e processos estocásticos não estacionários. A estacionariedade implica que estatísticas como média ou variância não mudem ao longo do tempo no modelo. Ambos ainda são considerados modelos / processos estocásticos, desde que haja aleatoriedade envolvida. Como o colega Maroon, Matthew Gunn, menciona em sua resposta, a decomposição de Wold afirma que qualquer processo estocástico estacionário pode ser escrito como a soma de um processo determinístico e estocástico.

eu faço
fonte
2
Ótima resposta! Uma pergunta: por que você escreve "... se sua variação muda sobre algum parâmetro ...", isso não deve mudar em alguma variável (ou função de uma variável)?
Alexis
11
@ Alexis Eu estava me referindo ao tempo como parâmetro do modelo. Você está correto, essa linguagem é imprecisa. Fixo. Obrigado. :-)
ido
Como a variação da AR (1) muda?
Aksakal
@Aksakal não muda com o tempo e é , mas para if ... ( refere-se ao modelo descrito como tal por Ken T.)Var[εt]σ2Var[Xt]=tσ2Xt=α+Xt1+εtεtN(0,σ2)AR(1)
ido
Apenas mostrando o trabalho, caso seja o que você estava perguntando, Aksakal: e é constante porque é iid, ou pelo menos não correlacionado. Além disso, é óbvio, mas como é iid . Var[Xt]=Var[Xt1]+Var[εt]=i=1tVar[εi]=tσ2Var[εi]=σ2εtεtCov[Xt,Xt1]=0
Ido
3

Algumas definições informais

  • Uma série temporal determinística pode ser escrita como uma função apenas de tempo. Não há aleatoriedade. Alguns exemplos: {yt}
    • y(t)=2t
    • y(t)=et
  • Um processo estocástico {Yt} é uma série de variáveis ​​aleatórias. Lembre-se de que uma variável aleatória é uma função de um espaço de amostra para um resultado. Um processo estocástico é uma função do tempo um resultado do espaço da amostra . Exemplos:ΩY(t,ω)tωΩ

    • yt=ϵt onde (isto é, segue a distribuição normal padrão)ϵtN(0,1)
    • yt=.7yt1+ϵt

    Você também pode pensar em um processo estocástico como um caminho determinístico para cada resultado no espaço de amostra . Desenha aleatoriamente um e você obtém um caminho .ohms ω ohms Y t ( ω )ωΩωΩYt(ω)

Alguns comentários...

... razão da AR (1) ser chamada como modelo estocástico é porque a variação dela aumenta com o tempo.

Essa não é a razão! A razão pela qual um AR (1) define um processo estocástico é porque o processo é aleatório. Valores diferentes são possíveis ao mesmo tempo , portanto, o processo é estocástico.t

Também não acho que o modelo linear simples seja totalmente determinístico, pois temos um termo associado ao modelo.ϵt

O você escreveu lá não é determinístico. Se você tivesse um tempo série processar onde é um processo de ruído branco , a série cronológica seria não ser determinista. É estocástico porque existe aleatoriedade!x t = α t + ϵ t { ϵ t } { x t }xtxt=αt+ϵt{ϵt}{xt}

A série temporal seria determinística. Você pode decompor em dois componentes: um componente determinístico componente estocástico .{ x t } α t ϵ tyt=αt{xt}αtϵt

Isso leva ao Teorema de Wold que qualquer processo estacionário de covariância pode ser decomposto exclusivamente em um componente determinístico e um componente estocástico.

Matthew Gunn
fonte