Inferência estatística na especificação incorreta do modelo

Eu tenho uma pergunta metodológica geral. Pode ter sido respondido antes, mas não consigo localizar o encadeamento relevante. Agradeço os ponteiros para possíveis duplicatas.

( Aqui está uma excelente, mas sem resposta. Isso também é semelhante em espírito, mesmo com uma resposta, mas a última é muito específica da minha perspectiva. Isso também é próximo, descoberto após a publicação da pergunta.)

O tema é: como fazer inferência estatística válida quando o modelo formulado antes de ver os dados falha ao descrever adequadamente o processo de geração de dados . A questão é muito geral, mas vou oferecer um exemplo específico para ilustrar o ponto. No entanto, espero que as respostas se concentrem na questão metodológica geral, em vez de detalhar os detalhes do exemplo em particular.

Considere um exemplo concreto: em uma configuração de série temporal, presumo que o processo de geração de dados seja com . Eu pretendo testar a hipótese do assunto que . Eu apresento isso em termos do modelo para obter uma contrapartida estatística viável da minha hipótese no assunto, e este é Por enquanto, tudo bem. Mas quando observo os dados, descubro que o modelo não os descreve adequadamente. Digamos que haja uma tendência linear, de modo que o verdadeiro processo de geração de dados seja com

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

Como posso fazer inferência estatística válida na minha hipótese de assunto ? $\frac{dy}{dx}=1$

Se eu usar o modelo original, suas suposições serão violadas e o estimador de não tem a boa distribuição que teria. Portanto, não posso testar a hipótese usando o teste . $\beta_1$ $t$
Se, tendo visto os dados, eu alterno do modelo para e altero minha hipótese estatística de para , as suposições do modelo são satisfeitas e eu obtenha um estimador bem-comportado de e pode testar sem dificuldade usando o teste . No entanto, a mudança de para $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ é informado pelo conjunto de dados em que desejo testar a hipótese. Isso condiciona a distribuição do estimador (e, portanto, também a inferência) à mudança no modelo subjacente, devido aos dados observados. Claramente, a introdução de tal condicionamento não é satisfatória.

Existe uma boa saída? (Se não for freqüentador, então talvez alguma alternativa bayesiana?)

modeling inference misspecification Richard Hardy
fonte

Seu desconforto é endêmico das abordagens clássicas para a concessão de doutorados: especificação cuidadosa de hipóteses, seguida de um teste empírico e terminando com inferência causal descritiva. Neste mundo, a resposta curta é "não", não há saída. No entanto, o mundo está se afastando desse paradigma estrito. Por exemplo, em um artigo da AER no ano passado intitulado Problemas de Política de Previsão de Kleinberg et al., Eles defendem a mineração e a previsão de dados como ferramentas úteis na elaboração de políticas econômicas, citando casos em que "a inferência causal não é central, ou mesmo necessário." Vale a pena dar uma olhada.

Mike Hunter

Na minha opinião, a resposta direta teria que ser que não há saída. Caso contrário, você seria culpado do pior tipo de mineração de dados - reformulando as hipóteses para ajustá-los - uma ofensa capital em um mundo estrito e paradigmático.

Mike Hunter

Se bem entendi, você está coletando dados, selecionando um modelo e testando hipóteses. Posso estar errado, mas parece-me que o paradigma de inferência seletiva investigado por Taylor e Tibshirani (entre outros) pode estar relacionado ao seu problema. Caso contrário, comentários, respostas e respostas vinculadas a esta pergunta podem ser interessantes.

DeltaIV 14/03

@ DeltaIV, ou seja, ao fazer inferência, não estou interessado nos parâmetros menos falsos como na consistência P, mas sim nos verdadeiros (a verdadeira derivada parcial de wrt ).

y

$y$

x

$x$

Richard Hardy #

@RichardHardy, claro, apesar de ser um estudante de estatística, eu realmente não acredito mais em inferência. É um castelo de cartas tão frágil que não está claro se é significativo, exceto em circunstâncias muito rigorosas e controladas. O engraçado é que todo mundo sabe disso, mas ninguém se importa.

hejseb

Respostas:

A saída está literalmente fora do teste de amostra, é verdade. Não aquele em que você divide a amostra em treinamento e se mantém como na validação cruzada, mas a verdadeira previsão. Isso funciona muito bem nas ciências naturais. Na verdade, é a única maneira que funciona. Como você constrói uma teoria em alguns dados, espera-se que você faça uma previsão de algo que ainda não foi observado. Obviamente, isso não funciona na maioria das ciências sociais (assim chamadas), como a economia.

Na indústria, isso funciona como nas ciências. Por exemplo, se o algoritmo de negociação não funcionar, você acabará perdendo dinheiro e depois o abandonará. A validação cruzada e os conjuntos de dados de treinamento são amplamente utilizados no desenvolvimento e na decisão de implantar o algoritmo, mas após a produção, tudo se resume a ganhar dinheiro ou perder. Teste simples fora da amostra.

Aksakal
fonte

Isso ajuda a estimar ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

Richard Hardy

@ Richardhardard, sim, você testa a mesma hipótese nos novos dados. Se isso acontecer, então você é bom. Se seu modelo for mal especificado, ele eventualmente falhará, quero dizer outros diagnósticos também. Você deve ver que o modelo não está funcionando com novos dados.

Aksakal

OK, parece a boa e antiga receita de dividir a amostra em uma subamostra para construção de modelo e outra para teste de hipóteses. Eu deveria ter incluído essa consideração no OP. De qualquer forma, isso parece uma boa estratégia. O problema com a macroeconomia, por exemplo, seria que o mesmo modelo quase nunca encaixaria bem os dados não vistos (como o processo de geração de dados está mudando ao longo do tempo), de modo que o mesmo problema com o qual começamos persistiria. Mas esse é um exemplo em que basicamente qualquer método falha, por isso não é uma crítica justa.

Richard Hardy

Enquanto isso, em microeconomia em configurações de dados transversais, poderia funcionar. +1 por enquanto. Por outro lado, depois que um modelo estiver adequado a todos os dados disponíveis, essa solução não funcionará. Acho que era isso que eu pensava quando escrevi a pergunta e estou procurando respostas que abordem a questão do título: inferência de um modelo não especificado.

Richard Hardy

Eu simpatizo com a sua opinião. Mas como a amostra dividida em "antigo" e "novo" é equivalente a coletar novos dados, não entendo onde você vê uma grande diferença entre os dois.

Richard Hardy

Você pode definir um "procedimento combinado" e investigar suas características. Digamos que você comece de um modelo simples e permita que um, dois ou três modelos mais complexos (ou não paramétricos) sejam ajustados caso o modelo simples não se ajuste. Você precisa especificar uma regra formal de acordo com a qual decida não ajustar o modelo simples, mas um dos outros (e qual). Você também precisa ter testes para aplicar sua hipótese de interesse em todos os modelos envolvidos (paramétricos ou não paramétricos).

Com essa configuração, você pode simular as características, ou seja, com que porcentagem sua hipótese nula é finalmente rejeitada, caso seja verdadeira e com vários desvios de interesse. Além disso, você pode simular a partir de todos os modelos envolvidos e examinar itens como nível condicional e potência condicional, considerando que os dados vieram do modelo X, Y ou Z ou que o procedimento de teste de especificação incorreta do modelo selecionou o modelo X, Y ou Z.

Você pode achar que a seleção de modelos não causa muito mal, no sentido de que o nível atingido ainda está muito próximo do nível que você procurava, e o poder está bom se não for excelente. Ou você pode achar que a seleção de modelo dependente de dados realmente estraga tudo; isso dependerá dos detalhes (se o seu procedimento de seleção de modelo for muito confiável, as chances são de nível e a potência não será afetada com muita força).

Agora, isso não é o mesmo que especificar um modelo e, em seguida, analisar os dados e decidir "ah, eu preciso de outro", mas provavelmente é o mais próximo possível de investigar quais seriam as características de uma abordagem desse tipo. Não é trivial porque você precisa fazer várias escolhas para fazer isso acontecer.

Observação geral: acho enganoso classificar a metodologia estatística aplicada binariamente em "válida" e "inválida". Nada é 100% válido porque as premissas do modelo nunca se mantêm precisamente na prática. Por outro lado, embora você possa encontrar razões válidas (!) Para chamar algo de "inválido", se alguém investigar as características da abordagem supostamente inválida em profundidade, poderá descobrir que ainda funciona razoavelmente bem.

Lewian
fonte

Eu me pergunto se isso é realista na prática, além do mais simples dos problemas. O custo computacional das simulações excederia rapidamente nossas capacidades na maioria dos casos, você não acha? Seu comentário sobre validade é obviamente lógico. No entanto, sem essa noção simples, mas útil (ajudando nosso raciocínio), estaríamos ainda mais perdidos do que estamos com ela - essa é a minha perspectiva.

Richard Hardy

Não estou dizendo que isso deva ser feito toda vez que uma situação desse tipo for encontrada na prática. É um projeto de pesquisa; no entanto, uma mensagem de retirada é que, na minha opinião, pelas razões expostas, a seleção de modelo dependente de dados não invalida exatamente a inferência que teria sido válida de outra forma. Tais procedimentos combinados podem funcionar bastante bem em muitas situações, embora isso não seja atualmente investigado adequadamente.

Lewian

Eu acho que se isso fosse viável, já estaria em uso. O principal problema pode ser inviável devido à grande quantidade de opções de modelagem que dependem dos dados (de volta ao meu primeiro comentário). Ou você não vê um problema lá?

Richard Hardy

Há uma simulação ímpar na literatura que explora a seleção de teste / modelo de especificação errônea primeiro e, em seguida, a inferência paramétrica condicionada ao resultado disso. Os resultados são variados, tanto quanto eu sei. Um exemplo "clássico" está aqui: tandfonline.com/doi/abs/10.1080/…

Lewian

Mas você está certo; modelar o processo completo com todos os tipos de opções de modelagem possíveis exigiria muitas opções. Ainda acho que seria um projeto que vale a pena, embora não seja algo que se possa exigir sempre que os modelos forem selecionados a partir dos mesmos dados nos quais são ajustados. Aris Spanos, a propósito, argumenta contra a idéia de que testes de especificação incorreta ou verificação de modelo nos dados invalidam a inferência. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

Lewian