Como avaliar a qualidade do ajuste de um modelo não linear específico? [fechadas]

10

Eu tenho um modelo não linear , onde é o cdf da distribuição normal padrão ef é não-linear (veja abaixo). Quero testar a qualidade do ajuste desse modelo com o parâmetro para meus dados , depois de usar a estimativa de probabilidade máxima para encontrar . O que seria um teste apropriado? Eu gostaria de usar este teste para rotular um ajuste inadequado como ruim e determinar se mais dados devem ser coletados.Φ a ( x 1 , y 1 ) , ( x 2 , y 2 ) , , ( x n , y n ) ay=Φ(f(x,a))+εΦa(x1,y1),(x2,y2),,(xn,yn)a

Eu examinei o uso de desvio, que compara esse modelo com o modelo saturado, com seu teste correspondente de qualidade de ajuste usando a . Isso seria apropriado? A maior parte do que li sobre desvio aplica-o aos GLMs, o que não é o que tenho. Se o teste de desvio é apropriado, que suposições precisam ser mantidas para validar o teste?χn12

Atualização: para , caso isso ajude. x>1,a>0f=x1ax2+1x>1,a>0

pilha inadequada
fonte
11
A resposta depende do objetivo da análise e do modelo de probabilidade subjacente que você usou; não existe uma resposta matemática única ou melhor. Por exemplo, mediríamos a qualidade do ajuste de maneira diferente para um modelo da forma que para uma forma (com erros de ). y = Φ ( f ( x , a ) ) + ε εy=Φ(f(x,a)+ε)y=Φ(f(x,a))+εε
whuber
Obrigado. Eu esclareci minha pergunta. Estou ciente de que não há melhor resposta, no entanto, eu ainda gostaria de saber se o desvio é apropriado para testar a qualidade do ajuste aqui e, se não, qual é outro teste que seria apropriado para marcar um ajuste como muito ruim e dizer que mais dados precisam ser coletados (supondo que o modelo esteja correto) ou dizer que o modelo não descreve os dados.
spadequack
11
Sua variável de destino é ou é contínua? Se o primeiro, você pode enquadrar o modelo como vez de ter o termo de erro aditivo e comparar o previsto com e reais para obter as taxas de verdadeiro e falso positivo, ou compare com um modelo de linha de base em que , ou desvio, ou várias outras alternativas. Nesse último caso, qual é a distribuição que você está assumindo para o resíduo? p ( y = 1 ) = Φ ( f ( x , a ) ) y = 0 y = 1 p ( y = 1 ) = ˉ yy0,1p(y=1)=Φ(f(x,a))y=0y=1p(y=1)=y¯
jbowman
11
A votação foi encerrada porque o pedido de esclarecimento ficou sem resposta.
whuber

Respostas:

1

Use o pacote "npcmstest" na biblioteca "NP" se você estiver usando a plataforma R. Aviso: A função pode levar alguns minutos para avaliar seu modelo.

Você também pode considerar uma comparação teórica da informação da distribuição de resposta e da distribuição preditiva (isto é, divergência de KL, entropia cruzada etc.)

Ram Ahluwalia
fonte
Parece que o método requer um modelo de um lmou de outro glm. Como isso funcionaria para um modelo não linear? (Sim, estou usando R.) Adicionei o que é à minha pergunta, caso isso ajude. f
spadequack
@ você está usando gamou algo parecido ( mgcvpacote)? Caso contrário, você deve conferir.
suncoolsu
1

Aqui está como eu faria isso, basicamente um teste de razão de verossimilhança. Mas lembre-se de que "a chave" para entender um teste de adequação é entender a classe de alternativas contra as quais você está testando. Agora, temos a probabilidade de cada ponto de dados individual como:

p(yi|xi,a,I)=g(ϵi)=g(yifi)

Onde é a probabilidade do termo de erro em seu modelo e é a previsão do modelo para o i-ésimo ponto de dados, dado e . Agora, para cada ponto de dados , podemos escolher tal que - o "modelo saturado" como você o chama. Portanto, o é apropriado aqui, se você quiser testar apenas alternativas dentro da classe daqueles com a mesma probabilidade de erro, , e tiver independência de cada uma das probabilidades (ou seja, saber outrof i = x i - 1g(ϵ) xia(xi,yi)afi=yiχ2g(ϵ)fi=xi1axi2+1xia(xi,yi)afi=yiχ2g(ϵ)xj,yjnão ajudaria em prever , dado a ). yia

probabilityislogic
fonte
11
Isso não vai funcionar, uma vez que o grau de liberdade do teste da razão de verossimilhança cresce à medida que para o modelo saturado. O(n)
StasK
0

No contexto de regressão linear, o teste de qualidade do ajuste é frequentemente realizado contra uma alternativa mais complicada. Você tem uma regressão linear - jogue em alguns termos polinomiais para testar se a forma linear é suficiente. Como você já possui uma forma funcional não linear, a alternativa complicada que você precisaria considerar seria a regressão não paramétrica . Não tentarei fornecer uma introdução ao tópico, pois exige uma mentalidade própria e vale a pena uma introdução apropriada separada. Para o teste de regressões paramétricas x não paramétricas, Wooldridge (1992) ou Hardle e Mammen (1993) , eles fazem coisas muito semelhantes. Hardle também escreveu um ótimo livro sobre o assunto.

StasK
fonte