Medidas de complexidade do modelo

Como podemos comparar a complexidade de dois modelos com o mesmo número de parâmetros?

Edit 19/09 : Para esclarecer, a complexidade do modelo é uma medida de quão difícil é aprender com dados limitados. Quando dois modelos ajustam os dados existentes igualmente bem, um modelo com menor complexidade gera menos erros nos dados futuros. Quando aproximações são usadas, tecnicamente isso nem sempre é verdade, mas tudo bem se tende a ser verdade na prática. Várias aproximações dão diferentes medidas de complexidade

Além das várias medidas de Comprimento Mínimo da Descrição (por exemplo, máxima verossimilhança normalizada, aproximação de Informações de Fisher), existem outros dois métodos que vale a pena mencionar:

1. Inicialização paramétrica . É muito mais fácil de implementar do que as exigentes medidas MDL. Um bom artigo é de Wagenmaker e colegas:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P. e Iverson, GJ (2004). Avaliando a imitação de modelo usando a inicialização paramétrica . Jornal de Psicologia Matemática , 48, 28-50.
   O resumo:

   Apresentamos um procedimento geral de amostragem para quantificar a imitação de modelo, definida como a capacidade de um modelo de contabilizar dados gerados por um modelo concorrente. Esse procedimento de amostragem, chamado método de ajuste cruzado de inicialização paramétrica (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), gera distribuições de diferenças na qualidade do ajuste esperado em cada um dos modelos concorrentes. Na versão informada por dados do PBCM, os modelos geradores possuem valores de parâmetros específicos obtidos ajustando os dados experimentais em consideração. As distribuições de diferenças informadas pelos dados podem ser comparadas com a diferença observada na qualidade do ajuste para permitir uma quantificação da adequação do modelo. Na versão não informada de dados do PBCM, os modelos geradores têm uma faixa relativamente ampla de valores de parâmetros com base em conhecimentos prévios. A aplicação dos dados informados e dos dados PBCM não informados é ilustrada com vários exemplos.

   Atualização: Avaliação da imitação de modelo em inglês simples. Você pega um dos dois modelos concorrentes e escolhe aleatoriamente um conjunto de parâmetros para esse modelo (dados informados ou não). Em seguida, você produz dados desse modelo com o conjunto de parâmetros escolhido. Em seguida, você deixa os dois modelos ajustarem os dados produzidos e verifica qual dos dois modelos candidatos dá o melhor ajuste. Se os dois modelos forem igualmente flexíveis ou complexos, o modelo a partir do qual você produziu os dados deve se ajustar melhor. No entanto, se o outro modelo for mais complexo, ele poderá dar um melhor ajuste, embora os dados tenham sido produzidos a partir do outro modelo. Você repete isso várias vezes com os dois modelos (ou seja, deixe os dois modelos produzirem dados e ver qual dos dois se encaixa melhor). O modelo que "superajusta" os dados produzidos pelo outro modelo é o mais complexo.

2. Validação cruzada : também é muito fácil de implementar. Veja as respostas para esta pergunta . No entanto, observe que o problema é que a escolha entre a regra de corte de amostras (deixar de fora, dobrar em K, etc.) é uma regra sem princípios.

Eu acho que isso dependeria do procedimento de ajuste do modelo real. Para uma medida geralmente aplicável, você pode considerar graus de liberdade generalizados descritos em Ye 1998 - essencialmente a sensibilidade da mudança de estimativas do modelo à perturbação das observações - que funciona muito bem como uma medida da complexidade do modelo.

Vale a pena conferir o Comprimento Mínimo da Descrição (MDL) e o Comprimento Mínimo da Mensagem (MML).

No que diz respeito à MDL, um artigo simples que ilustra o procedimento de Máxima Verossimilhança Normalizada (NML), bem como a aproximação assintótica, é:

S. de Rooij e P. Grünwald. Um estudo empírico da seleção mínima de modelos de comprimento de descrição com infinita complexidade paramétrica. Jornal de Psicologia Matemática, 2006, 50, 180-192

Aqui, eles examinam a complexidade do modelo de uma distribuição Geométrica vs. Poisson. Um excelente tutorial (gratuito) sobre MDL pode ser encontrado aqui .

Alternativamente, um artigo sobre a complexidade da distribuição exponencial examinada com MML e MDL pode ser encontrado aqui . Infelizmente, não há um tutorial atualizado sobre MML, mas o livro é uma excelente referência e altamente recomendado.

Descrição mínima O comprimento pode ser uma avenida que vale a pena seguir.

Por "complexidade do modelo", geralmente se entende a riqueza do espaço do modelo. Observe que esta definição não depende de dados. Para modelos lineares, a riqueza do espaço do modelo é medida trivialmente com a diminuição do espaço. É o que alguns autores chamam de "graus de liberdade" (embora historicamente, os graus de liberdade tenham sido reservados para a diferença entre o espaço do modelo e o espaço da amostra). Para modelos não lineares, quantificar a riqueza do espaço é menos trivial. Os graus de liberdade generalizados (ver resposta da ars) são uma medida. É realmente muito geral e pode ser usado para qualquer espaço de modelo "estranho", como árvores, KNN e similares. A dimensão VC é outra medida.

Como mencionado acima, essa definição de "complexidade" é independente de dados. Portanto, dois modelos com o mesmo número de parâmetros normalmente terão a mesma "complexidade".

Dos comentários de Yaroslav à resposta de Henrik:

mas a validação cruzada parece adiar a tarefa de avaliar a complexidade. Se você usar os dados para escolher seus parâmetros e seu modelo como na validação cruzada, a questão relevante será como estimar a quantidade de dados necessários para que esse ajustador "meta" tenha um bom desempenho

$k$$k$$k$$CV(k)$$k$$k$

Você pode até dar um sabor "significativo" a isso, pois o resultado do procedimento está diretamente em termos (unidades) de diferença no erro de previsão fora da amostra.

E o critério de informação para comparação de modelos? Veja, por exemplo, http://en.wikipedia.org/wiki/Akaike_information_criterion

A complexidade do modelo é aqui o número de parâmetros do modelo.