Um modelo saturado é um caso especial de um modelo com excesso de equipamento?

10

Estou tentando entender o que é um modelo saturado. AFAIK é quando você tem tantos recursos quanto observações.

Podemos dizer que um modelo saturado é um caso especial de um modelo extremamente equipado demais?

Ricardo Cruz
fonte
2
Não exatamente - acho que um modelo saturado usou todos os seus graus de liberdade. Depende do modelo o que isso significa exatamente. Em um modelo log-linear, por exemplo, incluir todas as interações no modelo o torna saturado, como df = 0, então, mas não é super ajustado.
Tomka
Este thead tem alguma boa discussão sobre isso: stats.stackexchange.com/questions/283/what-is-a-saturated-model
DL Dahly

Respostas:

6

@ Tomka está certo. Um modelo saturado se ajusta ao maior número possível de parâmetros para um determinado conjunto de preditores, mas se está super ajustado ou não depende do número de observações para cada padrão único de preditores. Suponha que você tenha um modelo linear com 100 observações de em e 100 em . Em seguida, o modelo está saturado, mas certamente não está ajustado demais. Mas se você tiver uma observação de para cada um de o modelo está saturado e um ajuste perfeito - sem dúvida um excesso de ajuste .yx=0x=1EY=β0+β1xyx=(0,1,2,3,4)TEY=β0+β1x+β2x2+β3x3+β4x4

Quando as pessoas falam sobre modelos saturados com tantos parâmetros quanto observações, como na página da Web vinculada e na publicação do CV, estão assumindo o contexto de uma observação para cada padrão preditivo. (Ou, às vezes, usando 'observação' de maneira diferente - são 100 indivíduos em uma tabela de contingência 2 × 2 100 observações de indivíduos ou 4 observações de frequências celulares?)

† Não tome "certamente" e "sem dúvida" literalmente, a propósito. É possível para o primeiro modelo que seja tão pequeno em comparação com você preveria melhor sem tentar estimar, e vice-versa para o segundo.β1VarY

Scortchi - Restabelecer Monica
fonte
Bom exemplo do mapeamento de x = {0,1} a 100 ys, obrigado. Você diria que esta definição não é precisa: stats.gla.ac.uk/glossary/?q=node/448 ?
Ricardo Cruz
Eu diria exatamente o que disse no meu segundo parágrafo - presumindo que o contexto e uma definição mais geralmente aplicável possam ser melhores.
Scortchi - Restabelece Monica