A regressão logística é um modelo "semi-paramétrico"?

8

Recentemente, vi um termo "semi-paramétrico" nas respostas da minha pergunta, mas não entendi realmente o que esse termo significa.

Wikipedia diz

Em estatística, um modelo semiparamétrico é um modelo estatístico que possui componentes paramétricos e não paramétricos.

E fornece o modelo de riscos proporcionais de Cox como exemplo.

Vejo o modelo de riscos proporcionais de Cox e a regressão logística são muito semelhantes. Por que dizemos que um é semi-paramétrico, mas não outro?


BTW eu encontrei esta resposta , diz GLM não é um modelo semi-paramétrico.

Haitao Du
fonte

Respostas:

13

A regressão logística não é "semi-paramétrica". Possui apenas componente paramétrico. Para o modelo paramétrico, o número de parâmetros é fixo e não depende do número de dados de treinamento, mas depende apenas do próprio modelo. Isso é verdade para a regressão logística, pois se você tivern variáveis X1,,Xn Você tem n+1 parâmetros w0,,wnpara definir o modelo de regressão logística, e o número desses parâmetros não aumenta ou diminui com base no número de dados de treinamento. Observe que, para modelos não paramétricos, você também possui parâmetros, mas o número de parâmetros não é fixo e depende do número de exemplos de treinamento.

Hossein
fonte
11
Obrigado, posso usar "se o número de parâmetros depende do número de linhas na matriz de dados" para ver se um modelo não é paramétrico?
Haitao Du
2
Sim. Leia este parágrafo do livro de aprendizado de máquina de Kevin Murphy para obter mais esclarecimentos: "o modelo possui um número fixo de parâmetros ou o número de parâmetros cresce com a quantidade de dados de treinamento? O primeiro é chamado de modelo paramétrico e o segundo é chamado de modelo não paramétrico ".
Hossein
Então, o que seria um modelo "semi-paramétrico"? Tendo um número fixo e um número de parâmetros dependentes de dados?
RM
Sim! A regressão parcialmente linear e o modelo de riscos proporcionais são dois exemplos.
Hossein
11
Por que você acha que as redes neurais não são paramétricas? Uma rede neural com uma estrutura fixa é paramétrica.
Hossein