Relação entre dimensão VC e graus de liberdade

9

Estou estudando aprendizado de máquina e sinto que há uma forte relação entre o conceito de dimensão VC e o conceito mais clássico (estatístico) de graus de liberdade.

Alguém pode explicar essa conexão?

stochazesthai
fonte

Respostas:

7

Como afirma o Prof Yaser Abu-Mostafa-

Graus de liberdade são uma abstração do número efetivo de parâmetros. O número efetivo é baseado em quantas dicotomias se pode obter, em vez de quantos parâmetros com valor real são usados. No caso do perceptron bidimensional, pode-se pensar em inclinação e interceptação (mais um grau binário de liberdade para o qual a região vai para +1), ou pode-se pensar em 3 parâmetros w_0, w_1, w_2 (embora os pesos possam ser simultaneamente aumentado ou diminuído sem afetar a hipótese resultante). Os graus de liberdade, no entanto, são 3 porque temos a flexibilidade de quebrar 3 pontos, não por uma maneira ou outra de contar o número de parâmetros.

Perceptron 2-d

Azrael
fonte
Eu acho que essa é uma definição não padronizada de graus de liberdade!
Kjetil b halvorsen
0

A dimensão VC é muito bem explicada neste artigo na Seção 2.1 e mais, com os lemas e as provas básicos fornecidos. Você pode passar por isso.

Bhaskar
fonte