Dimensão VC de modelos de regressão

12

Na série de palestras Learning from Data , o professor menciona que a dimensão VC mede a complexidade do modelo em quantos pontos um determinado modelo pode quebrar. Portanto, isso funciona perfeitamente bem para modelos de classificação nos quais poderíamos dizer com N pontos se o classificador puder quebrar k pontos efetivamente que a medida da dimensão VC seria K. Mas não estava claro para mim como se mede a dimensão VC para modelos de regressão ?

karthikbharadwaj
fonte

Respostas:

3

De Elements of Statistical Learning , p. 238:

Até agora, discutimos a dimensão VC apenas das funções dos indicadores, mas isso pode ser estendido às funções com valor real. A dimensão VC de uma classe de funções com valor real é definida como a dimensão VC da classe de indicador , em que assume valores no intervalo de g.1 ( g ( x , α ) - β > 0 ) βg(x,α)1(g(x,α)β>0)β

Ou, (ligeiramente) de forma mais intuitiva, para encontrar a dimensão VC de uma classe de funções com valor real, pode-se encontrar a dimensão VC da classe de funções indicadoras que podem ser formadas pelo limiar dessa classe de funções com valor real.

Sean Easter
fonte
Mas isso fornece a dimensão VC para indicadores de limite e, pelo valor de face, não vejo como obter limites de PAC para indicadores de limite informa muito sobre o desempenho da sua função de regressão. Talvez você possa apresentar um argumento em que pesquisa binária sobre o valor regressado (para domínios de saída limitados).
VF1
@ VF1 Verdadeiro. Como interpretar a dimensão VC de uma função de regressão poderia ser uma boa pergunta separada.
Sean Páscoa
Eu colocaria uma pergunta separada, mas acredito que a resposta é simplesmente "não use VC dim para regressão", pois o Rademacher permitiria que você fizesse o mesmo por perdas arbitrárias limitadas.
VF1
@ VF1 Gostaria de ler uma resposta que disse isso com interesse! Tudo o que quero dizer é sugerir que a norma CV é limitar as perguntas a uma única pergunta por post e que o OP não tocou na interpretação ou no objetivo.
Sean Páscoa
0

Consulte a seção 5.2 da Aprendizagem Estatística (Vapnik) para obter uma derivação do truque do indicador de limiar usando medidas de Lebesgue-Stieltjes. AFAIK é a única e definitiva referência. Você já deve saber onde fundar o livro (e outros do Vapnik, todos são superlativos).

memeplex
fonte
1
Ajudaria se você pudesse resumir o argumento em vez de apenas fornecer uma referência.
Mdewey # 19/16