Qual método do kernel fornece as melhores saídas de probabilidade?

Recentemente, usei o dimensionamento de saídas SVM de Platt para estimar as probabilidades de eventos padrão. Alternativas mais diretas parecem ser "Regressão logística do kernel" (KLR) e a "Máquina de vetor de importação" relacionada.

Alguém pode dizer qual método de kernel que fornece resultados de probabilidade é atualmente o estado da arte? Existe uma implementação R do KLR?

Muito obrigado pela sua ajuda!

logistic svm kernel-trick RichardN
fonte

(+1) Uma pergunta muito interessante ...

steffen

Respostas:

A classificação de processo gaussiana (usando a Propagação de Expectativas) é provavelmente o estado da arte no aprendizado de máquina. Existe um excelente livro de Rasmussen e Williams (disponível para download gratuito), cujo site possui uma implementação muito boa do MATLAB. Mais software, livros, documentos, etc. aqui . No entanto, na prática, o KLR provavelmente funcionará tão bem quanto na maioria dos problemas, a maior dificuldade está na seleção dos parâmetros do kernel e da regularização, o que provavelmente é melhor realizado pela validação cruzada, embora a validação cruzada de uma única saída possa ser aproximada muito eficientemente, ver Cawley e Talbot (2008).

Dikran Marsupial
fonte

(+1) Obrigado pelo link e conselhos sobre a questão da seleção de modelos.

chl

Devo acrescentar, não use implementações baseadas na aproximação de Laplace - a parte posterior é altamente inclinada e uma aproximação simétrica centrada no modo geralmente não funcionará muito bem.

Dikran Marsupial

Obrigado Dikran! Você poderia me explicar a relação entre KLR e suavização de kernel? O modelo KLR é construído de forma semelhante à formulação svm [loss + penalty] e resolvido por descida de gradiente. Mas as mesmas referências de tempo (por exemplo, em "Regressão logística do kernel e a máquina de vetor de importação", Zhu e Hastie 2005) na KLR vão para a literatura de suavização (por exemplo, "Modelos aditivos generalizados", Hastie e Tibshirani 1990).

RichardN

Não conheço a literatura de suavização, mas os modelos de kernel estão intimamente relacionados à suavização de splines. Acho que o melhor lugar para procurar seria as publicações de Grace Wahba ( stat.wisc.edu/~wahba ), cujo trabalho abrange os métodos de suavização e de kernel.

Dikran Marsupial

Obrigado, vou dar uma olhada nas publicações da wahba. Você pode recomendar uma implementação do KLR, na melhor das hipóteses em R?

RichardN

Eu acho que você sabe que o kernel para regressão logística não é paramétrico, então, primeiro, você tem essa restrição.

Em relação ao pacote R, o que eu conheço e que funciona muito bem é np : Métodos não paramétricos de suavização de kernel para tipos de dados mistos

Este pacote fornece uma variedade de métodos de kernel não paramétricos (e semiparamétricos) que lidam perfeitamente com uma mistura de tipos de dados de fatores contínuos, não ordenados e ordenados.

Em relação ao estado da arte do kernell, recomendo experimentar os descritos neste artigo em 2009. Leia-o com cuidado para escolher o que é melhor e mais atual para você.

mariana soffer
fonte

Olá Mariana, obrigado pela sua resposta, mas tivemos um mal-entendido: por "métodos do kernel" quero dizer métodos como a máquina de vetor Support usando o "truque do kernel", não os métodos de suavização do kernel.

RichardN