Árvores de decisão aprimoradas calibradas em R ou MATLAB

8

Em uma comparação empírica de algoritmos de aprendizado supervisionado (ICML 2006), os autores (Rich Caruana e Alexandru Niculescu-Mizil) avaliaram vários algoritmos de classificação (SVMs, ANN, KNN, florestas aleatórias, árvores de decisão, etc.) e relataram que árvores potencializadas calibradas classificado como o melhor algoritmo de aprendizado geral em oito métricas diferentes (F-score, Área ROC, precisão média, entropia cruzada etc.).

Eu gostaria de testar as árvores de decisão aprimoradas calibradas em um de meus projetos e queria saber se alguém poderia sugerir um bom pacote R ou uma biblioteca MATLAB para isso.

Eu sou relativamente novo em R, embora tenha uma grande experiência com MATLAB e Python. Eu li sobre o gbm , tree e rpart do R, mas não tenho certeza se esses pacotes implementam árvores de decisão aprimoradas calibradas ou se existem outros que os implementam.

obrigado

Amelio Vazquez-Reina
fonte

Respostas:

3

Sobre R, eu votaria no pacote gbm ; há uma vinheta que fornece uma boa visão geral: Modelos impulsionados generalizados: um guia para o pacote gbm . Se você estiver procurando por uma interface unificada para os algoritmos de ML, recomendo o pacote de interpolação com recursos internos para pré-processamento de dados, reamostragem e avaliação comparativa do desempenho do modelo. Outros pacotes para árvores potencializadas são relatados na Tabela 1 de uma de suas vinhetas, funções de ajuste do modelo, previsão e desempenho . Há também um exemplo de ajuste de parâmetros para árvores potencializadas no artigo JSS , pp. 10-11.

Nota: Eu não verifiquei, mas você também pode pesquisar no Weka (existe uma interface R, RWeka ).

chl
fonte
1
Obrigado @chl. Vou dar uma olhada neles. Você sabe se algum desses pacotes fornece saídas calibradas? (probabilidades ou seja calibrado, em vez de pontuação apenas)
Amelio Vazquez-Reina
1
Eu entendi a pergunta: "Os métodos de escala de platt ou regressão isotônica foram implementados em R?"
charles
@ user023472 Você já encontrou uma resposta para este problema?
charles