Reproduzindo a tabela 18.1 de "Elementos de aprendizagem estatística"

13

A Tabela 18.1 nos Elementos de aprendizagem estatística resume o desempenho de vários classificadores em um conjunto de dados de 14 classes. Estou comparando um novo algoritmo com o laço e a rede elástica para esses problemas de classificação em várias classes.

Usando glmnetversão 1.5.3 (R 2.13.0) que não seja capaz de reproduzir ponto 7. (a multinominal -penalized) na tabela, em que o número de genes utilizado é referido como sendo 269 e o erro de teste é de 13 para fora de 54. Os dados usados ​​são esse conjunto de dados de 14 micro-arranjos de câncer . O que quer que eu tenha tentado, obtenho um modelo de melhor desempenho usando cerca de 170-180 genes com um erro de teste de 16 em 54.eu1

Observe que no início da Seção 18.3, na página 654, é descrito algum pré-processamento dos dados.

Entrei em contato com os autores - até agora sem resposta - e pergunto se alguém pode confirmar que há um problema na reprodução da tabela ou fornecer uma solução sobre como reproduzi-la.

classification lasso glmnet NRH
fonte
1
O glmnet passou por algumas mudanças recentemente e teve alguns problemas com números no passado. É possivelmente devido a isso? Há quanto tempo você entrou em contato com os autores? Vejo que a versão atual é 1.7 e foi carregada no CRAN apenas cerca de uma semana atrás.
cardeal
@ cardinal, faz cerca de quatro semanas desde que fiz os últimos experimentos com o glmnet, mas também temos uma implementação diferente que produz resultados semelhantes e não consistentes com a tabela em ESL. A mesa é definitivamente mais antiga, então meu palpite é que a mesa não está correta, mas seria bom saber com certeza.
NRH 27/06
Examinei brevemente essas seções e uma pergunta que surgiu em minha mente foi como a validação cruzada foi feita para escolher o parâmetro de retração (18.19) na página 661 (terceira impressão). Qualquer ideia? Talvez eu tenha perdido ou descrito em outro lugar? Esse parece ser um lugar provável em que suas tentativas de recriar a análise deles podem ser sensíveis a diferenças na abordagem.
cardeal
@ cardinal, primeiro obrigado por se interessar por isso. É correto que o CV possa fazer a diferença, mas os autores realmente têm os subconjuntos (índices) usados ​​para o CV na página da web juntamente com os dados. De qualquer forma, o CV é usado apenas para selecionar o parâmetro ideal de penalidade lambda e, em seguida, todo o conjunto de dados de treinamento é usado para ajustar-se ao modelo, que é avaliado nos dados de teste. Assim, mesmo se os CV etapa seleciona um lambda diferente, que lambda está no caminho solução para os dados de treinamento, e não podemos encontrá-lo ...
NRH

Respostas:

2

você verificou o pacote R do livro? contém todos os conjuntos de dados, funções e a maioria dos scripts usados ​​lá ...

user603
fonte
7
boa tentativa. Sim, verifiquei o pacote, mas alegar que ele contém todos os dados, funções e a maioria dos scripts é um exagero. Não está completo e não contém o conjunto de dados em questão.
NRH 26/07