Vamos considerar, por exemplo, um modelo de regressão linear. Ouvi dizer que, na mineração de dados, depois de realizar uma seleção gradual baseada no critério da AIC, é enganoso olhar para os valores p para testar a hipótese nula de que cada coeficiente de regressão verdadeiro é zero. Ouvi dizer...
Um ditado popular de muitos estatísticos é "Correlação não implica causalidade". Isso certamente é verdade, mas uma coisa que parece implícita aqui é que a correlação tem pouco ou nenhum valor. Isso é verdade? É inútil ter conhecimento de que duas variáveis estão correlacionadas? Não consigo...
Quando uso o GAM, o DF residual é (última linha do código). O que isso significa? Indo além do exemplo do GAM, em geral, o número de graus de liberdade pode ser um número não inteiro?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data =...
Algumas técnicas de modelagem preditiva são mais projetadas para manipular preditores contínuos, enquanto outras são melhores para manipular variáveis categóricas ou discretas. É claro que existem técnicas para transformar um tipo em outro (discretização, variáveis dummy, etc.). No entanto,...
Gostaria de saber se existe algum algoritmo que possa fazer classificação e regressão ao mesmo tempo. Por exemplo, eu gostaria de deixar o algoritmo aprender um classificador e, ao mesmo tempo, em cada rótulo, ele também aprende um alvo contínuo. Assim, para cada exemplo de treinamento, ele possui...
Em uma pergunta recente e bem recebida, Tim pergunta quando os dados desequilibrados são realmente um problema no Machine Learning ? A premissa da pergunta é que há muita literatura de aprendizado de máquina discutindo o equilíbrio de classes e o problema das classes desequilibradas . A idéia é que...
Qual é o método de amostragem mais apropriado para avaliar o desempenho de um classificador em um conjunto de dados específico e compará-lo com outros classificadores? A validação cruzada parece ser uma prática padrão, mas li que métodos como o .632 bootstrap são uma opção melhor. Como...
Estou usando a matriz de confusão para verificar o desempenho do meu classificador. Estou usando o Scikit-Learn, estou um pouco confuso. Como posso interpretar o resultado de from sklearn.metrics import confusion_matrix >>> y_true = [2, 0, 2, 2, 0, 1] >>> y_pred = [0, 0, 2, 2,...
Estou um pouco confuso sobre as vantagens de modelos mistos em relação à modelagem preditiva. Como os modelos preditivos costumam prever valores de observações anteriormente desconhecidas, parece-me óbvio que a única maneira de um modelo misto ser útil é através da capacidade de fornecer previsões...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Como podemos calcular o erro médio percentual...
Em uma pergunta que fiz recentemente , me disseram que era um grande "não-não" extrapolar com loess. Mas, no artigo mais recente de Nate Silver no FiveThirtyEight.com, ele discutiu o uso do loess para fazer previsões de eleições. Ele estava discutindo as especificidades de previsões agressivas...
Participo de competições de modelagem preditiva no Kaggle , TunedIt e CrowdAnalytix . Acho que esses sites são uma boa maneira de se exercitar para estatísticas / aprendizado de máquina. Existem outros sites que eu deva conhecer? Como vocês se sentem sobre as competições em que o anfitrião...
Ao construir um modelo preditivo usando técnicas de aprendizado de máquina, qual é o sentido de fazer uma análise exploratória de dados (EDA)? Não há problema em ir direto à geração de recursos e à construção de seus modelos? Como as estatísticas descritivas usadas na EDA são...
Suponha que eu tenha um modelo preditivo que produz, para cada instância, uma probabilidade para cada classe. Agora reconheço que existem muitas maneiras de avaliar esse modelo se eu quiser usar essas probabilidades para classificação (precisão, recall, etc.). Também reconheço que uma curva ROC e a...
Quais são as diferenças entre os modelos generativo e discriminativo (discriminante) (no contexto da aprendizagem e inferência bayesiana)? e o que diz respeito à previsão, teoria da decisão ou aprendizado não
Em muitas aplicações de aprendizado de máquina, os chamados métodos de aumento de dados permitiram construir modelos melhores. Por exemplo, assuma um conjunto de treinamento de imagens de cães e gatos. Girando, espelhando, ajustando o contraste, etc., é possível gerar imagens adicionais a partir...
Por uma questão de simplicidade, digamos que estou trabalhando no exemplo clássico de emails de spam / não spam. Eu tenho um conjunto de 20000 e-mails. Destas, sei que 2000 são spam, mas não tenho nenhum exemplo de email que não seja spam. Eu gostaria de prever se os 18000 restantes são spam ou...
Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana...
Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 8 anos . Estou tentando montar um pacote de mineração de dados para sites StackExchange e, em particular, estou tentando determinar as perguntas "mais...
O parâmetro de taxa de aprendizado ( ) no Gradient Boosting reduz a contribuição de cada novo modelo de base - tipicamente uma árvore rasa - que é adicionada na série. Foi demonstrado que aumenta drasticamente a precisão do conjunto de testes, o que é compreensível, pois em etapas menores, o mínimo...