Modelos preditivos são modelos estatísticos cujo objetivo principal é prever otimamente outras observações de um sistema, em oposição a modelos cujo objetivo é testar uma hipótese específica ou explicar mecanicamente um fenômeno. Assim, os modelos preditivos colocam menos ênfase na interpretabilidade e mais ênfase no desempenho.
Primeiro foi o Brexit , agora a eleição dos EUA. Muitas previsões de modelos tiveram uma margem ampla e existem lições a serem aprendidas aqui? Ainda às 16:00 PST de ontem, os mercados de apostas ainda favoreciam Hillary por 4 a 1. Entendo que os mercados de apostas, com dinheiro real em jogo,...
Gostaria que seus pensamentos sobre as diferenças entre validação cruzada e bootstrapping estimassem o erro de previsão. Funciona melhor para tamanhos de conjuntos de dados pequenos ou
Para um intervalo de previsão de regressão linear você ainda usa E [ Y | X ] = ^ p 0 + β 1 x para gerar o intervalo. Você também usa isso para gerar um intervalo de confiança de E [ Y | x 0 ] . Qual a diferença entre os dois?E^[ Y| x]= β0 0^+ β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] =...
Para um estudo de simulação, eu tenho que gerar variáveis aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No...
Em abril, participei de uma palestra na série de seminários do grupo de Estatísticas do Departamento de Matemática da UMD denominada "Explicar ou prever?". A palestra foi proferida pelo Prof. Galit Shmueli, que leciona na Smith Business School da UMD. Sua palestra foi baseada na pesquisa que ela...
Suponha que tenhamos alguém construindo um modelo preditivo, mas que alguém não seja necessariamente versado em princípios estatísticos ou de aprendizado de máquina adequados. Talvez estejamos ajudando essa pessoa enquanto ela está aprendendo, ou talvez essa pessoa esteja usando algum tipo de...
Em que circunstâncias você deseja ou não deseja dimensionar ou padronizar uma variável antes do ajuste do modelo? E quais são as vantagens / desvantagens de escalar uma
Eu gostaria de ter muitos algoritmos que executam a mesma tarefa que a regressão logística. Ou seja, algoritmos / modelos que podem fornecer uma previsão para uma resposta binária (Y) com alguma variável explicativa (X). Eu ficaria feliz se, depois de nomear o algoritmo, se você também mostrar...
Vamos supor que você seja um pesquisador / economista de ciências sociais tentando encontrar preditores relevantes de demanda por um serviço. Você tem duas variáveis dependentes / de resultado que descrevem a demanda (usando o serviço sim / não e o número de ocasiões). Você tem 10 variáveis...
Já tínhamos várias perguntas sobre dados desequilibrados ao usar regressão logística , SVM , árvores de decisão , empacotamento e várias outras perguntas semelhantes, o que o torna um tópico muito popular! Infelizmente, cada uma das perguntas parece ser específica do algoritmo e não encontrei...
Gostaria de saber se faz diferença na interpretação se apenas as variáveis dependentes, dependentes e independentes ou apenas as independentes são transformadas em log. Considere o caso de log(DV) = Intercept + B1*IV + Error Eu posso interpretar o IV como o aumento percentual, mas como isso...
Sei que essa é uma Rpergunta bastante específica , mas posso estar pensando na variação proporcional explicada, , incorretamente. Aqui vai.R2R2R^2 Estou tentando usar o Rpacote randomForest. Eu tenho alguns dados de treinamento e dados de teste. Quando encaixo um modelo de floresta aleatório, a...
TL, DR: Parece que, ao contrário do conselho muitas vezes repetida, leave-one-out validação cruzada (LOO-CV) - isto é,CV fold com(o número de dobras) igual a(o número das observações de treinamento) - produz estimativas do erro de generalização que é a menor variável para qualquer, não a mais...
Eu tenho 2 perguntas simples sobre regressão linear: Quando é aconselhável padronizar as variáveis explicativas? Uma vez que a estimativa é realizada com valores padronizados, como se pode prever com novos valores (como se deve padronizar os novos valores)? Algumas referências seriam úteis....
Eu estava assistindo a uma apresentação de um especialista em ML de um grande varejista, onde eles haviam desenvolvido um modelo para prever eventos fora de estoque. Vamos supor por um momento que, com o tempo, o modelo deles se torne muito preciso, não seria de alguma maneira "autodestrutivo"?...
Estou procurando uma explicação de como a importância da variável relativa é calculada nas árvores com gradiente de aumento que não é excessivamente geral / simplista como: As medidas são baseadas no número de vezes que uma variável é selecionada para divisão, ponderada pela melhoria ao quadrado...
Venho acompanhando as competições do Kaggle há muito tempo e percebo que muitas estratégias de vitória envolvem o uso de pelo menos uma das "três grandes" qualidades: empacotar, aumentar e empilhar. Para as regressões, em vez de se concentrar na construção de um melhor modelo de regressão...
Apenas um pensamento: Os modelos parcimoniosos sempre foram a opção padrão na seleção de modelos, mas em que grau essa abordagem está desatualizada? Estou curioso sobre o quanto nossa tendência à parcimônia é uma relíquia de um tempo de regras abac e deslizantes (ou, mais seriamente, computadores...
Para o LASSO (e outros procedimentos de seleção de modelo), é crucial redimensionar os preditores. A recomendação geral que sigo é simplesmente usar uma média de 0, 1 normalização de desvio padrão para variáveis contínuas. Mas o que há com manequins? Por exemplo, alguns exemplos aplicados da...
Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo. Primeiro, deixe-me definir (ou tentar) definir meus termos: O...