Um outlier é uma observação que parece incomum ou não está bem descrita em relação a uma simples caracterização de um conjunto de dados. Uma possibilidade desconcertante é que esses dados venham de uma população diferente daquela que se pretende estudar.
Suponha que eu tenha um grande conjunto de dados multivariados com pelo menos três variáveis. Como posso encontrar os outliers? Os gráficos de dispersão em pares não funcionarão, pois é possível que um outlier exista em três dimensões que não seja um outlier em nenhum dos subespaços...
Na minha função, muitas vezes trabalho com conjuntos de dados de outras pessoas, os não especialistas me trazem dados clínicos e os ajudo a resumir e executar testes estatísticos. O problema que estou tendo é que os conjuntos de dados que eu trouxe são quase sempre repletos de erros de digitação,...
Eu tinha uma pergunta sobre como interpretar os gráficos gerados pelo gráfico (lm) em R. Eu queria saber se vocês poderiam me dizer como interpretar os gráficos de localização em escala e alavancagem-residual? Quaisquer comentários serão apreciados. Assumir conhecimentos básicos de estatística,...
Estou trabalhando com uma grande quantidade de séries temporais. Essas séries temporais são basicamente medidas de rede que ocorrem a cada 10 minutos, e algumas são periódicas (ou seja, a largura de banda), enquanto outras não são (ou seja, a quantidade de tráfego de roteamento). Eu gostaria de um...
Ao resolver problemas de negócios usando dados, é comum que pelo menos uma suposição de que a subclasse de estatísticas clássicas seja inválida. Na maioria das vezes, ninguém se incomoda em verificar essas suposições para que você nunca saiba. Por exemplo, que muitas das métricas comuns da Web são...
Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...
Muitas vezes, um analista estatístico recebe um conjunto de dados definido e é solicitado a ajustar um modelo usando uma técnica como regressão linear. Com muita frequência, o conjunto de dados é acompanhado por um aviso semelhante a "Ah, sim, nós erramos ao coletar alguns desses pontos de dados -...
Para um estudo de simulação, eu tenho que gerar variáveis aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No...
Estou lidando com dados lineares com valores discrepantes, alguns dos quais estão a mais de 5 desvios-padrão da linha de regressão estimada. Estou procurando uma técnica de regressão linear que reduz a influência desses pontos. Até agora, o que fiz foi estimar a linha de regressão com todos os...
As pessoas costumam falar sobre como lidar com discrepantes nas estatísticas. O que me incomoda é que, até onde eu sei, a definição de um outlier é completamente subjetiva. Por exemplo, se a verdadeira distribuição de alguma variável aleatória for muito pesada ou bimodal, qualquer visualização...
Comentários: Em primeiro lugar gostaria de dizer um grande obrigado ao autor do novo tsoutliers pacote que implementos de Chen e Liu detecção de séries temporais outlier, que foi publicado no Jornal da Associação Americana de Estatística em 1993 em software Open Source .RRR O pacote detecta...
Eu li em algumas fontes, incluindo esta , que as florestas aleatórias não são sensíveis a outliers (da mesma forma que a regressão logística e outros métodos de ML são, por exemplo). No entanto, duas intuições me dizem o contrário: Sempre que uma árvore de decisão é construída, todos os pontos...
Procurei uma maneira de remover discrepantes de um conjunto de dados e encontrei esta pergunta . Em alguns dos comentários e respostas a essa pergunta, no entanto, as pessoas mencionaram que é uma prática ruim remover valores discrepantes dos dados. No meu conjunto de dados, tenho vários valores...
Encontrei este artigo que usa a detecção de anomalias de links para prever tópicos de tendências e achei incrivelmente intrigante: O artigo é "Descobrindo tópicos emergentes em fluxos sociais por meio da detecção de anomalias de links" . Gostaria de replicá-lo em um conjunto de dados diferente,...
Esta pergunta foi feita pelo meu amigo que não é conhecedor da Internet. Não tenho antecedentes estatísticos e tenho pesquisado na Internet esta questão. A questão é: é possível substituir os valores discrepantes pelo valor médio? se for possível, existe alguma referência / periódicos para apoiar...
Seguindo a minha pergunta aqui , pergunto-me se há pontos de vista fortes a favor ou contra o uso do desvio padrão para detectar discrepâncias (por exemplo, qualquer ponto de dados com mais de 2 desvios padrão é discrepante). Eu sei que isso depende do contexto do estudo, por exemplo, um ponto de...
Vindo do campo da visão computacional, frequentemente utilizei o método RANSAC (Random Sample Consensus) para ajustar modelos a dados com muitos outliers. No entanto, nunca o vi usado por estatísticos, e sempre tive a impressão de que não era considerado um método "estatisticamente correto". Por...
Existem muitos posts neste SE que discutem abordagens robustas para a análise de componentes principais (PCA), mas não consigo encontrar uma única boa explicação de por que o PCA é sensível a discrepâncias em primeiro
Comecei a trabalhar nos tutoriais de mineração de dados estatísticos de Andrew Moore (altamente recomendado para quem mais se aventurar nesse campo). Comecei lendo este PDF extremamente interessante, intitulado "Visão geral introdutória dos algoritmos de detecção de anomalias baseados em séries...
Na análise de regressão linear, analisamos valores extremos, investigamos a multicolinearidade, testamos a heterocedasticidade. A questão é: existe alguma ordem para aplicá-las? Quero dizer, temos que analisar discrepantes muito primeiro e depois examinar a multicolinearidade? Ou reverter?...