Sob uma definição clássica de um outlier como um ponto de dados fora do IQR de 1,5 * do quartil superior ou inferior, existe uma suposição de uma distribuição não distorcida. Para distribuições assimétricas (Exponencial, Poisson, Geométrica, etc.), é a melhor maneira de detectar um outlier...
Estou executando várias análises de regressão e não tenho certeza se os valores discrepantes nos meus dados devem ser excluídos. Os dados que me preocupam aparecem como "círculos" nos boxplots do SPSS, no entanto, não existem asteriscos (o que me faz pensar que eles não são "tão ruins"). Os casos...
Se eu tiver uma amostra de amostra normal multivariada X1,…,Xn∼Np(μ,Σ)X1,…,Xn∼Np(μ,Σ)X_1, \ldots, X_n \sim N_p(\mu,\Sigma) e definir d2i(b,A)=(Xi−b)′A−1(Xi−b)di2(b,A)=(Xi−b)′A−1(Xi−b)d_i^2(b,A) = (X_i - b)' A^{-1} (X_i - b) (que é uma distância de Mahalanobis [ao quadrado] de um ponto de amostra ao...
Eu tenho o que eu ingenuamente pensei ser um problema bastante direto que envolve a detecção de valores extremos para muitos conjuntos diferentes de dados de contagem. Especificamente, quero determinar se um ou mais valores em uma série de dados de contagem são maiores ou menores que o esperado em...
Como decidir a assimetria observando um boxplot construído com esses dados: 340, 300, 520, 340, 320, 290, 260, 330 Um livro diz: "Se o quartil inferior estiver mais distante da mediana do que o quartil superior, a distribuição será distorcida negativamente". Várias outras fontes disseram mais ou...
Realizamos um teste de divisão de um novo recurso do produto e queremos avaliar se o aumento da receita é significativo. Definitivamente, nossas observações não são distribuídas normalmente (a maioria de nossos usuários não gasta e, naquelas que gastam, é fortemente direcionada a muitos pequenos...
tl; dr Qual é a maneira recomendada de lidar com discretedados ao realizar a detecção de anomalias? Qual é a maneira recomendada de lidar com categoricaldados ao realizar a detecção de anomalias? Esta resposta sugere o uso de dados discretos para filtrar apenas os resultados. Talvez substitua o...
Eu poderia usar algumas orientações sobre a apresentação de alguns dados. Este primeiro gráfico é uma comparação caso-controle para a citocina IL-10. Eu configurei manualmente o eixo y para incluir 99% dos dados. A razão pela qual eu defino isso manualmente é porque o grupo de casos tem uma...
O PCA robusto (desenvolvido por Candes et al 2009 ou melhor ainda por Netrepalli et al 2014 ) é um método popular para detecção multivariada de outlier , mas a distância de Mahalanobis também pode ser usada para detecção de outlier, dada uma estimativa robusta e regularizada da matriz de...
Um aumento no número de casos e mortes ocorre durante epidemias (aumento repentino de números) devido à circulação de vírus (como o vírus do Nilo Ocidental nos EUA em 2002) ou à diminuição da resistência de pessoas ou à contaminação de alimentos ou água ou ao aumento do número de mosquitos. Essas...
A definição padrão de um outlier para um gráfico Box e Whisker é pontos fora do intervalo , onde e é o primeiro quartil e é o terceiro quartil dos dados. I Q R = Q 3 - Q 1 Q 1 Q 3{ Q 1 - 1,5 IQ R , Q 3 + 1,5 IQ R }{Q1-1.5EuQR,Q3+1.5EuQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}EuQ R = Q 3 - Q...
Suponha que eu tenha distribuído dados normalmente. Para cada elemento dos dados, quero verificar quantos SDs estão longe da média. Pode haver um erro nos dados (provavelmente apenas um, mas também pode haver dois ou três) ou não, mas esse erro é basicamente o que estou procurando. Faz sentido...
Tenho dados de séries temporais mensais e gostaria de fazer previsões com detecção de outliers. Esta é a amostra do meu conjunto de dados: Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec 2006 7.55 7.63 7.62 7.50 7.47 7.53 7.55 7.47 7.65 7.72 7.78 7.81 2007 7.71 7.67 7.85 7.82 7.91 7.91 8.00 7.82...
Estou procurando algumas técnicas robustas para remover discrepâncias e erros (seja qual for a causa) dos dados financeiros das séries temporais (por exemplo, tickdata). Os dados das séries temporais financeiras de tick-by-tick são muito confusos. Ele contém grandes lacunas (de tempo) quando a...
Da Wikipedia Observações influentes são aquelas que têm um efeito relativamente grande nas previsões do modelo de regressão. Da Wikipedia Pontos de alavancagem são aquelas observações, se houver, feitas em valores extremos ou extremos das variáveis independentes, de modo que a falta de...
Eu tenho um monte (cerca de 1000) de estimativas e todas elas devem ser estimativas da elasticidade a longo prazo. Um pouco mais da metade é estimado usando o método A e o restante usando o método B. Em algum lugar, li algo como "Acho que o método B estima algo muito diferente do método A, porque...
A abordagem comum para estimar os parâmetros de uma distribuição normal é usar a média e o desvio / variância padrão da amostra. No entanto, se houver alguns discrepantes, a mediana e o desvio médio da mediana devem ser muito mais robustos, certo? Em alguns conjuntos de dados que eu tentei, a...
Eu tenho um modelo de previsão testado com quatro métodos, como você pode ver na figura do boxplot abaixo. O atributo que o modelo prevê está no intervalo de 0 a 8. Você pode perceber que há um limite superior externo e três limites inferiores indicados por todos os métodos. Gostaria de saber se é...
Gostaria de saber se existe uma maneira simples de detectar discrepâncias. Para um dos meus projetos, que era basicamente uma correlação entre o número de vezes que os participantes participam de atividade física em uma semana e o número de vezes que comem fora de casa (fast food) em uma semana,...
Estou tentando entender o resultado que vejo no meu gráfico abaixo. Normalmente, costumo usar o Excel e obter uma linha de regressão linear, mas no caso abaixo, estou usando R e recebo uma regressão polinomial com o comando: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() +...