Reexpressão matemática, geralmente não linear, dos valores dos dados. Os dados são frequentemente transformados para atender às premissas de um modelo estatístico ou para tornar os resultados de uma análise mais interpretáveis.
Se tenho dados positivos altamente distorcidos, geralmente tomo logs. Mas o que devo fazer com dados não negativos altamente distorcidos que incluem zeros? Eu vi duas transformações usadas: registro( x + 1 )log(x+1)\log(x+1) que possui o recurso puro que 0 mapeia para 0. registro( x + c...
Eu tenho R quadro de dados como este: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Preciso obter o quadro de dados no seguinte formato: group mean sd 1 34.5 5.6 2 32.3 4.2 ... O número do grupo pode...
Digamos que eu tenha alguns dados históricos, por exemplo, preços das ações anteriores, flutuações no preço das passagens aéreas, dados financeiros anteriores da empresa ... Agora alguém (ou alguma fórmula) aparece e diz "vamos pegar / usar o log da distribuição" e aqui é onde vou POR QUE...
Estou procurando uma distribuição melhor comportada para a variável independente em questão, ou para reduzir o efeito de outliers ou algo
Ao responder a essa pergunta sobre dados discretos e contínuos, afirmei com clareza que raramente faz sentido tratar os dados categóricos como contínuos. Em face disso, isso parece óbvio, mas a intuição costuma ser um péssimo guia para estatísticas, ou pelo menos a minha. Então agora eu estou me...
Eu li que o uso de escalas de log quando gráficos / gráficos é apropriado em determinadas circunstâncias, como o eixo y em um gráfico de séries temporais. No entanto, não consegui encontrar uma explicação definitiva sobre por que esse é o caso, ou quando mais seria apropriado. Lembre-se de que eu...
Em geral, é recomendável obter a raiz quadrada quando você tiver dados de contagem. (Para alguns exemplos no CV, consulte a resposta de @ HarveyMotulsky aqui ou a resposta de @ whuber aqui .) Por outro lado, ao ajustar um modelo linear generalizado com uma variável de resposta distribuída como...
Analisei meus dados como eles são. Agora, quero examinar minhas análises depois de registrar o log de todas as variáveis. Muitas variáveis contêm muitos zeros. Portanto, adiciono uma pequena quantidade para evitar assumir o log de zero. Até agora, adicionei 10 ^ -10, sem nenhuma justificativa,...
Existe uma transformação semelhante a Box-Cox para variáveis independentes? Ou seja, uma transformação que otimiza a variável para que ela se ajuste de forma mais razoável a um modelo linear?xxxy~f(x) Em caso afirmativo, existe uma função para executar isso
Existem duas maneiras diferentes de codificar variáveis categóricas. Digamos, uma variável categórica tem n valores. A codificação one-hot converte-a em n variáveis, enquanto a codificação fictícia converte-a em n-1 variáveis. Se tivermos k variáveis categóricas, cada uma com n valores. Uma...
Transformo todos os meus dados ou dobras (se o CV for aplicado) ao mesmo tempo? por exemplo (allData - mean(allData)) / sd(allData) Transformo trainset e testset separadamente? por exemplo (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Ou eu transformo...
Gostaria de saber se faz diferença na interpretação se apenas as variáveis dependentes, dependentes e independentes ou apenas as independentes são transformadas em log. Considere o caso de log(DV) = Intercept + B1*IV + Error Eu posso interpretar o IV como o aumento percentual, mas como isso...
Qual é a diferença entre 'Normalização' e 'Escalonamento' de dados? Até agora, pensei que os dois termos se referissem ao mesmo processo, mas agora percebo que há algo mais que não sei / entendo. Além disso, se houver uma diferença entre Normalização e Escalonamento, quando devemos usar a...
Ao transformar variáveis, você precisa usar a mesma transformação? Por exemplo, posso escolher variáveis transformadas de maneira diferente, como em: Seja idade, duração do emprego, duração da residência e renda.x1, x2, x3x1,x2,x3x_1,x_2,x_3 Y = B1*sqrt(x1) + B2*-1/(x2) + B3*log(x3) Ou você...
Eu tenho dados de 3 grupos de biomassa de algas ( , , ) que contêm tamanhos de amostra desiguais ( , , ) e gostaria de comparar se esses grupos são da mesma população.B C n A = 15 n B = 13 n C = 12AAABBBCCCnA=15nA=15n_A=15nB=13nB=13n_B=13nC=12nC=12n_C=12 A ANOVA unidirecional seria definitivamente...
Você pode ter dados em formato amplo ou em formato longo. Isso é muito importante, pois os métodos utilizáveis são diferentes, dependendo do formato. Eu sei que você tem que trabalhar com melt()e a cast()partir do pacote de reformulação, mas parece que algumas coisas eu não entendo. Alguém pode...
Digamos, por exemplo, que você esteja criando um modelo linear, mas os dados são complexos.yyy y= x β+ ϵy=xβ+ϵ y = x \beta + \epsilon Meu conjunto de dados é complexo, pois todos os números em têm a forma ( a + b i ) . Existe algo processualmente diferente ao trabalhar com esses dados?yyy( a + b...
Estou trabalhando com um grande conjunto de dados (confidencial, portanto não posso compartilhar muito) e concluí que seria necessária uma regressão binomial negativa. Eu nunca fiz uma regressão glm antes e não consigo encontrar nenhuma informação clara sobre quais são as suposições. Eles são...
Uma etapa comum de pré-processamento para algoritmos de aprendizado de máquina é o clareamento de dados. Parece que é sempre bom fazer o clareamento, uma vez que correlaciona os dados, facilitando a modelagem. Quando o clareamento não é recomendado? Nota: estou me referindo à desacorrelação dos...
Estou tentando executar uma regressão múltipla em R. No entanto, minha variável dependente tem o seguinte gráfico: Aqui está uma matriz de dispersão com todas as minhas variáveis ( WARé a variável dependente): Eu sei que preciso executar uma transformação nessa variável (e possivelmente nas...