Binning significa agrupar uma variável contínua em categorias discretas. É particularmente usado em referência a histogramas, mas também pode ser usado de forma mais geral no sentido de engrossamento.
Suponha que eu queira ver se meus dados são exponenciais com base em um histograma (ou seja, inclinado para a direita). Dependendo de como agrupar ou agrupar os dados, posso obter histogramas totalmente diferentes. Um conjunto de histogramas fará parecer que os dados são exponenciais. Outro...
Eu estou querendo saber qual é o valor em pegar uma variável preditora contínua e dividi-la (por exemplo, em quintis), antes de usá-la em um modelo. Parece-me que, ao separar a variável, perdemos informações. É só assim que podemos modelar efeitos não lineares? Se mantivéssemos a variável...
Nesse comentário , Nick Cox escreveu: A divisão em classes é um método antigo. Embora os histogramas possam ser úteis, o moderno software estatístico facilita e aconselha a adequação das distribuições aos dados brutos. Binning simplesmente joga fora os detalhes que são cruciais para determinar...
Quando devemos discretizar / bin variáveis / recursos independentes e quando não devemos? Minhas tentativas de responder à pergunta: Em geral, não devemos fazer bin, porque o binning perderá informações. Na verdade, o binning está aumentando o grau de liberdade do modelo; portanto, é possível...
Deixando de lado a questão óbvia da baixa potência do qui-quadrado nesse tipo de circunstância, imagine fazer um teste de qui-quadrado para alguma densidade com parâmetros não especificados, agrupando os dados. Para concretude, digamos uma distribuição exponencial com média desconhecida e um...
Digamos que tenho duas distribuições que quero comparar em detalhes, ou seja, de uma maneira que torne a forma, a escala e a mudança facilmente visíveis. Uma boa maneira de fazer isso é plotar um histograma para cada distribuição, colocá-los na mesma escala X e empilhar um embaixo do outro. Ao...
Estou tentando inteligentemente classificar uma coleção classificada. Eu tenho uma coleção de pedaços de dados. Mas eu sei que esses dados se encaixam em posições desiguais. Não sei como escolher de forma inteligente os pontos de extremidade para ajustar adequadamente os dados. por...
Estou tentando entender o resultado do teorema de Bayes, aplicado ao exemplo clássico da mamografia, com o toque perfeito da mamografia. Isso é, Incidência de câncer: .01.01.01 Probabilidade de uma mamografia positiva, dado o paciente ter câncer: 1 111 Probabilidade de uma mamografia positiva,...
Estou procurando o método ideal de binning (discretização) de uma variável contínua em relação a uma variável binária de resposta (destino) e com o número máximo de intervalos como parâmetro. exemplo: eu tenho um conjunto de observações de pessoas com variáveis "height" (numeral contínuo) e...
Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída fornecida...
Então, eu li algumas postagens sobre por que o binning sempre deve ser evitado. Uma referência popular para essa afirmação é este link . A principal fuga é que os pontos de escaneamento (ou pontos de corte) são bastante arbitrários, bem como a perda de informações resultante, e esses splines devem...
Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida,...
Estou implementando vários algoritmos para estimar o melhor número de caixas a serem usadas para histogramas. A maioria dos que estou implementando está descrita na página "Histograma" da Wikipedia, na seção " Número de posições e largura " *. Estou preso a um problema com a fórmula de Doane: 1 +...
Várias fontes sugerem que existem muitas consequências negativas da discretização (categorização) de variáveis contínuas antes da análise estatística (amostra de referências [1] - [4] abaixo). Por outro lado, [5] sugere que algumas técnicas de aprendizado de máquina são conhecidas por produzir...
Digamos que eu tenha esses dados binados como entrada. O valor médio é fornecido para cada intervalo sucessivo de . Para simplificar, vamos assumir que a densidade de amostragem é uniforme dentro de cada compartimento.y¯iy¯i\bar{y}_iΔxiΔxi\Delta x_i Agora, quero estimar a função subjacente ( ), ou...
Eu tenho os seguintes dados, que podem ser modelados por distribuição exponencial Time 0-20 20-40 40-60 60-90 90-120 120-inf Frequency 41 19 16 13 9 2 Para testar se os dados seguem a distribuição exponencial, usarei a estatística de teste do qui-quadrado. Mas, para isso, também preciso calcular...
É aceitável classificar dados, calcular a média dos compartimentos e derivar o coeficiente de correlação de Pearson com base nesses meios? Parece-me um procedimento um tanto quanto suspeito (se você considerar os dados como uma amostra populacional) a dispersão desses meios será o erro padrão da...
Estou trabalhando no desenvolvimento de um laboratório de física sobre decaimento radioativo e, ao analisar dados de amostra que peguei, encontrei um problema estatístico que me surpreendeu. É sabido que o número de decaimentos por unidade de tempo por uma fonte radioativa é distribuído por...
Ao pensar em um histograma como uma estimativa da função de densidade, é razoável pensar no tamanho da caixa como um parâmetro que restringe a estrutura local dessa função? Além disso, existe uma maneira melhor de articular esse