Práticas recomendadas ao tratar os dados do intervalo como contínuos

Estou analisando se a abundância está relacionada ao tamanho. O tamanho é (é claro) contínuo, no entanto, a abundância é registrada em uma escala tal que

A = 0-10
B = 11-25
C = 26-50
D = 51-100
E = 101-250
F = 251-500
G = 501-1000
H = 1001-2500
I = 2501-5000
J = 5001-10,000
etc... 

A a Q ... 17 níveis. Eu estava pensando que uma abordagem possível seria atribuir um número a cada letra: o mínimo, o máximo ou a mediana (ou seja, A = 5, B = 18, C = 38, D = 75,5 ...).

Quais são as possíveis armadilhas - e, como tal, seria melhor tratar esses dados como categóricos?

Eu li essa pergunta que fornece algumas reflexões - mas uma das chaves desse conjunto de dados é que as categorias não são iguais - tratá-lo como categórico assumiria que a diferença entre A e B é a mesma que a diferença entre B e C ... (que pode ser corrigido usando o logaritmo - obrigado Anonymouse)

Por fim, gostaria de ver se o tamanho pode ser usado como um preditor de abundância depois de considerar outros fatores ambientais. A previsão também estará em um intervalo: dado o tamanho X e os fatores A, B e C, prevemos que a abundância Y cairá entre Mín e Máx (que eu suponho que poderia abranger um ou mais pontos de escala: Mais que Min D e menos que Max F ... embora quanto mais preciso, melhor).

Solução categórica

Tratar os valores como categóricos perde as informações cruciais sobre tamanhos relativos . Um método padrão para superar isso é a regressão logística ordenada . Com efeito, este método "sabe" que e, utilizando relações observadas com regressores (tal como o tamanho) ataques (um tanto arbitrárias) os valores para cada uma das categorias que respeitar a ordenação.$A\lt B\lt \cdots \lt J\lt \ldots$

Como ilustração, considere 30 pares (tamanho, categoria de abundância) gerados como

size = (1/2, 3/2, 5/2, ..., 59/2)
e ~ normal(0, 1/6)
abundance = 1 + int(10^(4*size + e))

com abundância categorizada em intervalos [0,10], [11,25], ..., [10001,25000].

A regressão logística ordenada produz uma distribuição de probabilidade para cada categoria; a distribuição depende do tamanho. A partir dessas informações detalhadas, você pode produzir valores e intervalos estimados em torno deles. Aqui está um gráfico dos 10 PDFs estimados a partir desses dados (uma estimativa para a categoria 10 não foi possível devido à falta de dados):

Solução contínua

Por que não selecionar um valor numérico para representar cada categoria e visualizar a incerteza sobre a verdadeira abundância dentro da categoria como parte do termo do erro?

Podemos analisar isso como uma aproximação discreta de uma re-expressão idealizada que converte os valores de abundância em outros valores para os quais os erros observacionais são, para uma boa aproximação, distribuídos simetricamente e com aproximadamente o mesmo tamanho esperado, independentemente de (uma transformação estabilizadora de variância).$f$$a$$f(a)$$a$

Para simplificar a análise, suponha que as categorias foram escolhidas (com base na teoria ou na experiência) para alcançar essa transformação. Podemos assumir então que reexpressa os pontos de corte da categoria como seus índices . A proposta equivale a selecionar algum valor "característico" dentro de cada categoria usar como o valor numérico da abundância sempre que a abundância estiver entre e . Isso seria um proxy para o valor re-expresso corretamente .$f$$\alpha_i$$i$$\beta_i$$i$$f(\beta_i)$$\alpha_i$$\alpha_{i+1}$$f(a)$

Suponha, então, que a abundância seja observada com o erro , para que o dado hipotético seja realmente vez de . O erro cometido ao codificá-lo como é, por definição, a diferença , que podemos expressar como uma diferença de dois termos$\varepsilon$$a+\varepsilon$$a$$f(\beta_i)$$f(\beta_i) - f(a)$

Esse primeiro termo, , é controlado por (não podemos fazer nada sobre ) e apareceria se não categorizássemos abundância. O segundo termo é aleatório - depende de e evidentemente está correlacionado com . Mas podemos dizer algo sobre isso: ele deve estar entre e . Além disso, se estiver fazendo um bom trabalho, o segundo termo poderá ser aproximadamente uniformemente distribuído. Ambas as considerações sugerem escolher para que$f(a + \varepsilon) - f(a)$$f$$\varepsilon$$\varepsilon$$\varepsilon$$i - f(\beta_i) \lt 0$$i+1 - f(\beta_i) \ge 0$$f$$\beta_i$$f(\beta_i)$fica a meio caminho entre e ; isto é, .$i$$i+1$$\beta_i \approx f^{-1}(i+1/2)$

Essas categorias nesta questão formam uma progressão aproximadamente geométrica, indicando que é uma versão ligeiramente distorcida de um logaritmo. Portanto, devemos considerar o uso das médias geométricas dos pontos finais do intervalo para representar os dados de abundância .$f$

A regressão de mínimos quadrados ordinários (OLS) com este procedimento fornece uma inclinação de 7,70 (erro padrão é 1,00) e interceptação de 0,70 (erro padrão é 0,58), em vez de uma inclinação de 8,19 (se de 0,97) e interceptação de 0,69 (se de 0,56) ao regredir abundâncias de log em relação ao tamanho. Ambos exibem regressão à média, porque a inclinação teórica deve estar próxima de . O método categórico exibe um pouco mais de regressão à média (uma inclinação menor) devido ao erro de discretização adicionado, como esperado.$4 \log(10) \approx 9.21$

Este gráfico mostra as abundâncias não categorizadas, juntamente com um ajuste baseado nas abundâncias categorizadas (usando médias geométricas dos pontos finais da categoria, conforme recomendado) e um ajuste com base nas próprias abundâncias. Os ajustes são notavelmente próximos, indicando que esse método de substituição de categorias por valores numéricos adequadamente escolhidos funciona bem no exemplo .

Geralmente, é necessário algum cuidado na escolha de um "ponto médio" apropriado para as duas categorias extremas, porque geralmente não é delimitado por lá. (Neste exemplo, considerei o ponto de extremidade esquerdo da primeira categoria como vez de e o ponto de extremidade direito da última categoria em ) Uma solução é resolver o problema primeiro usando dados que não estão nas categorias extremas , use o ajuste para estimar valores apropriados para essas categorias extremas e volte e ajuste todos os dados. Os valores de p serão um pouco bons demais, mas no geral o ajuste deve ser mais preciso e menos inclinado. f 1 0 $\beta_i$$f$$1$$0$$25000$

Considere usar o logaritmo do tamanho.