Interpretando exp (B) na regressão logística multinomial

Essa é uma pergunta de um iniciante, mas como interpretar um resultado exp (B) de 6.012 em um modelo de regressão logística multinomial?

1) é 6.012-1.0 = 5.012 = aumento de 5012% no risco?

ou

2) 6,012 / (1 + 6,012) = 0,857 = aumento de 85,7% no risco?

Caso ambas as alternativas estejam incorretas, alguém pode mencionar a maneira correta?

Procurei muitos recursos na internet e chego a essas duas alternativas, e não tenho certeza de qual delas está correta.

Levamos um tempo para chegar lá, mas, em resumo, uma alteração de uma unidade na variável correspondente a B multiplicará o risco relativo do resultado (comparado ao resultado base) por 6,012.

Pode-se expressar isso como um aumento de "5012%" no risco relativo , mas essa é uma maneira confusa e potencialmente enganosa de fazê-lo, porque sugere que devemos pensar nas mudanças de maneira aditiva, quando, na verdade, o modelo logístico multinomial nos encoraja fortemente a pense multiplicativamente. O modificador "relativo" é essencial, porque uma mudança em uma variável está mudando simultaneamente as probabilidades previstas de todos os resultados, não apenas o em questão, portanto, temos que comparar probabilidades (por meio de proporções, não diferenças).

O restante desta resposta desenvolve a terminologia e a intuição necessárias para interpretar essas declarações corretamente.

fundo

Vamos começar com a regressão logística comum antes de passar para o caso multinomial.

Para a variável dependente (binária) $Y$ e variáveis ​​independentes $X_i$ , o modelo é

$$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$$

equivalentemente, assumindo $0 \ne \Pr[Y=1] \ne 1$ ,

$$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$$

(Isso simplesmente define $\rho$ , que é a probabilidade em função do $X_i$ .)

Sem qualquer perda de generalidade, indexe o para que X m seja a variável e β m seja o "B" na pergunta (de modo que exp ( β m ) = 6,012 ). Fixando os valores de X i , 1 ≤ i < m , e variando X m por uma pequena quantidade $X_i$$X_m$$\beta_m$$\exp(\beta_m)=6.012$$X_i, 1\le i\lt m$$X_m$$\delta$ produz

$$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$$

Assim, é a mudança marginal nas probabilidades logarítmicas em relação a X m .$\beta_m$ $X_m$

Para recuperar , evidentemente devemos definir δ = 1 e exponenciar o lado esquerdo:$\exp(\beta_m)$$\delta=1$

$$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$$

Isso exibe como a razão de chances para um aumento de uma unidade em X m . Para desenvolver uma intuição para o que isso pode significar, tabule alguns valores para uma variedade de probabilidades iniciais, arredondando fortemente para destacar os padrões:$\exp(\beta_m)$$X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Para probabilidades realmente pequenas , que correspondem a probabilidades realmente pequenas , o efeito de um aumento de uma unidade em é multiplicar as probabilidades ou a probabilidade em cerca de 6,012. O fator multiplicativo diminui à medida que as probabilidades (e probabilidade) aumentam e desapareceu essencialmente quando as probabilidades excedem 10 (a probabilidade excede 0,9).$X_m$

Como uma alteração aditiva , não há muita diferença entre uma probabilidade de 0,0001 e 0,0006 (é apenas 0,05%), nem há muita diferença entre 0,99 e 1. (apenas 1%). O maior efeito aditivo ocorre quando as probabilidades são iguais a , em que a probabilidade muda de 29% a 71%: uma variação de + 42%.$1/\sqrt{6.012} \sim 0.408$

Vemos, então, que se expressarmos "risco" como uma razão de chances, = "B" tem uma interpretação simples - a razão de chances é igual a β m para um aumento unitário em X $\beta_m$$\beta_m$$X_m$ mas quando expressamos risco em de alguma outra maneira, como uma mudança nas probabilidades, a interpretação requer cuidados para especificar a probabilidade inicial.

Regressão logística multinomial

(Isso foi adicionado como uma edição posterior).

Tendo reconhecido o valor do uso de probabilidades de log para expressar chances, vamos para o caso multinomial. Agora a variável dependente pode ser igual a uma de k ≥ 2 categorias, indexadas por i = 1 , 2 , … , k . A probabilidade relativa de estar na categoria i é$Y$$k \ge 2$$i=1, 2, \ldots, k$$i$

$$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$$

com parâmetros a ser determinado e escrevendo Y i para Pr [ Y = categoria  i ] . Como abreviação, vamos escrever a expressão da direita como p i ( X , β ) ou, onde X e β são claros do contexto, simplesmente p i . A normalização para tornar todas essas probabilidades relativas somadas à unidade dá$\beta_j^{(i)}$$Y_i$$\Pr[Y=\text{category }i]$$p_i(X,\beta)$$X$$\beta$$p_i$

$$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$$

(Há uma ambiguidade nos parâmetros: há muitos deles. Convencionalmente, escolhe-se uma categoria "base" para comparação e força todos os seus coeficientes a zero. No entanto, embora seja necessário relatar estimativas únicas dos betas, é não necessário para interpretar os coeficientes para manter a simetria -. isto é, para evitar quaisquer distinções artificiais entre as categorias - não vamos impor qualquer restrição a menos que tenhamos a).

Uma maneira de interpretar esse modelo é solicitar a taxa marginal de mudança das probabilidades logarítmicas para qualquer categoria (por exemplo, categoria ) em relação a qualquer uma das variáveis ​​independentes (por exemplo, X j ). Isto é, quando mudamos X j por um pouco, que induz uma mudança na probabilidade de log de Y i . Estamos interessados ​​na constante de proporcionalidade relacionada a essas duas mudanças. A Regra em Cadeia do Cálculo, junto com um pouco de álgebra, nos diz que essa taxa de mudança é$i$$X_j$$X_j$$Y_i$

$$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$$

This has a relatively simple interpretation as the coefficient $\beta_j^{(i)}$ of $X_j$ in the formula for the chance that $Y$ is in category $i$ minus an "adjustment." The adjustment is the probability-weighted average of the coefficients of $X_j$ in all the other categories. The weights are computed using probabilities associated with the current values of the independent variables $X$. Thus, the marginal change in logs is not necessarily constant: it depends on the probabilities of all the other categories, not just the probability of the category in question (category $i$).

When there are just $k=2$ categories, this ought to reduce to ordinary logistic regression. Indeed, the probability weighting does nothing and (choosing $i=2$) gives simply the difference $\beta_j^{(2)} - \beta_j^{(1)}$. Letting category $i$ be the base case reduces this further to $\beta_j^{(2)}$, because we force $\beta_j^{(1)}=0$. Thus the new interpretation generalizes the old.

To interpret $\beta_j^{(i)}$ directly, then, we will isolate it on one side of the preceding formula, leading to:

The coefficient of $X_j$ for category $i$ equals the marginal change in the log odds of category $i$ with respect to the variable $X_j$, plus the probability-weighted average of the coefficients of all the other $X_{j'}$ for category $i$.

Another interpretation, albeit a little less direct, is afforded by (temporarily) setting category $i$ as the base case, thereby making $\beta_j^{(i)}=0$ for all the independent variables $X_j$:

The marginal rate of change in the log odds of the base case for variable $X_j$ is the negative of the probability-weighted average of its coefficients for all the other cases.

Actually using these interpretations typically requires extracting the betas and the probabilities from software output and performing the calculations as shown.

Finally, for the exponentiated coefficients, note that the ratio of probabilities among two outcomes (sometimes called the "relative risk" of $i$ compared to $i'$) is

$$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$$

Let's increase $X_j$ by one unit to $X_j+1$. This multiplies $p_{i}$ by $\exp(\beta_j^{(i)})$ and $p_{i'}$ by $\exp(\beta_j^{(i')})$, whence the relative risk is multiplied by $\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$ = $\exp(\beta_j^{(i)}-\beta_j^{(i')})$. Taking category $i'$ to be the base case reduces this to $\exp(\beta_j^{(i)})$, leading us to say,

The exponentiated coefficient $\exp(\beta_j^{(i)})$ is the amount by which the relative risk $\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$ is multiplied when variable $X_j$ is increased by one unit.

Try considering this bit of explanation in addition to what @whuber has already written so well. If exp(B) = 6, then the odds ratio associated with an increase of 1 on the predictor in question is 6. In a multinomial context, by "odds ratio" we mean the ratio of these two quantities: a) the odds (not probability, but rather p/[1-p]) of a case taking the value of the dependent variable indicated in the output table in question, and b) the odds of a case taking the reference value of the dependent variable.

You seem to be looking to quantify the probability--rather than odds-- of a case being in one or the other category. To do this you would need to know what probabilities the case "started with" -- i.e., before we assumed the increase of 1 on the predictor in question. Ratios of probabilities will vary case by case, while the ratio of odds connected with an increase of 1 on the predictor stays the same.

I was also looking for the same answer, but the once above were not satisfying for me. It seemed to complex for what it really is. So I will give my interpretation, please correct me if I am wrong.

Do however read to the end, since it is important.

First of all the values B and Exp(B) are the once you are looking for. If the B is negative your Exp(B) will be lower than one, which means odds decrease. If higher the Exp(B) will be higher than 1, meaning odds increase. Since you are multiplying by the factor Exp(B).

Unfortunately you are not there yet. Because in a multinominal regression your dependent variable has multiple categories, let's call these categories D1, D2 and D3. Of which your last is the reference category. And let's assume your first independent variable is sex (males vs females).

Let's say the output for D1 -> males is exp(B)= 1.21, this means for males the odds increase by a factor 1.21 for being in the category D1 rather than D3 (reference category) compared to females (reference category).

So you are always comparing against your reference category of the dependent but also independent variables. This is not true if you have a covariate variable. In that case it would mean; a one unit increase in X increases the odds by a factor of 1.21 of being in category D1 rather than D3.

For those with an ordinal dependent variable:

If you have an ordinal dependent variable and did not do an ordinal regression because of the assumption of proportional odds for instance. Keep in mind your highest category is the reference category. Your result as above are valid to report. But keep in mind that an increase in odds than in fact means an increase in odds of being in the lower category rather than the higher! But that's only if you have an ordinal dependant variable.

If you want to know the increase in percentage, well take a fictive odds-number, let's say 100 and multiply it by 1.21 which is 121? Compared to 100 how much did it change percentage wise?

Say that exp(b) in an mlogit is 1.04. if you multiply a number by 1.04, then it increases by 4%. That is the relative risk of being in category a instead of b. I suspect that part of the confusion here might have to do with by 4% (multiplicative meaning) and by 4 percent points (additive meaning). The % interpretation is correct if we talk about a percentage change not percentage point change. (The latter would not make sense anyhow as relative risks aren't expressed in terms of percentages.)