De onde a distribuição beta?

Como eu tenho certeza que todos aqui já sabem, o PDF da distribuição Beta é fornecido por $X \sim B(a,b)$

$f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}$

Eu tenho procurado em todo o lugar por uma explicação das origens dessa fórmula, mas não consigo encontrá-la. Todos os artigos que encontrei na distribuição Beta parecem fornecer essa fórmula, ilustrar algumas de suas formas e depois discutir diretamente seus momentos.

Não gosto de usar fórmulas matemáticas que não possam derivar e explicar. Para outras distribuições (por exemplo, gama ou binomial), há uma derivação clara que posso aprender e usar. Mas não consigo encontrar nada parecido para a distribuição Beta.

Então, minha pergunta é: quais são as origens dessa fórmula? Como pode ser derivado dos primeiros princípios em qualquer contexto em que foi originalmente desenvolvido?

[Para esclarecer, não estou perguntando sobre como usar a distribuição Beta nas estatísticas bayesianas, ou o que isso significa intuitivamente na prática (li o exemplo do beisebol). Eu só quero saber como obter o PDF. Havia uma pergunta anterior que perguntava algo semelhante, mas estava marcada (penso incorretamente) como uma duplicata de outra pergunta que não abordava o problema, por isso não consegui encontrar nenhuma ajuda até agora.]

EDIT 06-05-2017: Obrigado a todos pelas perguntas. Eu acho que uma boa explicação do que eu quero vem de uma das respostas que recebi quando perguntei a alguns de meus instrutores do curso:

"Acho que as pessoas podem derivar a densidade normal como um limite de uma soma de n coisas divididas por sqrt (n), e você pode derivar a densidade de poisson da idéia de eventos que ocorrem a uma taxa constante. Da mesma forma, para derivar a densidade beta, você teria que ter algum tipo de idéia do que torna uma distribuição beta algo independente e logicamente anterior à densidade ".

Portanto, a ideia "ab initio" nos comentários provavelmente é a mais próxima do que estou procurando. Eu não sou um matemático, mas me sinto mais confortável usando a matemática que posso derivar. Se as origens são muito avançadas para eu lidar, que assim seja, mas se não, eu gostaria de entendê-las.

probability mathematical-statistics pdf beta-distribution history Will Bradshaw
fonte

Derivado de quê? Se a abordagem anterior ao conjugado binomial não for aceitável, várias alternativas estão aqui (por exemplo, estatísticas de ordem de uma variável aleatória uniforme, proporções de variáveis gama).

GeoMatt22

Nota: todo o histórico da distribuição Beta é fornecido na página inacreditável da Wikipedia nesta distribuição, que contém todos os detalhes possíveis!

Xian

A pergunta anterior foi marcada como uma duplicata da outra após o OP esclarecer o que estava procurando em um comentário. A whuber fez a mesma pergunta que o @ Geomatt22 faz aqui: "Uma derivação significa uma conexão lógica de algo assumido com algo a ser estabelecido. O que você deseja assumir ?"

Scortchi - Restabelecer Monica

@ Aksakal, mas a questão é muito ampla - pode ser derivada de várias maneiras; Se você estiver certo, vou fechá-lo como demasiado ampla até que a questão é estreitada para baixo o suficiente para ser algo diferente de um saco de possíveis respostas

Glen_b -Reinstate Monica

Aqui está uma breve discussão sobre um pequeno contexto histórico (pelo menos em termos de sua relação com a função beta incompleta). Possui conexões com a distribuição gama, e muitas outras distribuições além e surgem razoavelmente de várias maneiras diferentes; como Xi'an aponta, também tem origens históricas no sistema Pearson . Que tipo de resposta você está procurando aqui? O que é dado / o que deve ser derivado?

Glen_b -Reinstala Monica

Respostas:

Como ex-físico, posso ver como isso poderia ter sido derivado. É assim que os físicos procedem:

quando encontram um integrante finito de uma função positiva, tal como função beta : eles definem instintivamente uma densidade:

B (x, y) = \int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t

$B(x,y) = \int_0^1t^{x-1}(1-t)^{y-1}\,dt$

que

f (s | x, y) = \frac{s^{x - 1} (1 - s)^{y - 1}}{\int_{0}^{1} t^{x - 1} (1 - t)^{y - 1} d t} = \frac{s^{x - 1} (1 - s)^{y - 1}}{B (x, y)},

$f(s|x,y)=\frac{s^{x-1}(1-s)^{y-1}}{\int_0^1t^{x-1}(1-t)^{y-1}\,dt}=\frac{s^{x-1}(1-s)^{y-1}}{B(x,y)},$

0 < s < 1

$0<s<1$

Eles fazem isso com todos os tipos de integrais o tempo todo com tanta frequência que acontece reflexivamente, sem sequer pensar. Eles chamam esse procedimento de "normalização" ou nomes semelhantes. Observe como, por definição, trivialmente, a densidade tem todas as propriedades que você deseja, como sempre positivas e adiciona uma.

A densidade que eu dei acima é da distribuição Beta. $f(t)$

ATUALIZAR

@ whuber's está perguntando o que há de tão especial na distribuição Beta, enquanto a lógica acima pode ser aplicada a um número infinito de integrais adequadas (como observei na minha resposta acima)?

A parte especial vem da distribuição binomial . Escreverei seu PDF usando notação semelhante à minha beta, não a notação usual para parâmetros e variáveis:

f^{'} (x, y | s) = (\binom{y + x}{x}) s^{x} (1 - s)^{y}

$f'(x,y|s) = \binom {y+x} x s^x(1-s)^{y}$

Aqui, - número de sucessos e fracassos - probabilidade de sucesso. Você pode ver como isso é muito semelhante ao numerador na distribuição Beta. De fato, se você procurar o anterior para a distribuição Binomial, será a distribuição Beta. Não é surpreendente também porque o domínio de Beta é de 0 a 1, e é isso que você faz no teorema de Bayes: integrar sobre o parâmetro , que é a probabilidade de sucesso, neste caso, como mostrado $x,y$ $s$ $s$ aqui- probabilidade (densidade) de probabilidade de sucesso, dadas as configurações anteriores de distribuição Beta, e- densidade de este conjunto de dados (ou seja, sucesso e falhas observados), dada uma probabilidade.

\hat{f} (x | X) = \frac{f^{'} (X | s) f (s)}{\int_{0}^{1} f^{'} (X | s) f (s) d s},

$\hat f(x|X)=\frac{f'(X|s)f(s)}{\int_0^1 f'(X|s)f(s)ds},$

f (s)

$f(s)$

f^{'} (X | s)

$f'(X|s)$

s

$s$

Aksakal quase certamente binário
fonte

@ Xi'an OP não parece estar interessado em história.

Aksakal quase certamente binário

"A explicação das origens dessa fórmula ... em qualquer contexto em que foi originalmente desenvolvida" parece história para mim :-).

whuber

Acredito que alguém possa se interessar tanto pela história quanto pelos primeiros princípios ao mesmo tempo. :-) Embora sua resposta seja matematicamente correta, infelizmente é muito geral: pode-se fazer uma densidade de qualquer função não negativa com integral finita. O que há de tão especial nessa família de distribuições em particular? Como tal, sua abordagem não parece satisfazer nenhum ponto de vista.

whuber

@WillBradshaw, sim. Normalmente, analisamos a distribuição binomial em função do número de falhas (ou sucessos), dada a probabilidade e o número de tentativas como parâmetros. Dessa forma, é uma distribuição discreta . No entanto, se você a considerar como uma função das probabilidades, considerando o número de sucessos e falhas como parâmetros, ela se tornará uma distribuição Beta quando você a redimensionar, uma distribuição contínua , btw.

Aksakal quase certamente binário

O artigo da Wikipedia sobre distribuição Beta o rastreia para Karl Pearson, exatamente como sugerido por @ Xi'an. Stigler, em A História das Estatísticas: A Medição da Incerteza Antes de 1900 , fornece um breve relato da derivação de Pearson usando notação moderna.

whuber

$-$ $B(a,b)$ $-$ menciona Wallis (1616-1703), Newton (1642-1726) e Stirling (1692-1770) lidando com casos especiais da integral ainda mais cedo. Karl Pearson (1895) primeiro catalogado esta família de distribuições como Tipo I Pearson .

$F(p,q)$

ϱ = {\hat{σ}}_{1}^{2} / {\hat{σ}}_{2}^{2} p {\hat{σ}}_{1}^{2} \sim χ_{p}^{2} q {\hat{σ}}_{1}^{2} \sim χ_{q}^{2}

$\varrho=\hat\sigma^2_1\big/\hat\sigma_2^2\qquad p\hat\sigma_1^2\sim\chi^2_p\quad q\hat\sigma_1^2\sim\chi^2_q$

\frac{p ϱ}{q + p ϱ} \sim B (p / 2, q / 2)

$\frac{p\varrho}{q+p\varrho}\sim B(p/2,q/2)$

ω \sim B (a, b)

$\omega\sim B(a,b)$

\frac{ω / uma}{(1 - ω) / b} \sim F (2 uma, 2 b)

$\dfrac{\omega/a}{(1-\omega)/b}\sim F(2a,2b)$

B (a, b)

$B(a,b)$

F (p, q)

$F(p,q)$

f_{p, q} (x) \propto {p x / q}^{p / 2 - 1} (1 + p x / q)^{- (p + q) / 2}

$f_{p,q}(x) \propto \{px/q\}^{p/2-1}(1+px/q)^{-(p+q)/2}$

y = \frac{{p x / q}}{{1 + p x / q}} y \in (0, 1)

$y=\frac{\{px/q\}}{\{1+px/q\}}\quad y\in(0,1)$

x = \frac{q y}{p (1 - y)}

$x=\frac{qy}{p(1-y)}$

\frac{d x}{d y} = \frac{q}{p (1 - y)} + \frac{q y}{p (1 - y)^{2}} = \frac{p}{q (1 - y)^{2}}

$\frac{\text{d}x}{\text{d}y}=\frac{q}{p(1-y)}+\frac{qy}{p(1-y)^2}=\frac{p}{q(1-y)^2}$

g (y) \propto y^{p / 2 - 1} (1 - y)^{q / 2 + 1} (1 - y)^{- 2} = y^{p / 2 - 1} (1 - y)^{q / 2 + 1}

$g(y)\propto y^{p/2-1}(1-y)^{q/2+1}(1-y)^{-2}=y^{p/2-1}(1-y)^{q/2+1}$ [onde todas as constantes de normalização são obtidas impondo que a densidade se integre a uma.

Xi'an
fonte

+1. Talvez valha a pena notar que K. Pearson não apenas "catalogou" as distribuições Beta: ele as derivou por meio de soluções de uma família de equações diferenciais inspiradas em uma relação que observou entre equações diferenciais para as equações binomiais e diferenciais para distribuição normal. A generalização da equação da diferença binomial para a distribuição hipergeométrica produziu uma generalização da equação diferencial, cujas soluções incluíram as distribuições Beta "Tipo I" e "Tipo II". Esse é precisamente o tipo de derivação ab initio que o OP parece estar buscando.

whuber

Eu acho que posso aprender muito estudando esta resposta. Está muito avançado para mim no momento, mas quando tiver tempo voltarei e pesquisarei os tópicos mencionados, e tente novamente entendê-lo. Muito Obrigado. :)

Will Bradshaw

Antes de tudo, não sou bom em descrições matematicamente precisas de conceitos na minha cabeça, mas tentarei o meu melhor usando um exemplo simples:

$\lambda$

\begin{array}{rcl} λ = g (x) = λ_{m uma x} - (q | x - x_{0 0} |)^{\frac{1}{q}}, q > 0 0, 0 0 \leq λ \leq λ_{m uma x} \end{array}

$\begin{eqnarray} \lambda=g(x)=\lambda_{max}-(q|x-x_0|)^\frac{1}{q},~q > 0,~0 \leq \lambda \leq \lambda_{max} \end{eqnarray}$

x_{0}

$x_0$

q = 1 / 2

$q=1/2$

$x_0$ $g(x)$ $P(x_0) = C\cdot g(x)^{p-1})$ $P(\lambda)d\lambda=P(x_0)dx_0$ $\lambda$

\begin{array}{rcl} P (λ) = P (g^{- 1} (λ)) | \frac{d g^{- 1} (λ)}{d λ} | = C^{'} \cdot λ^{p - 1} \cdot (λ_{m uma x} - λ)^{q - 1} \end{array}

$\begin{eqnarray}P(\lambda) = P(g^{-1}(\lambda)) \biggl|\frac{dg^{-1}(\lambda)}{d\lambda}\biggl| = C' \cdot \lambda^{p-1} \cdot (\lambda_{max} - \lambda)^{q-1}\end{eqnarray}$

$C'$ $\lambda_{max} = 1$

Em outras palavras, a distribuição beta pode ser vista como a distribuição de probabilidades no centro de uma distribuição instável.

$g(x)$ $P(x_0)$

$g(x)$ $p(x_0)$ aplicando a lógica reversa. A mistura Beta-Poisson é uma alternativa muito interessante e flexível à distribuição binomial negativa amplamente usada (que é uma mistura Gamma-Poisson) para modelar a super-dispersão. Abaixo, você encontra um exemplo do "Jitter $\rightarrow$ Beta "- ideia em ação:

A : Deslocamento de teste 1D simulado, obtido a partir da distribuição de jitter na inserção ( $P(jitter)\propto g(x)^{p-1}$ ) O campo de tiro com média de teste (linha preta sólida) é mais amplo e possui uma taxa de pico mais baixa em comparação com a curva de ajuste subjacente sem tremulação (linha azul sólida, parâmetros usados: $\lambda_{max} = 10, p = .6, q=.5$ . B : A distribuição resultante de $\lambda$ às $x_0$ em N = 100 tentativas e no pdf analítico da distribuição Beta. C : Distribuição simulada de contagem de pico de um processo de Poisson com parâmetros $\lambda_i$ onde eu denoto os índices dos ensaios e a distribuição Beta-Poisson resultante, como derivado como esboçado acima. D : Situação análoga em 2D com ângulos de deslocamento aleatórios levando a estatísticas idênticas.

Jojo
fonte