Sou mais programador do que estatístico, então espero que essa pergunta não seja muito ingênua.
Isso acontece na execução de programas de amostragem em momentos aleatórios. Se eu coletar N = 10 amostras em tempo aleatório do estado do programa, eu poderia ver a função Foo sendo executada em, por exemplo, I = 3 dessas amostras. Estou interessado no que isso me diz sobre a fração de tempo real F que Foo está em execução.
Entendo que sou distribuído binomialmente com F * N médio. Eu também sei que, dado I e N, F segue uma distribuição beta. Na verdade, eu verifiquei por programa a relação entre essas duas distribuições, que é
cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1
O problema é que não tenho uma sensação intuitiva do relacionamento. Não consigo "imaginar" por que funciona.
Edição: Todas as respostas foram desafiadoras, especialmente @ whuber's, que eu ainda preciso gritar, mas trazer estatísticas de ordem foi muito útil. No entanto, percebi que deveria ter feito uma pergunta mais básica: dados I e N, qual é a distribuição de F? Todo mundo apontou que é Beta, que eu sabia. Finalmente descobri na Wikipedia ( Conjugado anterior ) que parece ser Beta(I+1, N-I+1)
. Depois de explorá-lo com um programa, parece ser a resposta certa. Então, eu gostaria de saber se estou errado. E ainda estou confuso sobre a relação entre os dois cdfs mostrados acima, por que eles somam 1 e se eles têm alguma coisa a ver com o que eu realmente queria saber.
fonte
Respostas:
Considere as estatísticas da ordem de empates independentes de uma distribuição uniforme. Como as estatísticas dos pedidos têm distribuições Beta , a chance de que não exceda é dada pela integral Beta n + 1 x [ k ] Px[0]≤x[1]≤⋯≤x[n] n+1 x[k] p
(Por que isso? Aqui está uma demonstração não rigorosa, mas memorável. A chance de que esteja entre e é a chance de que dentre valores uniformes, deles esteja entre e , pelo menos um deles está entre e , e o restante está entre e Para a primeira ordem no infinitesimal , precisamos considerar apenas o caso em que exatamente um valor (ou seja, ) fica entre e e, portanto, p p + d p n + 1 k 0 p p p + d p p + d p 1 d p x [ k ] p p + d p n - k p + d p p k ( d p ) ( 1 - p - d p ) n - k dx[k] p p+dp n+1 k 0 p p p+dp p+dp 1 dp x[k] p p+dp n−k valores excedem . Como todos os valores são independentes e uniformes, essa probabilidade é proporcional a . Para a primeira ordem em isso é igual a , precisamente o integrando da distribuição Beta. O termo pode ser calculado diretamente a partir desse argumento como o coeficiente multinomial ou derivado indiretamente como a constante de normalização da integral.)p+dp pk(dp)(1−p−dp)n−k p k ( 1 - p ) n - k d p 1dp pk(1−p)n−kdp 1B(k+1,n−k+1) (n+1k,1,n−k)
Por definição, o evento é que o valor de não excede . Equivalentemente, pelo menos dos valores não excede : essa afirmação simples (e espero óbvia) fornece a intuição que você procura. A probabilidade da afirmação equivalente é dada pela distribuição binomial,k + 1 st p k + 1 px[k]≤p k+1st p k+1 p
Em resumo , a integral Beta divide o cálculo de um evento em uma série de cálculos: encontrar pelo menos valores de no intervalo , cuja probabilidade normalmente calcularíamos com um cd binomial, é dividida mutuamente casos exclusivos em que exatamente os valores de estão no intervalo e 1 está no intervalo para todos os possíveis , , e é um comprimento infinitesimal. A soma de todas essas "janelas" - ou seja, integrando - deve fornecer a mesma probabilidade do CD binomial.[ 0 , p ] k [ 0 , x ] [ x , x + d x ] x 0 ≤ x < p d x [ x , xk + 1 [ 0 , p ] k [ 0 , x ] [ x , x + dx ] x 0 ≤ x < p dx [ x , x + dx ]
fonte
Veja o pdf do Binomial como uma função de : e o pdf do Beta como uma função de : Você provavelmente pode ver que, com uma escolha apropriada (inteira) para e são iguais. Tanto quanto posso dizer, é tudo o que existe nessa relação: a maneira como entra no binômio pdf é chamada de distribuição Beta.f ( x ) = ( nx p
fonte
Como você observou, a distribuição Beta descreve a distribuição da probabilidade julgamento parâmetro , enquanto a distribuição binomial descreve a distribuição do resultado do parâmetro . Reescrevendo sua pergunta, o que você perguntou foi sobre por que Ou seja, a probabilidade de que a observação mais um seja maior que a expectativa da observação é a mesma probabilidade de que a observação mais uma é maior que a expectativa da observação.I P ( F ≤ i + 1F Eu P(Fn≤i+1)+P(I+1≤fn)=1P(Fn≤i+1)=P(fn<I+1)
Admito que isso pode não ajudar a intuir a formulação original do problema, mas talvez ajude a pelo menos ver como as duas distribuições usam o mesmo modelo subjacente de repetidos ensaios de Bernoulli para descrever o comportamento de diferentes parâmetros.
fonte
Em terras bayesianas, a distribuição Beta é o conjugado anterior para o parâmetro p da distribuição Binomial.
fonte
Não posso comentar sobre outras respostas, por isso tenho que criar minha própria resposta.
Posterior = C * Probabilidade * Anterior (C é uma constante que torna o Posterior integrado a 1)
Dado um modelo que usa distribuição binomial por probabilidade e distribuição beta por prior. O produto dos dois que gera o Posterior também é uma distribuição Beta. Como o anterior e o posterior são ambos beta e, portanto, são distribuições conjugadas . o Prior (a Beta) é chamado de conjugado anterior para a probabilidade (um Binomial). Por exemplo, se você multiplicar um Beta por um Normal, o Posterior não será mais um Beta. Em resumo, Beta e Binomial são duas distribuições usadas com frequência na inferência bayesiana. Beta é conjugado antes do binômio, mas as duas distribuições não são um subconjunto ou superconjunto da outra.
A idéia-chave da inferência bayesiana é que estamos tratando o parâmetro p como uma variável aleatória que varia de [0,1], o que é contrário à abordagem de inferência freqüencialista, na qual estamos tratando o parâmetro p como fixo. Se você observar atentamente as propriedades da distribuição Beta, verá que a Média e o Modo são determinados apenas por e irrelevantes para o parâmetro pα β . Isso, juntamente com sua flexibilidade, é o motivo pelo qual o Beta é geralmente usado como Prior.
fonte
Resumo: Costuma-se dizer que a distribuição Beta é uma distribuição nas distribuições! Mas o que são meios?
Essencialmente significa que você pode corrigir pensar em como uma função de . O que o cálculo abaixo diz é que o valor de aumenta de para quando você ajusta de para . A taxa crescente em cada é exatamente naquele .n , k P [Bin(n,p)⩾k] p P [Bin(n,p)⩾k] 0 0 1 p 0 0 1 p β( k , n - k + 1 ) p
Deixe denotar uma variável aleatória Binomial com amostras e a probabilidade de sucesso . Usando álgebra básica, temosB i n ( n , p ) n p
Ele também tem uma boa prova combinatória, pense nisso como um exercício!
Então nós temos:
Observação Para ver uma versão interativa da trama, veja isso . Você pode baixar o notebook ou apenas usar o link Binder.
fonte