Como definir rigorosamente a probabilidade?

A probabilidade pode ser definida de várias maneiras, por exemplo:

a função $L$ de que mapeia para isto é, . $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
a função aleatória $L(\cdot \mid X)$
também podemos considerar que a probabilidade é apenas a probabilidade "observada" $L(\cdot \mid x^{\text{obs}})$
na prática, a probabilidade traz informações sobre apenas até uma constante multiplicativa; portanto, podemos considerar a probabilidade como uma classe de equivalência de funções, e não como uma função $\theta$

Outra questão ocorre quando se considera a mudança de parametrização: se é a nova parametrização que comumente designamos por a probabilidade em e essa não é a avaliação da função anterior em mas em . Essa é uma notação abusiva, mas útil, que pode causar dificuldades aos iniciantes se não for enfatizada. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

Qual é a sua definição rigorosa favorita da probabilidade?

Além disso, como você chama ? Eu costumo dizer algo como "a probabilidade em quando é observado". $L(\theta \mid x)$ $\theta$ $x$

EDIT: Tendo em vista alguns comentários abaixo, percebo que deveria ter precisado o contexto. Considero um modelo estatístico dado por uma família paramétrica de densidades em relação a alguma medida dominante, com cada definido no espaço de observações . Portanto, definimos e a pergunta é "o que é ?" (a questão não é sobre uma definição geral da probabilidade) $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

mathematical-statistics likelihood likelihood-ratio parametric Stéphane Laurent
fonte

(1) Como

para todo

, acredito que mesmo a constante em

seja definida. (2) Se você pensa em parâmetros como

como sendo meramente coordenadas para uma variedade de distribuições, a mudança de parametrização não tem significado matemático intrínseco; é apenas uma mudança de descrição. (3) Os falantes nativos de inglês diriam mais naturalmente "probabilidade de

" do que "

". (4) A cláusula "quando

é observado" apresenta dificuldades filosóficas, porque a maioria de

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$ nunca será observado. Por que não dizer apenas "probabilidade de

dado

θ

$\theta$

x

$x$

whuber

@ whuber: Para (1), não acho que a constante esteja bem definida. Veja o livro de ET Jaynes, onde ele escreve: "que uma probabilidade não é uma probabilidade porque sua normalização é arbitrária".

Neil G

Você parece estar confundindo dois tipos de normalização, Neil: Jaynes estava se referindo à normalização pela integração sobre

, não

θ

$\theta$

x

$x$

whuber

@ whuber: Eu não acho que um fator de escala importará para o limite Cramer-Rao porque a alteração

adiciona uma quantidade constante à probabilidade logarítmica, que desaparece quando a derivada parcial é obtida.

k

$k$

Neil G

Concordo com Neil, não vejo qualquer aplicação onde a constante desempenha um papel

Stéphane Laurent

Respostas:

Seu terceiro item é o que eu vi com mais frequência como definição rigorosa.

Os outros também são interessantes (+1). Em particular, o primeiro é atraente, com a dificuldade de o tamanho da amostra ainda não estar definido (ainda), é mais difícil definir o conjunto "de".

Para mim, a intuição fundamental da probabilidade é que ela é uma função do modelo + seus parâmetros, não uma função das variáveis aleatórias (também um ponto importante para fins de ensino). Então, eu me ateria à terceira definição.

A fonte do abuso de notação é que o conjunto "de" da probabilidade está implícito, o que geralmente não é o caso de funções bem definidas. Aqui, a abordagem mais rigorosa é perceber que, após a transformação, a probabilidade está relacionada a outro modelo. É equivalente ao primeiro, mas ainda outro modelo. Portanto, a notação de probabilidade deve mostrar a qual modelo ele se refere (por subscrito ou outro). Eu nunca faço isso, é claro, mas para ensinar, eu poderia.

Finalmente, para ser consistente com minhas respostas anteriores, digo a "probabilidade de " em sua última fórmula. $\theta$

gui11aume
fonte

Obrigado. E qual é o seu conselho sobre a igualdade até uma constante multiplicativa?

Stéphane Laurent

Pessoalmente, prefiro chamá-lo quando necessário, em vez de codificá-lo na definição. E pense que, para seleção / comparação de modelos, essa igualdade "constante até multiplicativa" não se aplica.

precisa saber é o seguinte

Está bem. Com relação ao nome, você pode imaginar discutir sobre as probabilidades

para duas possíveis observações. Nesse caso, você diria "a probabilidade de

quando

observado" ou "a probabilidade de

para a observação

" ou algo mais?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

Stéphane Laurent

Se você parametrizar novamente o seu modelo com

na verdade você calculará a probabilidade como uma composição de funções

Onde

. Nesse caso,

passa de

para

portanto, o conjunto de definições (mencionado como "de" conjunto) da probabilidade não é mais o mesmo. Você pode chamar a primeira função

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$ e o segundo

porque não são as mesmas funções.

L_{2} (. |)

$L_2(.|)$

precisa saber é o seguinte

Como a terceira definição é rigorosa? E qual é o problema com o tamanho da amostra não estar definido? Como dizemos

, o que naturalmente cria uma álgebra sigma correspondente para o espaço de amostra

, por que não podemos ter a definição paralela de verossimilhanças?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

Neil G

Eu acho que chamaria de algo diferente. Probabilidade é a densidade de probabilidade para o x observado, dado o valor do parâmetro expresso em função de para o determinado . Não compartilho a visão sobre a constante de proporcionalidade. Penso que isso só entra em jogo porque maximizar qualquer função monotônica da probabilidade fornece a mesma solução para . Portanto, você pode maximizar para ou outras funções monotônicas, como $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$ o que é comumente feito.

Michael R. Chernick
fonte

Não só a maximização: o up-to-proporcionalidade também entra em jogo na relação noção probabilidade, e na fórmula de Bayes para as estatísticas Bayesian

Stéphane Laurent

Eu pensei que alguém poderia rebaixar minha resposta. Mas acho que é bastante razoável definir probabilidade dessa maneira como uma probabilidade definitiva, sem chamar nada de decorativo para isso. @ StéphaneLaurent ao seu comentário sobre anteriores, se a função for integrável, ela poderá ser normalizada para uma densidade. O posterior é proporcional à probabilidade vezes o anterior. Como o posterior deve ser normalizado dividindo-se por uma integral, é melhor especificar o anterior para ser a distribuição. É apenas em um sentido estendido que isso é aplicado a priores impróprios.

Michael R. Chernick

Não sei ao certo por que alguém rebaixou essa resposta. Parece que você está tentando responder mais às segundas e perguntas do OP do que à primeira. Talvez isso não estivesse totalmente claro para outros leitores. Felicidades. :)

cardeal

@ Michael Eu não vejo a necessidade de diminuir esta resposta também. Em relação aos priores não informativos (essa é outra discussão e), pretendo abrir uma nova dissucção sobre esse assunto. Não farei isso logo, porque não sou fácil com o inglês, e é mais difícil para mim escrever "filosofia" do que matemática.

Stéphane Laurent

@ Stephanie: Se você quiser, considere postar sua outra pergunta diretamente em francês. Temos vários falantes nativos de francês neste site que provavelmente ajudariam a traduzir todas as passagens que você não tiver certeza. Isso inclui um moderador e também um editor de uma das principais revistas de estatística em inglês. Estou ansioso para a pergunta.

cardeal

Aqui está uma tentativa de uma definição matemática rigorosa:

Seja um vetor aleatório que admita uma densidade em relação a alguma medida em , onde para , é uma família de densidades em com respeito ao . Então, para qualquer , definimos a função de probabilidade $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ é ; para maior clareza, para cada temos . Pode-se pensar em como um potencial específico e como o valor "verdadeiro" de . $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ $\theta_0$ $\theta$

Algumas observações sobre esta definição:

A definição é bastante robusto para lidar com tipos discretos, contínuos, e outros de famílias de distribuições para . $X$
Estamos definindo a probabilidade no nível das funções de densidade, em vez de no nível das distribuições / medidas de probabilidade. A razão para isso é que as densidades não são únicas, e verifica-se que não é uma situação em que se possa passar para classes equivalentes de densidades e ainda estar seguro: escolhas diferentes de densidades levam a MLEs diferentes no caso contínuo. No entanto, na maioria dos casos, existe uma escolha natural de famílias de densidades que são desejáveis teoricamente.
Eu gosto dessa definição porque ela incorpora as variáveis aleatórias com as quais estamos trabalhando e, por design, já que precisamos atribuir uma distribuição a elas, também construímos rigorosamente a noção do valor "verdadeiro, mas desconhecido" de , aqui indicado . Para mim, como estudante, o desafio de ser rigoroso quanto à probabilidade sempre foi como conciliar os conceitos do mundo real de um "verdadeiro" e "observado" com a matemática; isso geralmente não era ajudado por instrutores que afirmavam que esses conceitos não eram formais, mas depois se revezavam e os usavam formalmente para provar as coisas! Então, lidamos com eles formalmente nesta definição. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDIT: É claro que somos livres para considerar os elementos aleatórios usuais , e e, nessa definição, sem problemas reais com rigor, desde que você seja cuidadoso (ou mesmo se você não estiver, se esse nível de rigor não for importante para você). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

cara
fonte

@ Xi'an Let

seja uniforme em

. Considere duas densidades

versus

. Ambos

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

são densidades válidas para

, mas sob

o MLE existe e é igual a

enquanto em

temos

modo que se você definir

você acabar com uma probabilidade de

, e de fato o MLE não existe porque

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

não é atingido para nenhum

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$

θ

$\theta$

cara

@ cara: obrigado, eu não sabia sobre este contra-exemplo interessante.

Xian

@guy Você disse que

não é atingido para nenhum

. No entanto, esse supremo é atingido em algum momento, como mostro abaixo:

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

onde

. Estou assumindo que

para todos

. É simples ver que 1.

, se

{eu}_{1 1} (θ; x) = \prod_{j = 1 1}^{n} f_{1 1} (x_{j} | θ) = θ^{- n} \prod_{j = 1 1}^{n} Eu (0 0 < x_{j} < θ) = θ^{- n} Eu (0 0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

; 2.

, se

. Continuando ...

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

Alexandre Patriota

@ cara: continuando ... Ou seja,

para todos

. Não temos um valor máximo, mas o supremo existe e é dado por

e o argumento é

{eu}_{1 1} (θ; x) \in [0 0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0 0, \infty)} {eu}_{1 1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

Talvez os assintóticos usuais não sejam aplicados aqui e outras portagens devam ser empregadas. Mas, o supremo de

existe ou perdi alguns conceitos muito básicos.

M = \arg sup_{θ \in (0 0, \infty)} {eu}_{1 1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

Alexandre Patriota

@AlexandrePatriota O supremo existe, obviamente, mas não é atingido pela função. Não sei ao certo o que a notação

significa - não há argumento de

que produza o

porque

. A MLE é definido como qualquer

que atinge o

(tipicamente) e não há

alcança o

aqui. Obviamente, existem maneiras de contornar isso - os assintóticos que apelamos para exigir que haja

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$ existe uma probabilidade com essas propriedades, e existe. É apenas

vez de

L_{2}

$L_2$

L_{1}

$L_1$

cara,