Perguntas sobre o princípio da verossimilhança

17

Atualmente, tento entender o Princípio da Probabilidade e, sinceramente, não entendo nada. Então, vou escrever todas as minhas perguntas como uma lista, mesmo que sejam perguntas bem básicas.

  • O que exatamente significa "toda a informação" no contexto deste princípio? (como em todas as informações em uma amostra estão contidas na função de probabilidade).
  • O princípio está de alguma forma ligado ao fato comprovável de que ? A "probabilidade" no princípio é a mesma coisa que p ( y | x ) ou não?p(x|y)p(y|x)p(x)p(y|x)
  • Como um teorema matemático pode ser "controverso"? Minha (fraca) compreensão da matemática é que um teorema é provado ou não. A que categoria o Princípio da Probabilidade se enquadra?
  • Qual a importância do princípio de verossimilhança para a inferência bayesiana, que é baseada na fórmula ?p(x|y)p(y|x)p(x)
Karel Bílek
fonte
Karel, por favor, dê uma olhada: ime.usp.br/~pmarques/papers/redux.pdf
Zen
Veja também o site de Greg Gandenberger: gandenberger.org
Michael Lew

Respostas:

10

O princípio da verossimilhança foi afirmado de muitas maneiras diferentes, com significado e inteligibilidade variáveis. O livro Probabilidade de AWF Edwards é uma excelente introdução a muitos aspectos de probabilidade e ainda está impresso. É assim que Edwards define o princípio da probabilidade:

"No âmbito de um modelo estatístico, todas as informações fornecidas pelos dados sobre os méritos relativos de duas hipóteses estão contidas na razão de verossimilhança dessas hipóteses." (Edwards 1972, 1992, p. 30)

Então agora para respostas.

  1. "Todas as informações da amostra", como você cita, são simplesmente uma expressão inadequada da parte relevante do princípio da probabilidade. Edwards diz muito melhor: o modelo importa e a informação relevante é a informação relativa aos méritos relativos das hipóteses. É útil observar que a razão de verossimilhança só faz sentido quando as hipóteses em questão vêm do mesmo modelo estatístico e são mutuamente exclusivas. De fato, eles precisam ser pontos na mesma função de probabilidade para que a razão seja útil.

  2. O princípio da probabilidade está relacionado ao teorema de Bayes, como você pode ver, mas é comprovável sem referência ao teorema de Bayes. Sim, p (x | y) é (proporcional a) uma probabilidade, desde que x sejam dados e y seja uma hipótese (que pode ser apenas um valor de parâmetro hipotético).

  3. O princípio da probabilidade é controverso porque sua prova foi contestada. Na minha opinião, as reprovações são defeituosas, mas, no entanto, são controversas. (Em um nível diferente, pode-se dizer que o princípio da probabilidade é controverso porque implica que os métodos freqüentes de inferência são, de certa forma, defeituosos. Algumas pessoas não gostam disso.) O princípio da probabilidade foi provado, mas seu escopo é a relevância pode ser mais restrita do que seus críticos imaginam.

  4. O princípio da verossimilhança é importante para os métodos bayesianos porque os dados entram na equação de Bayes por meio das probabilidades. A maioria dos métodos bayesianos é compatível com o princípio da probabilidade, mas não com todos. Algumas pessoas, como Edwards e Royall, argumentam que inferências podem ser feitas com base em funções de probabilidade sem o uso do teorema de Bayes, "pura inferência de probabilidade". Isso também é controverso. De fato, é provavelmente mais controverso que o princípio da probabilidade, porque os bayesianos tendem a concordar com os freqüentistas de que os métodos de pura probabilidade são inadequados. (Inimigo do meu inimigo ...)

Michael Lew
fonte
"É útil observar que a razão de verossimilhança só faz sentido de onde as hipóteses em questão vêm do mesmo modelo estatístico" - o que isso significa exatamente? Parece que você está dizendo que não pode comparar modelos de diferentes famílias de distribuições, o que não é verdade.
Scortchi - Restabelece Monica
Como as probabilidades são apenas proporcionais a * p * (x | y), sempre há uma constante de proporcionalidade desconhecida. Modelos estatísticos diferentes permitem constantes de proporcionalidade diferentes e, portanto, as probabilidades podem ser incomensuráveis.
Michael Lew
Às vezes, diferentes modelos podem ser organizados para produzir uma única função de probabilidade (geralmente multidimensional), para que as probabilidades possam ser comparadas sensatamente, mas isso nem sempre é possível.
22713 Michael Michael Lew
1
xfgθϕ
f(x;θ^)g(x;ϕ^)
1
χ2