É o caso de a probabilidade logarítmica * sempre * ter curvatura negativa? Por quê?

7

As informações de Fisher são definidas de duas maneiras equivalentes: como a variação da inclinação de e como o negativo da curvatura esperada de . Como o primeiro é sempre positivo, isso implicaria que a curvatura da função de probabilidade de logaritmo é negativa em todos os lugares. Isso me parece plausível, já que toda distribuição que eu vi tem uma função de probabilidade logarítmica com curvatura negativa, mas não vejo por que esse deve ser o caso.(x)(x)

Nathan
fonte

Respostas:

15

Sua conclusão não se segue: se o valor esperado da curvatura da probabilidade logarítmica for negativo, não será necessariamente negativo em todos os lugares . Só precisa ser, em média, mais negativo do que positivo. Pense em uma distribuição bimodal: existe de fato uma região entre os modos com probabilidade de log curvada positivamente, portanto sua afirmação não pode ser verdadeira.

Observe o link com a estimativa de probabilidade máxima para intuição: na vizinhança do MLE, você pode esperar que a curvatura seja negativa porque está no máximo (embora não seja necessariamente, como se o máximo ocorre no limite, por exemplo) . Se a curvatura for negativa nas regiões mais prováveis, a média deverá tender a ser negativa, intuitivamente. De fato, sempre deve ser, nas condições de regularidade que permitem usar a equivalência com a definição de "variação da inclinação", como você indica.

Chris Haug
fonte
11

Para algumas classes de funções de probabilidade, pode-se provar que a probabilidade é log-côncava , ou seja, que a probabilidade de log possui segundas derivadas<=0 em qualquer lugar, o que facilita muito a vida (por exemplo, você pode provar a existência de máximos globais exclusivos, use métodos especializados de otimização ...) Por exemplo,

  • esta pergunta do CV mostra que a probabilidade da família exponencial com a função de link canônico é log-côncava
  • Neste artigo "Concavidade da probabilidade do log" Pratt 1981, a JASA prova a concavidade do log para uma classe de modelos com respostas ordinais.

Certamente também existem contra-exemplos (probabilidades que provavelmente não são côncavas). Por exemplo, qualquer probabilidade logarítmica bi ou multimodal não é côncava logarítmica ...

  • "Uma observação sobre bimodalidade na função de probabilidade logarítmica para modelos mistos de splines penalizados", Welham e Thompson 2009 CS&DA
  • "Probabilidades planas e multimodais e falta de adaptação do modelo em famílias exponenciais curvas", Sundberg 2010 Scand J Stat
  • "Problemas com estimativa de probabilidade de funções de covariância de processos gaussianos espaciais", Warnes e Ripley 1987 Biometrika
Ben Bolker
fonte
2
exemplos interessantes!
user795305
2
Obrigado por adicionar contra-exemplos de probabilidades que não são côncavas em log.
Chris Haug