Como os cientistas descobriram o formato da função de densidade de probabilidade de distribuição normal?

Esta é provavelmente uma pergunta amadora, mas estou interessado em como os cientistas criaram a forma da função de densidade de probabilidade de distribuição normal? Basicamente, o que me incomoda é que, para alguém, talvez seja mais intuitivo que a função de probabilidade dos dados normalmente distribuídos tenha a forma de um triângulo isósceles, em vez de uma curva de sino, e como você provaria a essa pessoa que a função de densidade de probabilidade da todos os dados normalmente distribuídos têm formato de sino? Por experimento? Ou por alguma derivação matemática?

Afinal, o que realmente consideramos dados normalmente distribuídos? Dados que seguem o padrão de probabilidade de uma distribuição normal ou algo mais?

Basicamente, minha pergunta é por que a função de densidade de probabilidade de distribuição normal tem um formato de sino e não qualquer outro? E como os cientistas descobriram em quais cenários da vida real a distribuição normal pode ser aplicada, experimentando ou estudando a natureza de vários dados em si?

Portanto, achei esse link realmente útil para explicar a derivação da forma funcional da curva de distribuição normal e, assim, responder à pergunta "Por que a distribuição normal se parece com ela e não com mais nada?". Raciocínio verdadeiramente alucinante, pelo menos para mim.

" A evolução da distribuição normal " de SAUL STAHL é a melhor fonte de informação para responder a praticamente todas as perguntas do seu post. Recitarei alguns pontos apenas para sua conveniência, porque você encontrará a discussão detalhada dentro do artigo.

Esta é provavelmente uma pergunta amadora

Não, é uma pergunta interessante para quem usa estatísticas, porque isso não é abordado em detalhes em nenhum lugar nos cursos padrão.

Basicamente, o que me incomoda é que, para alguém, talvez seja mais intuitivo que a função de probabilidade dos dados normalmente distribuídos tenha a forma de um triângulo isósceles, em vez de uma curva de sino, e como você provaria a essa pessoa que a função de densidade de probabilidade da todos os dados normalmente distribuídos têm formato de sino?

Olhe para esta foto do jornal. Ele mostra as curvas de erro criadas por Simpson antes da descoberta de Gaussian (Normal) para analisar dados experimentais. Então, sua intuição está no local.

Por experimento?

Sim, é por isso que eles foram chamados de "curvas de erro". O experimento foi medições astronômicas. Astrônomos lutaram com erros de medição por séculos.

Ou por alguma derivação matemática?

Mais uma vez, SIM! Para encurtar a história: a análise de erros nos dados astronômicos levou Gauss à sua distribuição (também conhecida como Normal). Estas são as suposições que ele usou:

Aliás, Laplace usou algumas abordagens diferentes e também apresentou sua distribuição enquanto trabalhava com dados astronômicos:

Quanto ao motivo pelo qual a distribuição normal aparece no experimento como erros de medição, aqui está uma explicação típica do físico "ondulado à mão" (uma citação de Gerhard Bohm, Günter Zech, Introdução à estatística e análise de dados para físicos p.85):

Muitos sinais experimentais seguem, para uma aproximação muito boa, uma distribuição normal. Isso se deve ao fato de que consistem na soma de muitas contribuições e uma conseqüência do teorema do limite central.

Você parece supor na sua pergunta que o conceito de distribuição normal existia antes da distribuição ser identificada e as pessoas tentaram descobrir o que era. Não está claro para mim como isso funcionaria. [Editar: há pelo menos um sentido que poderíamos considerar haver uma "busca por uma distribuição", mas não é "uma busca por uma distribuição que descreva muitos e muitos fenômenos"]

Este não é o caso; a distribuição era conhecida antes de ser chamada de distribuição normal.

como você provaria a uma pessoa que a função de densidade de probabilidade de todos os dados normalmente distribuídos tem o formato de um sino

A função de distribuição normal é aquela que costuma ser chamada de "forma de sino" - todas as distribuições normais têm a mesma "forma" (no sentido de que diferem apenas em escala e localização).

Os dados podem parecer mais ou menos "em forma de sino" na distribuição, mas isso não o torna normal. Muitas distribuições não normais parecem "em forma de sino".

As distribuições populacionais reais das quais os dados são extraídos provavelmente nunca são realmente normais, embora às vezes seja uma aproximação bastante razoável.

Isso geralmente acontece com quase todas as distribuições que aplicamos às coisas no mundo real - elas são modelos , não fatos sobre o mundo. [Como exemplo, se fizermos certas suposições (aquelas de um processo de Poisson), podemos derivar a distribuição de Poisson - uma distribuição amplamente usada. Mas essas suposições são exatamente satisfeitas? Geralmente, o melhor que podemos dizer (nas situações certas) é que elas são quase verdadeiras.]

o que realmente consideramos dados normalmente distribuídos? Dados que seguem o padrão de probabilidade de uma distribuição normal ou algo mais?

Sim, para ser realmente distribuído normalmente, a população da qual a amostra foi extraída teria que ter uma distribuição que tenha a forma funcional exata de uma distribuição normal. Como resultado, qualquer população finita não pode ser normal. Variáveis ​​que necessariamente delimitadas não podem ser normais (por exemplo, o tempo gasto para tarefas específicas, comprimentos de determinadas coisas não podem ser negativos, portanto, na verdade, não podem ser normalmente distribuídos).

talvez seja mais intuitivo que a função de probabilidade dos dados normalmente distribuídos tenha a forma de um triângulo isósceles

Não vejo por que isso é necessariamente mais intuitivo. É certamente mais simples.

Ao desenvolver pela primeira vez modelos de distribuição de erros (especificamente para astronomia no período inicial), os matemáticos consideraram uma variedade de formas em relação às distribuições de erros (incluindo em um ponto inicial uma distribuição triangular), mas em grande parte desse trabalho era matemática (em vez que a intuição) que foi usada. Laplace examinou distribuições exponenciais e normais duplas (entre várias outras), por exemplo. Da mesma forma, Gauss usou a matemática para derivá-la na mesma época, mas em relação a um conjunto diferente de considerações que Laplace.

No sentido estrito em que Laplace e Gauss estavam considerando "distribuições de erros", poderíamos considerar uma "busca por uma distribuição", pelo menos por um tempo. Ambos postularam algumas propriedades para uma distribuição de erros que consideravam importantes (Laplace considerou uma sequência de critérios um pouco diferentes ao longo do tempo) levou a diferentes distribuições.

Basicamente, minha pergunta é por que a função de densidade de probabilidade de distribuição normal tem um formato de sino e não qualquer outro?

A forma funcional da coisa que é chamada função de densidade normal confere essa forma. Considere o normal padrão (por simplicidade; todos os outros normais têm a mesma forma, diferindo apenas em escala e localização):

(onde é simplesmente uma constante escolhida para formar a área total 1)$k$

isso define o valor da densidade em todos os valores de ; portanto, descreve completamente o formato da densidade. A esse objeto matemático é a que ligamos o rótulo "distribuição normal". Não há nada de especial no nome; é apenas um rótulo que atribuímos à distribuição. Ele tem muitos nomes (e ainda é chamado de coisas diferentes por pessoas diferentes).$x$

Enquanto algumas pessoas consideram a distribuição normal como algo "usual", na verdade, é apenas em conjuntos particulares de situações que você até a vê como uma aproximação.

A descoberta da distribuição é geralmente creditada a de Moivre (como uma aproximação ao binômio). Com efeito, ele derivou a forma funcional ao tentar aproximar os coeficientes binomiais (/ probabilidades binomiais) para aproximar cálculos tediosos, mas - enquanto ele efetivamente deriva a forma da distribuição normal - ele não parece ter pensado em sua aproximação como uma distribuição de probabilidade, embora alguns autores sugiram que sim. É necessária uma certa quantidade de interpretação, para que haja margem para diferenças nessa interpretação.

Gauss e Laplace trabalharam nisso no início de 1800; Gauss escreveu sobre isso em 1809 (em conexão com a distribuição para a qual a média é o MLE do centro) e Laplace em 1810, como uma aproximação à distribuição de somas de variáveis ​​aleatórias simétricas. Uma década depois, Laplace fornece uma forma inicial de teorema do limite central, para variáveis ​​discretas e contínuas.

Os nomes antigos para a distribuição incluem a lei do erro , a lei da frequência dos erros , e também foi nomeado após Laplace e Gauss, às vezes em conjunto.

O termo "normal" foi usado para descrever a distribuição de forma independente por três autores diferentes na década de 1870 (Peirce, Lexis e Galton), o primeiro em 1873 e os outros dois em 1877. Isso ocorre mais de sessenta anos após o trabalho de Gauss e Laplace e mais que o dobro desde a aproximação de de Moivre. O uso de Galton provavelmente foi o mais influente, mas ele usou o termo "normal" em relação a ele apenas uma vez no trabalho de 1877 (principalmente o chamado "lei do desvio").

No entanto, na década de 1880, Galton usou o adjetivo "normal" em relação à distribuição várias vezes (por exemplo, como a "curva normal" em 1889) e, por sua vez, teve muita influência em estatísticos posteriores no Reino Unido (especialmente Karl Pearson ) Ele não disse por que usou o termo "normal" dessa maneira, mas presumivelmente o quis dizer no sentido de "típico" ou "usual".

O primeiro uso explícito da frase "distribuição normal" parece ser de Karl Pearson; ele certamente o usa em 1894, embora afirme ter usado muito antes (uma afirmação que eu consideraria com alguma cautela).

Referências:

Miller, Jeff
"Usos mais conhecidos de algumas das palavras da matemática:"
Distribuição normal (verbete de John Aldrich)
http://jeff560.tripod.com/n.html

Stahl, Saul (2006),
"A evolução da distribuição normal",
Mathematics Magazine , vol. 79, Nº 2 (abril), pp 96-113
https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf

Distribuição normal, (1 de agosto de 2016).
Na Wikipedia, A Enciclopédia Livre.
Recuperado em 12:02, 3 de agosto de 2016, em
https://en.wikipedia.org/w/index.php?title=Normal_distribution&oldid=732559095#History

Hald, A (2007),
"Aproximação normal de De Moivre ao binômio, 1733, e sua generalização",
In: A History of Parametric Statistical Inference from Bernoulli to Fisher, 1713-1935; pp 17-24

[Você pode observar discrepâncias substanciais entre essas fontes em relação à conta de Moivre]

A distribuição "normal" é definida como aquela distribuição específica.

A questão é: por que esperaríamos que essa distribuição em particular fosse de natureza comum e por que é tão frequentemente usada como uma aproximação, mesmo quando os dados reais não seguem exatamente essa distribuição? (Dados reais geralmente são encontrados com uma "cauda gorda", ou seja, valores longe da média são muito mais comuns do que a distribuição normal previa).

Em outras palavras, o que há de especial na distribuição normal?

O normal possui muitas propriedades estatísticas "agradáveis" (veja, por exemplo, https://en.wikipedia.org/wiki/Central_limit_theorem ), mas o IMO mais relevante é o fato de que é a função "entropia máxima" para qualquer distribuição com uma dada média e variância. https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution

Para expressar isso na linguagem comum, se você receber apenas a média (ponto central) e a variação (largura) de uma distribuição e não assumir mais nada sobre isso, será forçado a desenhar uma distribuição normal. Qualquer outra coisa requer informações adicionais (no sentido da teoria da informação de Shannon ), por exemplo, distorção, para determiná-la.

O princípio da entropia máxima foi introduzido por ET Jaynes como uma maneira de determinar priores razoáveis ​​na inferência bayesiana, e acho que ele foi o primeiro a chamar a atenção para essa propriedade.

Veja isso para uma discussão mais aprofundada: http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/tutorials/Gaussian-distribution.pdf

A distribuição normal (também conhecida como " distribuição gaussiana ") tem uma base matemática sólida. O Teorema do Limite Central diz que, se você tiver um conjunto finito de n variáveis ​​aleatórias independentes e identicamente distribuídas, com média e variância específicas, e tirar a média dessas variáveis ​​aleatórias, a distribuição do resultado convergirá para uma Distribuição Gaussiana como n vai para o infinito. Não há suposições aqui, uma vez que a derivação matemática leva a essa função de distribuição específica e a nenhuma outra.

Para colocar isso em termos mais tangíveis, considere uma única variável aleatória, como jogar uma moeda justa (2 resultados igualmente possíveis). As chances de obter um resultado específico são 1/2 para cara e 1/2 para coroa.

Se você aumentar o número de moedas e acompanhar o número total de cabeças obtidas em cada tentativa, obterá uma Distribuição Binomial , que tem aproximadamente o formato de sino. Apenas faça um gráfico com o número de cabeças ao longo do eixo x e o número de vezes que você inverte tantas cabeças ao longo do eixo y.

Quanto mais moedas você usar, e quanto mais vezes você jogar as moedas, mais próximo o gráfico parecerá uma curva de sino gaussiana. É isso que o Teorema do Limite Central afirma.

O incrível é que o teorema não depende de como as variáveis ​​aleatórias são realmente distribuídas, desde que cada uma das variáveis ​​aleatórias tenha a mesma distribuição. Uma ideia-chave no teorema é que você está adicionando ou fazendo a média das variáveis ​​aleatórias. Outro conceito-chave é que o teorema está descrevendo o limite matemático à medida que o número de variáveis ​​aleatórias se torna cada vez maior. Quanto mais variáveis ​​você usar, mais próxima a distribuição se aproxima de uma distribuição normal.

Eu recomendo que você faça uma aula de Estatística Matemática se quiser ver como os matemáticos determinaram que a Distribuição Normal é realmente a função matematicamente correta para a curva de sino.

Existem algumas respostas excelentes neste tópico. Não posso deixar de sentir que o OP não estava fazendo a mesma pergunta que todo mundo quer responder. Eu entendo isso, no entanto, porque essa é quase uma das perguntas mais emocionantes de responder - na verdade, eu a encontrei porque esperava que alguém tivesse a pergunta "Como sabemos que o PDF normal é um PDF?" e eu procurei por isso. Mas acho que a resposta para a pergunta pode ser demonstrar a origem da distribuição normal.

$n$$n$$np$$np(1-p)$$n\to\infty$

$n\to\infty$$p\to0$$np=1$

$n=10$$p=0.5$$n=100$$p=0.5$$n$

Se eu jogar 100 moedas no chão no momento e contar quantas caras recebo, posso contar 0 caras ou 100 cabeças, mas é bem mais provável que eu conte um número no meio. Você vê por que esse histograma deve ser em forma de sino?

Mencionaria também a derivação de Maxwell-Herschel da distribuição normal multivariada independente de duas suposições:

1. A distribuição não é afetada pela rotação do vetor.

2. Os componentes do vetor são independentes.

Aqui está a exposição de Jaynes