Taleb e o cisne negro

63

O livro de Taleb, "O Cisne Negro", foi um best-seller do New York Times quando foi lançado há vários anos. O livro está agora em sua segunda edição. Depois de se encontrar com estatísticos em uma JSM (uma conferência anual de estatística), Taleb atenuou um pouco suas críticas às estatísticas. Mas o ponto principal do livro é que a estatística não é muito útil porque se baseia na distribuição normal e em eventos muito raros: "Os cisnes negros" não têm distribuições normais.

Você acha que isso é uma crítica válida? O Taleb está faltando alguns aspectos importantes da modelagem estatística? Eventos raros podem ser previstos pelo menos no sentido de que as probabilidades de ocorrência podem ser estimadas?

Michael Chernick
fonte
2
Também na IMO, não acho que uma marca de "cisnes negros" seja muito útil. Tipo de jargão interno para esse autor em particular que deve ser evitado pela IMO. Eventos raros me parecem suficientes, mas você certamente conheceria a linguagem melhor do que eu.
Andy W
11
@AndyW Embora cisnes negros possam ser um termo cunhado por Taleb, está se tornando um termo comumente usado para eventos raros e, portanto, pode pertencer mais amplamente do que apenas o livro de Taleb.
Michael Chernick 9/09/12
2
Eu não tenho necessariamente um problema ao criar uma tag 'cisnes negros' ou uma tag 'eventos raros'; no entanto, incentivo fortemente as pessoas a criar um trecho de wiki da tag, no mínimo, ao criar uma nova tag. Os usuários futuros precisarão de algumas orientações sobre o significado e o uso adequado da tag. Também pode ser útil criar os dois e imediatamente tornar bs um sinônimo de re, para evitar encontrar esse problema acidentalmente no futuro.
gung - Restabelece Monica
2
A propósito de @kjetilbhalvorsen, li o livro de finanças de Benoit Mandelbrot e não consegui superar o fato de que praticamente todas as idéias do Cisne Negro estão lá, muito melhor explicadas e sem divagações. Realmente brilhou uma luz diferente sobre a "contribuição" de Taleb
Antoni Parellada

Respostas:

69

Eu li o Cisne Negro há alguns anos atrás. A idéia do Cisne Negro é boa e o ataque à falácia lúdica (ver as coisas como se fossem jogos de dados, com probabilidades conhecidas) é bom, mas as estatísticas são escandalosamente deturpadas, com o problema central sendo a alegação errada de que todas as estatísticas desmoronam se as variáveis normalmente não são distribuídos. Fiquei suficientemente irritado com esse aspecto ao escrever a carta a Taleb abaixo:

Dear Dr Taleb

Li recentemente "O Cisne Negro". Como você, sou fã de Karl Popper e me vi concordando com muito do que está nele. Penso que a sua exposição da falácia lúdica é basicamente sólida e chama a atenção para um problema real e comum. No entanto, acho que grande parte da Parte III decepciona muito seu argumento geral, mesmo a ponto de possivelmente desacreditar o restante do livro. É uma pena, pois acho que os argumentos em relação aos Cisnes Negros e às "incógnitas desconhecidas" mantêm seus méritos sem depender de alguns dos erros da Parte III.

A principal questão que desejo apontar - e buscar sua resposta, principalmente se eu entendi mal as questões - é a sua deturpação do campo das estatísticas aplicadas. Na minha opinião, os capítulos 14, 15 e 16 dependem em grande parte de um argumento de homem de palha, deturpando estatísticas e econometria. O campo da econometria que você descreve não é o que me ensinaram quando estudei estatística aplicada, econometria e teoria de risco atuarial (na Universidade Nacional da Austrália, mas usando textos que pareciam bastante comuns). As questões que você levanta (como as limitações das distribuições gaussianas) são bem e verdadeiramente compreendidas e ensinadas, mesmo no nível de graduação.

Por exemplo, você se esforça para mostrar como a distribuição de renda não segue uma distribuição normal e a apresenta como argumento contra a prática estatística em geral. Nenhum estatístico competente jamais diria que sim, e as formas de lidar com esse problema estão bem estabelecidas. Apenas o uso de técnicas do nível mais básico da "economia do primeiro ano", por exemplo, transformar a variável usando seu logaritmo faria seus exemplos numéricos parecerem muito menos convincentes. Essa transformação de fato invalidaria muito do que você diz, porque a variação da variável original aumenta à medida que sua média aumenta.

Estou certo de que existem econometristas incompetentes que fazem regressões OLS, etc. com uma variável de resposta não transformada, como você diz, mas isso apenas os torna incompetentes e usam técnicas bem estabelecidas para serem inapropriadas. Eles certamente teriam sido reprovados mesmo nos cursos de graduação, que passam muito tempo procurando maneiras mais apropriadas de modelar variáveis ​​como renda, refletindo a distribuição real observada (não gaussiana).

A família de Modelos Lineares Generalizados é um conjunto de técnicas desenvolvidas em parte para solucionar os problemas que você levanta. Muitas famílias de distribuições exponenciais (por exemplo, distribuições Gama, Exponencial e Poisson) são assimétricas e apresentam uma variação que aumenta à medida que o centro da distribuição aumenta, contornando o problema que você aponta ao usar a distribuição Gaussiana. Se isso ainda é muito limitativo, é possível eliminar completamente uma "forma" pré-existente e simplesmente especificar uma relação entre a média de uma distribuição e sua variação (por exemplo, permitindo que a variação aumente proporcionalmente ao quadrado da média), usando o método de estimativa "quase-verossimilhança".

Claro, você poderia argumentar que essa forma de modelagem ainda é muito simplista e uma armadilha intelectual que nos leva a pensar que o futuro será como o passado. Você pode estar correto, e acho que a força do seu livro é fazer com que pessoas como eu considerem isso. Mas você precisa de argumentos diferentes daqueles que você usa nos capítulos 14-16. O grande peso que você atribui ao fato de que a variação da distribuição gaussiana é constante, independentemente de sua média (que causa problemas de escalabilidade), por exemplo, é inválida. Assim como sua ênfase no fato de que as distribuições da vida real tendem a ser assimétricas, e não curvas de sino.

Basicamente, você adotou uma simplificação excessiva da abordagem mais básica da estatística (modelagem ingênua de variáveis ​​brutas como tendo distribuições Gaussianas) e mostrou, em detalhes, (corretamente) as deficiências de uma abordagem tão simplificada. Você então usa isso para fazer a diferença para desacreditar todo o campo. Este é um grave lapso na lógica ou uma técnica de propaganda. É lamentável porque diminui seu argumento geral, muitos dos quais (como eu disse) achei válidos e persuasivos.

Eu estaria interessado em ouvir o que você diz em resposta. Duvido que seja o primeiro a levantar essa questão.

Com os melhores cumprimentos

EDUCAÇAO FISICA

Peter Ellis
fonte
24
Você recebeu uma resposta?
cardeal
4
Sim. Muitos estatísticos já criticaram a distribuição normal antes! Apenas um exemplo: o famoso estatístico dinamarquês Georg Rasch (conhecido por modelos Rasch em psicometria!) Era conhecido por dizer, quando bebia demais, que "todos os livros que mencionavam a distribuição normal deveriam ser queimados"!
Kjetil b halvorsen
5
++ Peter. Uma carta muito boa !!
Michael Chernick 10/09/12
14
@ cardinal - recebi uma resposta automática ao efeito de "desde a crise financeira global que recebi muitos e-mails para responder".
Peter Ellis
4
Parece que a quantidade de e-mails em reação ao livro foi um BlackSwan. :)
gwr
22

Eu não li o livro, mas, como afirmado, as críticas me parecem bastante irracionais. Se eventos extremos são importantes, as estatísticas têm ferramentas apropriadas na caixa de ferramentas, como a teoria dos valores extremos, e um bom estatístico saberá como usá-los (ou pelo menos descobrirá como usá-los e estará suficientemente envolvido com o objetivo de a análise para olhar). A crítica parece ser "estatística ruim, porque existem estatísticos ruins que sabem apenas sobre distribuições normais".

Dikran Marsupial
fonte
4
Talvez leia o livro antes de criticá-lo?
precisa saber é o seguinte
7
@kjetilbhalvorsen Não estou criticando o livro, estou criticando as críticas, conforme indicado na pergunta (que pode ou não ser uma representação adequada do conteúdo do livro). Eu deixei isso bem claro com a redação da minha resposta (note que usei a palavra "livro" apenas uma vez, para ressaltar que não a havia lido e nem mencionei Taleb pelo nome). Talvez leia a resposta com atenção antes de criticá-la? ; o)
Dikran Marsupial 19/08/16
19

Dizer que "o objetivo do livro é que a estatística não é muito útil" é impreciso, eu acho. Depois de ler o livro, o que ele parece estar dizendo é que coisas como finanças quantitativas ou qualquer tipo de negociação de valores mobiliários que pressupõe uma distribuição normal são fundamentalmente falhas (na verdade, no livro, ele chama pessoas que afirmam usar esses modelos para fazer previsões , "charlatães"). De acordo com Taleb, enquanto a distribuição normal faz um ótimo trabalho de modelar os valores de coisas tangíveis / físicas (por exemplo, altura, peso, vida útil etc.), sistemas como os mercados geralmente são movidos pela emoção humana e, portanto, são propensos a grandes oscilações que as distribuições normais não podem prever com precisão.

Não entendo bem as estatísticas e, até ler as respostas aqui, nunca tinha ouvido falar de coisas como a teoria dos valores extremos. Independentemente disso, The Black Swan e Fooled By Randomness parecem ter premissas semelhantes, que é "a distribuição normal nem sempre é boa". Não me lembro dele difamando todo o campo das estatísticas.

Jay
fonte
16
(+1) Para a primeira frase. No entanto, Taleb é mais um polemista (auto-absorvido) do que um intelectual sério. Eu só tenho a primeira edição do BS; seu comentário sobre estatística é exagerado e desinformado em muitos lugares, mas a tentativa de tese do texto é mais do que o que é citado na primeira frase, como você aponta.
cardeal
3
+1 Acho que a chave é quando se fala em finanças. Um link no NY Times que cita a partir do primeiro capítulo, eu acredito: nytimes.com/2007/04/22/books/chapters/0422-1st-tale.html
Wayne
6
O preço das opções, por exemplo, começou com suposições normais sobre retornos de log, mas sabemos que muitas pessoas respondem por curtose com modelos mais complexos de difusão de salto / volatilidade estocástica.
muratoa 9/09/12
4
+1 Bem-vindo ao nosso site! Muito obrigado por compartilhar seus pensamentos.
whuber
4
Depois de ler o livro e escrever minha própria crítica (eu posso ter uma resenha de um cliente da Amazon sobre ele junto com milhares de outros), acho que Taleb tem as finanças e o mercado de ações como seus principais exemplos, mas ele tem uma visão mais geral do assunto. chamado Black Swans e tem uma visão muito desinformada das estatísticas e da profissão de estatística (pelo menos na primeira edição). O mau uso da distribuição normal pode ser uma crítica válida de como alguns indivíduos podem modelar eventos raros. Mas muitos de nós fazem isso da maneira certa e há algum valor nos resultados da abordagem adequada.
Michael Chernick 10/09/12
18

Eu li "O Cisne Negro", gostei e sou estatístico. Não achei insuportável sua "crítica às estatísticas". Ponto por ponto:

  1. Taleb não inventou o conceito de cisne negro. Foi um exemplo favorecido no pensamento filosófico por um bom tempo!
  2. Taleb não está criticando tanto as "estatísticas", como certas (más) aplicações dela.
  3. O livro foi um best-seller. Não foi dirigido a estatísticos, mas ao público em geral. Foi muito bom ensinar ao público sobre coisas que os estatísticos conheciam muito bem, mas muitos dos outros leitores (a maioria!) Não. Para que pudéssemos aprender muito com esse livro sobre como "vender" estatísticas.
  4. Mais importante (para mim), Taleb incluiu muitas referências à filosofia cética da Grécia antiga. Ninguém mais mencionou esse ponto aqui, mas acho que a inclusão foi o verdadeiro ponto de venda do livro!
  5. O livro é uma obra literária, não uma obra técnica. Se você quiser criticar Taleb por seu trabalho técnico, acesse a página inicial e faça o download de alguns de seus documentos técnicos.

Para aqueles que não gostam desta resposta, ou não gostam do livro, podem dar uma olhada nos argumentos técnicos de Taleb no novo https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. pdf "Risco silencioso", que é técnico.

kjetil b halvorsen
fonte
6
Um grande +1 por ser o primeiro (oops - segundo) respondente realmente qualificado para falar sobre o livro! (E por dizer algumas coisas interessantes sobre isso também.)
whuber
4
e sua representação da econometria e estatística como dependente das distribuições gaussianas?
22812 Peter Ellis
2
@kjetilbhalvorsen Você diz que leu o livro. Se você o ler com atenção, não será possível perder o vínculo com a profissão de estatística. Ter um diploma em matemática não significa nada sobre o conhecimento de estatística de uma pessoa. Muitos matemáticos obtiveram seu diploma sem fazer um único curso de estatística. Outros podem ter tido apenas um curso muito elementar. Conheço matemáticos que ensinaram estatística e / ou probabilidade e não estão realmente qualificados para isso.
Michael Chernick 10/09/12
3
Michael Chernik: Pode ser que sim, mas continuo criticando uma obra por seus pontos fortes, pelo menos não apenas por seus pontos fracos! e, uma obra literária deve ser lida como tal. Taleb deve ser grato por transformar os Cisnes Negros em um conceito que muitas pessoas entendem. É um conceito importante. Todos os jornalistas que ridicularizam Rumsfeldt por falar sobre "incógnitas desconhecidas" mostram isso. Rumsfeldt estava apenas usando um conceito que havia aprendido com os oficiais militares! Pelo menos eles sabiam sobre cisnes negros.
Kjetil b halvorsen
9
"Uma obra literária" é apenas uma desculpa para deturpar a realidade se o que Taleb escreveu fosse um romance. Não entrar em um tratamento técnico é desculpável, deturpar algo por atacado é menos.
fomite
10

Eu não li o Cisne Negro, mas se as críticas dele às estatísticas são realmente tão simples quanto você diz, é ridículo. Obviamente, algumas estatísticas dependem da distribuição Normal, mas muitas não.

Eventos raros podem ser modelados? Claro que eles podem. A verdadeira questão é quão bem eles podem ser modelados. E essa pergunta terá respostas diferentes em diferentes campos, com base no quanto sabemos sobre os raros eventos e seus antecedentes.

Na atual NY Times Magazine, há um artigo interessante de Nate Silver sobre como a previsão do tempo melhorou na última década. Isso inclui uma melhor modelagem de eventos raros, como furacões.

Vale a pena ler o livro?

Peter Flom - Restabelece Monica
fonte
3
Li o livro e fiz contra-argumentos semelhantes, como o seu e o de Dikran. Taleb parecia muito ingênuo. Houve uma sessão envolvendo ele no JSM há alguns anos atrás. Eu acho que foi em Washington. A segunda edição saiu depois disso e é um pouco mais razoável. Taleb tem algumas coisas interessantes a dizer sobre "cisnes negros" específicos e ele sabe muito sobre economia. Eu acho que vale a pena ler e a segunda edição é melhor.
Michael Chernick
Você é administrador de um site de estatísticas, portanto, provavelmente a parte 3 não será do seu interesse. Pode até irritar você. As partes I e II podem fornecer algumas idéias fora das estatísticas. Você pode tentar ler o primeiro capítulo ou mais e depois julgar o resto do livro a partir daí. Quanto ao clima, Taleb parece sugerir que os meteorologistas são especialistas que tendem a ser especialistas: especialistas que tendem a ser especialistas: juízes de gado, astrônomos, pilotos de teste, juízes de solo, mestres do xadrez, físicos, matemáticos (quando lidam com problemas matemáticos , não os empíricos), contadores, inspetores de grãos, ph
BCLC
inspetores de grãos, intérpretes fotográficos, analistas de seguros (lidando com estatísticas do tipo curva em sino). Especialistas que tendem a ser ... não especialistas: corretores, psicólogos clínicos, psiquiatras, diretores de faculdades, juízes, conselheiros, seletores de pessoal, analistas de inteligência (o histórico da CIA, apesar de seus custos, é lamentável), a menos que se leve em consideração alguma grande dose de prevenção invisível. Gostaria de acrescentar esses resultados de minha própria análise da literatura: economistas, analistas financeiros, professores de finanças, cientistas políticos, “expert risco
BCLC
s ”, funcionários do Bank for International Settlements, agosto membros da Associação Internacional de Engenheiros Financeiros e consultores financeiros pessoais. Simplesmente, coisas que se movem e, portanto, requerem conhecimento, geralmente não têm especialistas, enquanto coisas que não se movem parecem ter alguns especialistas. Em outras palavras, as profissões que lidam com o futuro e baseiam seus estudos em um passado não repetível têm um problema especializado (com exceção do clima e dos negócios que envolvem processos físicos de curto prazo, e não socioeconômicos).
BCLC 18/08/15
11
SIM, vale a pena ler o livro!
precisa saber é o seguinte
8

Também não li o livro, mas não há como esse argumento ser tão simplista quanto dizer que há distribuições com caudas mais gordas que a distribuição normal. Isso seria um comentário para as outras respostas, mas não acumulei elogios suficientes neste site.

Da Wikipedia:

"Ele afirma que a estatística é fundamentalmente incompleta como um campo, pois não pode prever o risco de eventos raros ..."

Esta pergunta também é bastante semelhante a Qual é a opinião da comunidade sobre o Quarto Quadrante?

esboço, projeto
fonte
2
Eu não estava ciente da postagem no "Quarto quadrante". Lá, John Cook aponta para o JSM onde Taleb falou e fornece um link para os comentários de seu blog sobre o assunto. O post é quase um duplicado para o meu, mas a discussão é curta. Então eu acho que vale a pena continuar este.
Michael Chernick
2
Não acho que as estatísticas não possam prever o risco de evento raro. É difícil porque geralmente não há muita informação útil para esta tarefa nos dados da mesma maneira que existe para estimar a tendência central. Portanto, não há tanto problema com estatísticas quanto com os dados.
Dikran Marsupial 09/09/12
2
@ dikran: Eu concordo com você, e acho que seus livros são trolls. Mas eu ainda perderia horrivelmente em um debate contra ele, da mesma forma que perderia contra um debatedor experiente em design inteligente.
draft
11
@ draft sim, há uma boa razão pela qual as idéias científicas não são mais resolvidas pelo debate público!
Dikran Marsupial 09/09/12
4
Há mais no livro do que apenas a questão estatística - seus argumentos sobre "incógnitas desconhecidas" (os chamados cisnes negros) e sobre a "falácia lúdica" (tratar o mundo como se fosse um jogo de dados com probabilidades conhecidas) são basicamente independente de sua crítica equivocada da estatística, dependendo de distribuições normais. Você pode largar todos os capítulos de estatísticas e melhorar bastante o livro.
22812 Peter Ellis
5

Eu não acho que Taleb realmente diria que técnicas estatísticas baseadas na distribuição gaussiana não são úteis. Seu argumento no livro era que eles são altamente úteis para muitos (mas não todos) processos e modelagens físicos ou biológicos. Ele faz alguns pontos bons e outros ruins (The Black Swan e Linked foram o começo da praga "tudo é uma lei do poder!" Que ainda nos assombra hoje), mas é importante lembrar que o livro é uma coleção de obras literárias e filosóficas ensaios destinados ao leigo.

Dito isto, acho que Taleb gosta de agravar as pessoas. Você pode ver isso em sua batalha com Myron Scholes. Nesse caso, pode ter sido útil como educação estatística no nível de graduação e, às vezes, no nível de pós-graduação, meio que foge da suposição de distribuições gaussianas. Imagino que durante seus anos de finanças, ele encontrou um grande número de quantos com um grande conhecimento de Black-Scholes e outras técnicas, mas que não consideraram suposições subjacentes, como a distribuição. Eu suspeito que Taleb estava cutucando o estabelecimento educacional por uma falha na educação adequada.

Fraijo
fonte
11
+1 nos seus comentários interessantes. Mas eu discordo sobre sua visão da distribuição normal. Ele parece pensar que os estatísticos o usam onde não se aplica e ele está muito errado ao caracterizar os estatísticos dessa maneira. Ele pode saber melhor agora. Sim, ele claramente tem um estilo de escrita que visa provocar e irritar as pessoas.
Michael Chernick 10/09/12
11
Eu não tenho o livro comigo, então isso é de memória. Certamente parte de sua raiva vem de más experiências com as pessoas. Ele diz que em algum momento "alguém" (editará quando eu receber o livro e encontrar nomes) gritou com ele: "Sou membro da academia nacional de ciências"! Isso não é exatamente um argumento, e "alguém" precisava ser motivo de riso por usá-lo como tal.
Kjetil b halvorsen
2
É possível que eu dê uma guinada positiva inconsciente sobre o que estava lendo, mas lembro-me claramente da NTT, dando vários exemplos em que a distribuição gaussiana fazia sentido, como sua xícara de café. Eu entreguei o livro para não poder voltar atrás e reavaliar isso. Os escritos populares de Taleb são muito mais polêmicos que os escritos profissionais, pelo menos o que li sobre estes últimos.
Fraijo 11/09/12
2
Eu não acho que estamos argumentando que Taleb acha que a distribuição normal nunca faz sentido. É apenas que, nos exemplos que ele considera importantes, ele acha inadequado usá-lo. Ele está certo sobre isso, mas está errado ao pensar que a maioria dos estatísticos o usa nessas situações.
Michael Chernick 11/09/12
11
Interessante não apenas quantos comentaristas não leram o livro (eu o examinei e isso foi bastante), mas quantos o leram, apenas não acharam adequado mantê-lo à mão. "Eu entreguei"; "Deixei no sótão"; etc
rolando2
2

Aqueles de vocês que não leram o livro estão muito fora da base. Ele faz uma grande distinção entre o escalável e o não escalável. Para assuntos não escalonáveis, as estatísticas tradicionais servirão a uma bem o suficiente. Ele não está criticando nada disso. Os Cisnes Negros se originam no escalável e são difíceis de prever dados empíricos passados. O livro é sobre como esses eventos podem ter um impacto enorme e geralmente só são explicados após o fato. A epistemologia é excelente.

Tina-Desiree Berg
fonte
-2

Sem ler o livro, sinto que os sinos gaussianos falham porque nunca deram uma definição clara de "densidade de probabilidade"; além disso, eles nunca fornecem um conjunto completo de pontos de curvas de Lorenz que incluem ao mesmo tempo o total de variáveis ​​distribuídas e o total de populações que percebem a primeira. Se "densidade" for usada, é necessário explicar com relação a qual variável; por exemplo, se você fala em quilogramas por litro, refere-se a uma densidade de peso relacionada ao volume. Esse passo não é dado pela teoria gaussiana nos livros didáticos. Não é de admirar que os jovens não entendam adequadamente as estatísticas.

Emilio José Chave
fonte