Pensamento bayesiano sobre superajuste

Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana pede ao analista que pense muito sobre distribuições anteriores que podem ser personalizadas para os recursos candidatos, e esses anteriores puxarão o modelo em direção a eles (ou seja, conseguirão encolhimento / penalização / regularização com diferentes quantidades de penalização para diferentes recursos preditivos) ) Segundo, o caminho bayesiano "real" não resulta em um único modelo, mas obtém-se uma distribuição posterior inteira para uma previsão.

Com essas características bayesianas em mente, o que significa super adaptação? Devemos avaliar? Se sim, como? Como sabemos quando um modelo bayesiano é confiável para uso em campo? Ou esse é um ponto discutível, já que o posterior carrega todas as incertezas que dão cautela quando usamos o modelo que desenvolvemos para a previsão?

Como o pensamento mudaria se forçássemos que o modelo bayesiano fosse destilado para um único número, por exemplo, risco médio / modo / mediana posterior?

Eu vejo algum pensamento relacionado aqui . Uma discussão paralela pode ser encontrada aqui .

Pergunta de acompanhamento :: Se somos totalmente bayesianos e passamos algum tempo pensando nos anteriores antes de ver os dados, e ajustamos um modelo em que a probabilidade dos dados foi especificada adequadamente, somos obrigados a ficar satisfeitos com o nosso modelo em relação à super adaptação ? Ou precisamos fazer o que fazemos no mundo freqüentista, em que um sujeito escolhido aleatoriamente pode ser bem previsto em média, mas se escolhermos um sujeito com uma previsão muito baixa ou um com um valor previsto muito alto, haverá regressão para o meio?

Posso começar dizendo que um modelo bayesiano não pode super-ajustar sistematicamente (ou sub-ajustar) os dados extraídos da distribuição preditiva anterior, que é a base de um procedimento para validar que o software bayesiano está funcionando corretamente antes de ser aplicado aos dados coletados do mundo.

Mas pode super ajuste um único conjunto de dados extraído da distribuição preditiva anterior ou um único conjunto de dados coletados no mundo, no sentido de que as várias medidas preditivas aplicadas aos dados que você condicionou parecem melhores do que as mesmas medidas preditivas aplicadas a dados futuros que são gerado pelo mesmo processo. O capítulo 6 do livro bayesiano de Richard McElreath é dedicado à adaptação excessiva .

A severidade e a frequência do sobreajuste podem ser diminuídas por bons priores, principalmente aqueles que são informativos sobre a escala de um efeito. Ao colocar a probabilidade anterior de desaparecimento em valores implausivelmente grandes, você desencoraja a distribuição posterior de ficar excessivamente excitada por algum aspecto idiossincrático dos dados que você condiciona e que podem sugerir um efeito implausivelmente grande.

As melhores maneiras de detectar o sobreajuste envolvem a validação cruzada de exclusão única, que pode ser aproximada de uma distribuição posterior que na verdade não deixa nenhuma observação fora do conjunto de condicionamentos. Há uma suposição de que nenhuma "observação" individual que você condiciona tenha um efeito excessivamente grande na distribuição posterior, mas essa suposição é verificável avaliando o tamanho da estimativa do parâmetro de forma em uma distribuição Pareto Generalizada que é ajuste à importância dos pesos amostrais (que são derivados da probabilidade logarítmica de uma observação avaliada a cada sorteio da distribuição posterior). Se essa suposição for atendida, você poderá obter medidas preditivas para cada observação, como se essa observação tivesse sido omitida, o posterior foi extraído de condicional nas demais observações e a distribuição preditiva posterior foi construída para a observação omitida. Se suas previsões de observações deixadas de fora sofrerem, seu modelo foi adaptado para começar. Essas idéias são implementadas no pacote loo para R, que inclui citações como aqui e ali .

Quanto à destilação para um único número, eu gosto de calcular a proporção de observações que se enquadram em intervalos preditivos de 50%. Na medida em que essa proporção é maior que a metade, o modelo é super ajustado, embora você precise de mais do que algumas observações para reduzir o ruído na função do indicador de inclusão. Para comparar modelos diferentes (que podem superajustar), a densidade preditiva esperada do log (que é calculada pela loofunção no loopacote) é uma boa medida (proposta por IJ Good) porque leva em consideração a possibilidade de um modelo mais flexível ajustar os dados disponíveis melhor do que um modelo menos flexível, mas espera-se que os dados futuros sejam piores. Mas essas idéias podem ser aplicadas à expectativa de qualquer medida preditiva (que pode ser mais intuitiva para os profissionais); veja a E_loofunção no pacote loo .

[*] Você precisa escolher o que constitui uma observação em um modelo hierárquico. Por exemplo, você está interessado em prever um novo paciente ou um novo ponto no tempo para um paciente existente? Você pode fazê-lo de qualquer maneira, mas o primeiro exige que você (re) escreva a função de probabilidade para integrar os parâmetros específicos do paciente.

Sobreajuste significa que o modelo funciona bem no conjunto de treinamento, mas apresenta desempenho ruim no conjunto de teste. IMHO, vem de duas fontes: os dados e o modelo que usamos (ou nossa subjetividade).

$k$

Como resultado, se formos freqüentadores, a origem do sobreajuste vem do MLE. Se somos bayesianos, isso vem da escolha (subjetiva) da distribuição anterior (e, é claro, da escolha da probabilidade)). Portanto, mesmo se você usar a distribuição posterior / média / mediana, você já ajustou demais desde o início e esse ajuste será levado adiante. A escolha adequada da distribuição e probabilidade anteriores ajudará, mas ainda são os modelos, você nunca poderá evitar o ajuste excessivo.