Melhor maneira de avaliar os métodos de estimativa de PDF

Desejo testar algumas das minhas idéias que considero melhores do que qualquer coisa que já vi. Eu posso estar errado, mas gostaria de testar minhas idéias e vencer minhas dúvidas com mais observações certas.

O que eu tenho pensado em fazer é o seguinte:

1. Analiticamente, defina um conjunto de distribuições. Alguns deles são fáceis, como Gaussian, uniforme ou Tophat. Mas alguns deles devem ser difíceis e desafiadores, como a distribuição dos Simpsons.
2. Implemente software com base nessas distribuições analíticas e use-os para gerar algumas amostras.
3. Como as distribuições são definidas analiticamente, eu já, por definição, conheço seus verdadeiros PDFs. Isso é ótimo.
4. Em seguida, testarei os seguintes métodos de estimativa de PDF com base nas amostras acima:
   • Métodos de estimativa de PDF existentes (como o KDE com vários kernels e larguras de banda).
   • Minha própria idéia que acho que vale a pena tentar.
5. Depois, medirei o erro das estimativas com relação aos PDFs verdadeiros.
6. Então, vou saber melhor qual dos métodos de estimativa de PDF é bom.

Minhas perguntas são:

• Q1: existem melhorias no meu plano acima?
• P2: Acho difícil definir analiticamente muitos PDFs verdadeiros. Já existe uma lista abrangente de muitos PDFs verdadeiros definidos analiticamente com dificuldades variadas (incluindo muito difíceis) que posso reutilizar aqui?

A2: Você pode testar seus métodos em 1D no seguinte conjunto de benchmarks .

• $L^p$

• A2 Você está interessado apenas em PDFs 1-D ou planeja testar o caso multivariado? Quanto a um conjunto de pdf de referência, fiz uma pergunta um pouco relacionada no passado com o objetivo de testar os algoritmos do MCMC , mas não encontrei nada parecido com um conjunto bem estabelecido de pdfs.

Se você tiver bastante tempo e recursos computacionais, considere executar algum tipo de teste antagônico de sua ideia:

• Defina uma família paramétrica de PDFs muito flexível (por exemplo, uma grande mistura de vários PDFs conhecidos) e mova-se pelo espaço de parâmetros da mistura por meio de algum método de otimização global não-convexo (*) para minimizar o desempenho do seu método e maximizar desempenho de algum outro método de estimativa de densidade de ponta (e possivelmente vice-versa). Este será um forte teste da força / fraqueza do seu método.

Finalmente, o requisito de ser melhor que todos os outros métodos é uma barra excessivamente alta; deve haver algum princípio de almoço grátis no trabalho (qualquer algoritmo tem alguma suposição anterior subjacente, como suavidade, escala de comprimento etc.). Para que seu método seja uma contribuição valiosa, você só precisa mostrar que existem regimes / domínios de interesse geral nos quais seu algoritmo funciona melhor (o teste de contradição acima pode ajudá-lo a encontrar / definir esse domínio).

(*) Como sua métrica de desempenho é estocástica (você a avaliará através da amostragem de Monte Carlo), convém verificar esta resposta sobre a otimização de funções objetivas ruidosas e caras.

Q1: existem melhorias no meu plano acima?

Depende. Os resíduos da distribuição de mistura geralmente resultam de coisas tolas, como especificar uma distribuição desnecessária de mistura como um modelo de dados para começar. Portanto, minha própria experiência sugere especificar pelo menos tantos termos de distribuição de mistura na produção quanto no modelo. Além disso, a saída do PDF misturado é diferente dos PDFs do modelo. A pesquisa padrão do Mathematica inclui distribuições de mistura com dois termos e pode ser especificada como um número maior.

P2: Já existe uma lista abrangente de muitos PDFs verdadeiros definidos analiticamente com diferentes dificuldades (incluindo as muito difíceis) que posso reutilizar aqui?

Esta é uma lista da rotina FindDistribution do Mathematica :

distribuições contínuas possíveis para TargetFunctions são: BetaDistribution, Distribuição de Cauchy, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, distribuição gama, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, LaplaceDistribution, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Distribuição de Pareto, RayleighDistribution, StudentTDistribution, UniformDistribution, Distribuição de Weibull , HistogramDistribution.

As distribuições discretas possíveis para TargetFunctions são: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDistribution, ZipfDistribution, HistogramDistribution, HistogramDistribution.

O critério de informação interno usa um critério de informação bayesiano junto com as anteriores sobre TargetFunctions.